В погоне за качественными данными технологические гиганты развернули кампанию по массовому уничтожению печатных книг.

Как стало известно из рассекреченных судебных документов по иску писателей к компании Anthropic, разработчики искусственного интеллекта на протяжении нескольких лет скупают миллионы бумажных изданий, сканируют их с помощью промышленных машин, а затем уничтожают оригиналы. Информация об этом появилась в ряде зарубежных СМИ, включая The Washington Post и 404 Media.

В центре скандала — секретный проект Anthropic под кодовым названием «Панама» (Project Panama). Согласно внутренним документам компании, его целью было «разрушительное сканирование всех книг в мире». При этом в планирующих документах прямо указывалось: «Мы не хотим, чтобы было известно, что мы работаем над этим».

Проект стартовал в 2024 году. Для его реализации Anthropic наняла Тома Турви, бывшего руководителя Google, который двумя десятилетиями ранее участвовал в создании знаменитого проекта Google Books. Компания потратила десятки миллионов долларов на закупку миллионов подержанных книг. Согласно документам, один из поставщиков сканирования планировал оцифровать от 500 тысяч до 2 миллионов книг за шесть месяцев. Процесс выглядит следующим образом: книги приобретаются оптом через посредников, затем с помощью гидравлических машин у них отрезают корешки, разделяют на отдельные страницы, сканируют с помощью высокоскоростных промышленных сканеров, а остатки отправляют на переработку.

Как отмечает издание Decrypt, такая практика напоминает сюжет антиутопии Рэя Брэдбери «451 градус по Фаренгейту», где книги сжигают.

Основная причина — стремление получить «чистые» данные для обучения моделей. В интернете всё больше контента, созданного самим ИИ, что ведёт к так называемому «коллапсу модели» — деградации логики и увеличению ошибок. Книги, изданные до массового распространения генеративного ИИ, считаются эталонным источником «чистых» текстов. Один из сооснователей Anthropic отмечал, что обучение на книгах может научить модели «хорошо писать», в отличие от подражания «низкокачественному интернет-языку».

Как пишет The Washington Post, подобные закупки ведут не только в Anthropic, но и в Google, Meta и OpenAI. Согласно документам, сотрудники Meta обсуждали использование теневых библиотек для получения миллионов книг, при этом один из инженеров писал: «Торрент с корпоративного ноутбука кажется неправильным».

На фоне этого бума в букинистической отрасли сформировалась целая индустрия посредников. Одна из таких компаний, ISBNdb, предлагает помощь в закупке партий до 1 млн книг. Продажи одного из букинистических магазинов выросли с примерно 20 книг в неделю до нескольких сотен. При этом сами букинисты признаются, что испытывают смешанные чувства: с одной стороны, растут продажи, с другой — книги, в том числе редкие, отправляются на уничтожение.

Разрушительное сканирование книг стало ответом ИИ-компаний на судебные риски. Ранее Anthropic уже была оштрафована на $1,5 млрд за использование пиратских копий книг из теневых библиотек. Однако суды признали, что оцифровка законно приобретённых физических экземпляров с последующим уничтожением оригиналов подпадает под доктрину «добросовестного использования» (fair use). Судья Уильям Алсуп постановил, что поскольку физический оригинал был уничтожен, а цифровая копия не распространялась за пределы компании, это можно считать заменой одного экземпляра другим.

Профессор цифрового права Корнеллского университета Джеймс Гриммельман назвал такой подход «разумным» и «более сдержанным», чем скачивание пиратских копий. Тем не менее, издатели и историки называют эту практику «культурным скандалом» и «варварским уничтожением» книг.