Книги превращаются в «топливо для ИИ»: компании активно оцифровывают и уничтожают их

Согласно исследованию 404 Media, посредники приобретают от тысяч до миллионов печатных книг, которые после оцифровки разбираются на страницы и уничтожаются

Компании в области ИИ начали активно закупать печатные книги для обучения своих моделей, а после их цифрового преобразования уничтожать. Как сообщает 404 Media, закупки осуществляются через посредников, что позволяет скрывать конечных заказчиков. По данным расследования, отдельные сделки могут включать от 1000 до 1 миллиона книг, причем покупателей интересуют самые разнообразные издания, не ограничиваясь жанрами, авторами или темами.

Одним из игроков на этом рынке стала база ISBNdb, которая раньше занималась обслуживанием книжных магазинов и библиотек. Теперь сервис предлагает услуги по оптовой закупке книг для компаний, работающих в сфере искусственного интеллекта.

Продавцы подержанных книг сообщили о резком увеличении спроса: если ранее удавалось продавать около 20 книг в неделю, то теперь объемы выросли до нескольких сотен. Аналогичную тенденцию отмечают продавцы на платформах Alibris и Biblio.

Практика использования печатных книг для обучения ИИ уже была подтверждена в судебных материалах по делу Anthropic. Компания закупала книги, сканировала их с помощью подрядчиков, после чего многие экземпляры разбирались на отдельные страницы для высокоскоростного промышленного сканирования — такой подход оказался дешевле и быстрее, чем неразрушающая оцифровка.

Суд признал законным использование законно приобретённых книг для обучения моделей с точки зрения принципа добросовестного использования (fair use), однако Anthropic одновременно столкнулась с иском из-за хранения библиотеки из 7 миллионов пиратских книг. Отдельный иск против Google также подали издатели, обвинив компанию в незаконном использовании миллионов защищенных авторским правом книг для обучения модели Gemini.

Авторы расследования подчеркивают, что книги становятся ценным источником данных, так как они созданы людьми и не содержат значительного объема контента, созданного искусственным интеллектом. При этом остается открытым вопрос о том, исключаются ли из массовой оцифровки редкие и давно не переиздававшиеся издания, поскольку после сканирования многие экземпляры безвозвратно уничтожаются, а их цифровые копии попадают в закрытые базы данных, предназначенные исключительно для обучения ИИ.