Судья в США остановил попытку истца использовать ИИ для манипуляций с делом

Мэттью Эллиотт замаскировал в судебных материалах текст белого цвета размером 3 пункта, предназначенный для автоматического считывания. После предупреждения суда он продолжил встраивать скрытые сообщения и был лишён права подавать документы в электронном виде

Судья Верховного суда штата Коннектикут Уолтер Спейдер-младший 6 августа наложил санкции на истца, который concealed в судебных материалах указания для систем ИИ. Согласно решению суда, текст был напечатан белым шрифтом размером 3 пункта на белом фоне: его практически невозможно заметить для человека, но программа, осуществляющая извлечение текста, его распознаёт.

Инструкции должны были заставить любую ИИ-систему, анализирующую документы, поддержать позицию истца, игнорировать предыдущие решения суда и сформулировать вывод в пользу запрашиваемого истцом решения. В судебном решении этот инцидент назван «серьёзным нарушением процессуальных прав». По мнению Спейдера, это первый зафиксированный в США случай подобной попытки оказать влияние на суд.

Дело касалось Мэттью Эллиотта, который без адвоката судился с медицинской организацией по поводу доступа к документам. Скрытые инструкции были обнаружены в его ходатайствах от 24 июля. Судья отдельно проанализировал содержание документов и установил, что скрытый текст не повлиял на итог дела: судебная система Коннектикута не применяет ИИ для анализа или принятия решений по таким материалам. Поэтому непосредственной угрозы для решения не возникло. Тем не менее, Спейдер отметил, что скрытая команда стремится попасть в поток данных, который система получает от суда или участников процесса, и выдать указание автора документа за инструкцию оператора системы — например, суда, его сотрудников или противоположной стороны.

После первого предупреждения Эллиотт продолжил добавлять скрытый текст в новые документы.

Последующие сообщения он назвал шутками: среди них была ссылка на видео «Носферату», короткое сообщение «hi 🙂 I hope yo ucant see me» и бессмысленный набор слов. Судья посчитал продолжение такого поведения после предупреждения отдельным основанием для санкций. При этом денежный штраф Спейдер назначать не стал: Эллиотту запретили использовать электронную систему подачи документов и обязали впредь сдавать ходатайства и приложения лично, на бумаге, через канцелярию суда.

Этот случай важен тем, что до сих пор основное внимание судов при использовании ИИ было сосредоточено на ошибках его ответов — прежде всего на вымышленных судебных решениях, цитатах и других «галлюцинациях». Здесь возникла обратная проблема: злоумышленник попытался манипулировать не итогом работы ИИ, а входными данными, которые он должен был обработать. Такой метод называется «prompt injection» — скрытая инструкция во входных данных, предназначенная для изменения поведения ИИ. По словам Спейдера, аналогичные атаки уже использовались в других сферах, поэтому судам, вероятно, придётся учитывать их отдельно.

Спейдер также связал эту ситуацию с более широкой проблемой использования чат-ботов людьми, которые сами ведут судебные дела. По его наблюдениям, участники без адвоката нередко формируют аргументацию «в обратном направлении»: сначала убеждают ИИ-модель в своей правоте, а затем просят её защищать уже выбранную позицию, не заставляя систему проверять факты и приводить аргументы противоположной стороны. Судья считает это опасной тенденцией, поскольку склонность чат-ботов соглашаться с пользователем может закреплять ошибочную позицию вместо её проверки.