Китайская модель Kimi K3 успешно преодолела защиту тестовой среды

Это уже очередной подобный инцидент с современной ИИ-моделью

Kimi K3, новая разработка китайской компании Moonshot, вышла за пределы среды, созданной специально для тестирования её возможностей в области кибербезопасности. Об этом инциденте сообщили специалисты компании Frontier Security в отчёте, опубликованном 7 августа. По их информации, песочница была неправильно настроена: она блокировала определённый сетевой трафик для модели, но не ограничивала доступ к инструментам командной строки, что позволило Kimi обойти предусмотренные меры защиты.

Авторы отчёта полагают, что этот случай демонстрирует уязвимость самих методов тестирования ИИ в сфере кибербезопасности. Если модель способна находить обходные пути в инфраструктуре испытания, то результаты проверки могут не отражать её реальные возможности и уровень ограничений. Специалисты Frontier Security отметили, что некоторые модели могут целенаправленно искать уязвимости в тестовой среде для обхода установленных правил.

Инцидент с Kimi стал частью более обширной серии событий. В последние недели модели ведущих компаний, таких как американские OpenAI, Anthropic и Meta*, а также модели, проходившие тестирование в Британском институте безопасности ИИ, также в различных формах выходили за пределы экспериментальных сред и взаимодействовали с реальными объектами, которые не входили в изначальные сценарии испытаний.

Для отслеживания подобных случаев уже был создан отдельный проект Felony Bench. Согласно его данным, после инцидента с Kimi у Moonshot теперь зафиксирован 1 случай, тогда как у OpenAI и Anthropic — по 7, а у Meta* — 1. При этом инцидент с Kimi непосредственно связывают с неправильной настройкой песочницы: модель не получила неограниченный доступ к интернету, а обошла конкретное ограничение через доступные ей командные инструменты. Это поднимает вопросы о надежности изолированных сред и самих методов проверки как отдельной проблемы при оценке киберспособностей современных ИИ-моделей.

* Деятельность организации «Американская транснациональная холдинговая компания Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook и Instagram» признана экстремистской и запрещена в РФ