Добавь сайт в закладки нажми CTRL+D
Исследование Unit 42 Palo Alto Networks выявило новый тип атак на цепочку поставок ПО, вызванный галлюцинациями языковых моделей
Искусственный интеллект020:51
Исследовательская группа Unit 42 компании Palo Alto Networks описала новый тип атак, связанный с особенностями больших языковых моделей (LLM) — они часто «галлюцинируют» и уверенно создают несуществующие, но правдоподобные веб-адреса реальных брендов. Согласно отчёту, злоумышленники уже начали заранее регистрировать такие домены, чтобы перехватывать потенциальный трафик, который генерируют системы ИИ и их пользователи.
Этот метод получил название phantom squatting («призрачный киберсквоттинг»). Его суть заключается в том, что модель сама формирует пространство потенциальных доменных имен для брендов, сервисов или API, а атакующий просто «занимает» наиболее правдоподобные из них до того, как они будут официально зарегистрированы кем-либо. В результате домен изначально выглядит легитимным для ИИ, но уже контролируется злоумышленниками.
Исследователи проанализировали работу двух LLM на выборке из 913 глобальных брендов, выполнив более 685 тысяч запросов. В ответ они получили около 2,1 миллиона сгенерированных URL, из которых более 809 тысяч оказались несуществующими доменами. После нормализации это дало примерно 250 тысяч уникальных потенциально регистрируемых «фантомных» доменов. Часть из них уже была классифицирована как вредоносная или подозрительная.
Ключевая особенность этого явления заключается в том, что LLM не просто ошибаются — они систематически воспроизводят схожие доменные паттерны для одних и тех же брендов. Это создаёт предсказуемую «поверхность галлюцинаций», которую можно заранее картографировать и использовать как список будущих целей для регистрации.
В отчёте описан случай, когда злоумышленник использовал ИИ-ассистента для создания фишингового набора, названного Montana Empire. Этот набор был развернут на домене, который исследователи смогли предсказать за 23 дня до его фактической регистрации. Согласно анализу, злоумышленник также применил ИИ-инструменты для разработки панели управления фишингом и инфраструктуры для перехвата учётных данных.
Кроме того, зафиксирован более длительный цикл в 51 день, когда фантомный домен был сначала сгенерирован моделью, затем добавлен в мониторинг, и лишь спустя почти 2 месяца зарегистрирован и использован для фишинга с поддельным мобильным приложением, имитирующим сервис национальной почтовой доставки.
Исследователи также демонстрируют, что проблема не ограничивается отдельными случаями. В выборке из 2,1 миллиона URL около 0,61% уже было связано с вредоносной активностью, включая фишинг, вредоносные загрузки и управление ботнетами. Примерно 37% ссылок вели на несуществующие домены, а около 250 тысяч уникальных доменных имен потенциально могут быть зарегистрированы заранее злоумышленниками.
Ключевой риск заключается в изменении модели доверия. Традиционные системы защиты основываются на истории домена: когда он был зарегистрирован, какие инциденты с ним связаны, есть ли у него репутация. Однако фантомные домены изначально «чистые» — они создаются не как реальная инфраструктура, а как результат генерации LLM, и в связи с этим не попадают в классические базы.
Отдельную угрозу представляет интеграция ИИ в корпоративные процессы разработки. Если LLM-ассистент предлагает разработчику URL для API, webhook или стороннего сервиса, этот адрес может оказаться полностью вымышленным. В CI/CD-конвейерах такие ссылки могут быть использованы автоматически, что создаёт риск утечки данных или внедрения вредоносных сервисов без человеческого участия.
Авторы отчёта подчеркивают, что атака становится особенно опасной в агентных ИИ-системах, которые могут не только предлагать ссылки, но и автоматически их вызывать. В этом случае компрометация происходит без традиционного фишинга — достаточно того, что модель сгенерировала и выполнила запрос.
В качестве меры защиты предлагается проактивный мониторинг «поверхности галлюцинаций» — отслеживание доменов, которые регулярно генерируют LLM, с последующей проверкой их регистрации и наличия в сети. Такой подход позволяет получить временное преимущество: исследователи отмечают, что между моментом предсказания домена и его фактической регистрацией может проходить от 18 до 51 дня.
Авторы отчёта называют этот интервал «adversarial exploitation window» — период, когда домен уже известен защитникам, но ещё не зарегистрирован злоумышленниками. Однако они подчеркивают, что этот зазор не является гарантированным и может исчезать при более быстрых атаках.
Darth SaharaИсточники:Palo Alto NetworksИскусственный интеллект0Искусственный интеллектКибербезопасностьфишингDNSLLMАгентыЦепочка поставокДоменные именаВеб-домены20:51
ИсточникПоделись видео: