Искусственный интеллект: надежность кода лишь на 56% в безопасности

Veracode провела тестирование более 100 моделей: синтаксические ошибки были обнаружены в 0% случаев, но защита от уязвимостей осталась примерно на уровне 2025 года

Компания Veracode выпустила отчет GenAI Code Security Report 2026, в котором акцентировала внимание на разрыве между возможностями ИИ генерировать рабочий код и его безопасностью.

В четырех тестовых срезах более 100 моделей показали в среднем 56% успешных результатов по безопасности — практически столько же, сколько годом ранее. При этом синтаксические тесты модели проходили почти в 100% случаев. Иными словами, код может выполняться корректно, но при этом содержать уязвимые реализации.

Veracode проверяла исходные модели по стандартизированным заданиям на различных языках и для разных типов уязвимостей. Запросы не включали специальных указаний по безопасности. В этих условиях примерно в 44% случаев сгенерированный код не проходил проверку на безопасность. Компания отдельно отмечает, что этот показатель не следует интерпретировать как долю уязвимого кода в реальных проектах: тесты отражают только выбранные задания и условия и не учитывают дополнительные меры защиты, такие как статический анализ, политики, защитные ограничения и проверка человеком.

Специализированные модели для программирования не продемонстрировали значительных преимуществ: их средний результат составил 51% по сравнению с 52% у универсальных моделей. Размер моделей также почти не оказал влияния на безопасность: крупные модели показали в среднем 53%, средние и малые — 51%. Лучше всего выглядели модели с режимом рассуждений — 56% против 51% у остальных. В рейтинге Veracode GPT-5.5 показал 68%, в то время как 6 из 11 представленных моделей получили от 50% до 53%.

Результаты также значительно различались по языкам программирования. Python показал лучший средний результат — 63%, а Java оказался на последнем месте с 30%, хотя его показатель улучшался. В отчете подчеркивается, что корректность синтаксиса сама по себе не является надежным показателем безопасности: сгенерированный код может успешно компилироваться и выполнять поставленную задачу, одновременно используя небезопасный способ реализации.

Veracode рекомендует рассматривать ИИ-сгенерированный код как непроверенный и пропускать его через проверки безопасности до интеграции с основной кодовой базой, включая анализ зависимостей и самого сгенерированного кода. Главный практический вывод тестов — скорость генерации рабочего кода не заменяет контроль, способный выявить уязвимости, которые функциональные проверки не обнаруживают.