Subquadratic представил революционную ИИ-модель, экономящую ресурсы и время

Недостаток независимых доказательств и расхождение мнений экспертов

Стартап Subquadratic из Майами вышел из «скрытого режима разработки» с утверждением о том, что ему удалось преодолеть одно из основных вычислительных ограничений больших языковых моделей, связанное с квадратичной сложностью механизма внимания в трансформерах.

Компания представила модель SubQ, которая, по её словам, способна обрабатывать значительно большие объёмы текста с меньшими затратами вычислительных ресурсов и энергии, а также демонстрировать многократное увеличение скорости работы на длинных контекстах. Это позволяет анализировать сотни документов или обширные кодовые базы за один проход.

Тем не менее, изначально Subquadratic предоставила лишь ограниченное количество подтверждений — в основном внутренние тесты, что вызвало сомнения в ИИ-сообществе. Некоторые эксперты сравнили ситуацию с громкими, но неподтверждёнными технологическими заявлениями, указывая на отсутствие открытого доступа к модели и независимых проверок.

Позже компания опубликовала дополнительные результаты, включая независимое тестирование, проведённое сторонней оценочной компанией Appen [поставщик услуг по тестированию и разметке данных для ИИ-моделей]. В отчётах утверждается, что SubQ показывает высокую скорость работы и конкурентоспособные результаты по ряду задач, включая программирование.

Основой заявленного улучшения является переход от стандартного механизма dense attention, используемого в трансформерах, к варианту sparse attention. В традиционных LLM каждый элемент текста взаимодействует со всеми остальными, что приводит к квадратичному росту вычислений при увеличении длины контекста. Subquadratic утверждает, что её метод выбирает лишь часть таких взаимодействий, снижая нагрузку.

При этом компания заявляет, что SubQ может обрабатывать до 12 млн токенов контекста, в то время как большинство современных моделей ограничены примерно 1 млн. В демонстрациях также утверждается, что модель может одновременно работать с сотнями документов и выполнять задачи извлечения информации на больших массивах данных значительно быстрее своих конкурентов.

Отдельное внимание уделено тестам скорости и эффективности: согласно данным Appen, SubQ демонстрировал многократное увеличение скорости обработки по сравнению с подходами на основе FlashAttention, а также высокие результаты на бенчмарке LiveCodeBench, оценивающем задачи программирования.

При этом независимые эксперты подчеркивают, что бенчмарки не отражают полноты возможностей модели в реальных сценариях. Также остаётся открытым вопрос, насколько новая архитектура действительно заменяет трансформеры, так как Subquadratic частично опирается на существующие открытые модели семейства Qwen, адаптируя их к своему подходу.

В настоящее время SubQ доступна ограниченному числу пользователей, включая корпоративных клиентов; компания объясняет это ранней стадией развития и ограниченными ресурсами. Полноценная независимая оценка модели пока невозможна, что поддерживает высокий уровень скепсиса в отношении заявлений о «снятии» ключевого ограничения LLM.