Добавь сайт в закладки! Инструкция по ссылке.
Система продемонстрировала многократное увеличение производительности на Nvidia B200 и позволила воспроизвести результаты через готовый контейнер
Искусственный интеллект213:39
На фоне продолжающейся борьбы за вычислительные ресурсы в сфере искусственного интеллекта всё большее внимание уделяется не разработке новых моделей, а повышению эффективности их работы. Компания Vidraft, занимающаяся языковыми моделями и ИИ-инфраструктурой, представила результаты тестирования системы ускорения инференса VKAE, которая, по утверждению разработчиков, позволяет в определённых сценариях увеличить производительность существующих GPU до 23 раз без модификации аппаратного обеспечения.
Интерес к таким технологиям объясняется экономикой современных ИИ-сервисов. Обучение крупной языковой модели происходит один раз, в то время как её применение — инференс, генерация ответов пользователям — осуществляется постоянно. Именно стоимость инференса определяет эксплуатационные затраты облачных сервисов, корпоративных систем ИИ и ИИ-платформ.
Разработчики предлагают рассматривать подобные системы как своеобразное «программное расширение» уже имеющихся ускорителей. В отличие от производителей чипов, которые создают новые поколения GPU, системы ускорения инференса стремятся извлечь больше производительности из уже существующего оборудования за счёт оптимизации низкоуровневого программного обеспечения, включая вычислительные ядра и механизмы планирования выполнения задач.
Согласно опубликованным данным, тестирование проводилось на графическом ускорителе Nvidia B200. Для ряда моделей были достигнуты кратные увеличения по сравнению с базовыми системами обработки запросов, при этом разработчики отдельно отмечают, что в процессе измерений не наблюдалось снижения качества ответов или ухудшения точности моделей.
Одним из наиболее значительных результатов стала демонстрация работы модели Qwen3.5-35B-A3B. При высокой конкурентной нагрузке система продемонстрировала общую производительность свыше 10 тысяч токенов в секунду. При этом авторы отдельно подчеркивают важную особенность измерений: результат зависит от характера нагрузки. Для более разнообразных реальных запросов производительность этой же модели составила примерно 455 токенов в секунду.
Измеренные данные VKAE — с учётом зафиксированных условий, представлены ниже в таблице. Пропускная способность одного потока на одной видеокарте Nvidia B200, с использованием единого измерительного оборудования, сравнение базового и оптимизированного режимов. Во всех запусках не наблюдалось ухудшения качества (точности) выходных данных.
Разработчики VKAE подчеркивают, что ускорение не является универсальным свойством и значительно зависит от архитектуры конкретной модели. Некоторые модели показывают многократный прирост производительности, тогда как другие ускоряются значительно меньше. Это связано с различиями в вычислительных узких местах, организации памяти и внутренней структуре архитектур.
Одной из самых необычных особенностей проекта стала ориентация на воспроизводимость результатов. Вместе с показателями производительности разработчики предоставляют единый контейнер, который включает как веса модели, так и оптимизированную среду выполнения. Благодаря совместимости с интерфейсами OpenAI API данное решение может быть интегрировано в существующую инфраструктуру практически без изменений.
По мнению авторов проекта, именно возможность самостоятельно проверить производительность на собственном оборудовании должна стать основным критерием доверия к подобным заявлениям. В условиях, когда результаты бенчмарков могут существенно зависеть от выбранных параметров тестирования, воспроизводимость становится важнее самих численных показателей.
При этом конкретный механизм ускорения, используемый в VKAE, пока не раскрывается. Разработчики утверждают, что детальное описание технологии готовится к публикации в формате препринта.
Darth SaharaИсточники:huggingfaceИскусственный интеллект2Искусственный интеллекттокеныNvidiaGPUОблачные вычисленияЯзыковые моделиДата-центрыИИ инфраструктураИнференсОптимизация вычисленийTensorRT-LLMVLLMСтоимость вычисленийПроизводительность GPU13:39
ИсточникПоделись видео: