Сбер запускает первую в России диффузионную языковую модель GFusion

Она на 45% быстрее GigaChat

Искусственный интеллект314:17

Сбер создал и выпустил первую диффузионную языковую модель GFusion. Она функционирует на основе GigaChat, который является экспериментальным проектом, как отмечает компания. Разработчики рассказали, что традиционные языковые модели генерируют текст последовательно, слово за словом. Поэтому, чтобы исправить одну ошибку, модели требуется переписывать весь ответ заново.

GFusion функционирует иначе: сначала она создает приблизительный «набросок» ответа, а затем поэтапно его дорабатывает — так же, как нейросети создают изображения и видео. Благодаря параллельной генерации GFusion создает текст быстрее: согласно тестам Сбера, новая модель работает до 45% быстрее GigaChat 3, на основе которого она была обучена.

Создатели GFusion также подчеркнули, что диффузионные модели не только быстрее, но и более гибкие в генерации. Текст не обязательно формируется строго слева направо — модель самостоятельно определяет, какую часть ответа дополнить на каждом этапе. Диффузионные модели также извлекают больше информации из ограниченного объема данных, повторно обучаясь на одном и том же датасете несколько раз.

Диффузионные языковые модели — это одно из самых многообещающих и сложных направлений в генеративном ИИ, подчеркивают в Сбере. Разработчики заявили, что GFusion — первая выпущенная в опенсорс диффузионная модель для генерации текста такого масштаба в России. Вместе с моделью Сбер опубликовал инструменты, которые ускоряют обучение диффузионных моделей.

ErinИсточники:СберИскусственный интеллект3РоссиянейросетьСберЯзыковая модельGFusion14:17