Сбер создал ИИ Kandinsky, обученный законам физики для роботов и дронов

Новые нейросети создают редкие и опасные сценарии, которые трудно воспроизвести в реальности

Сбер представил серию генеративных моделей Kandinsky WM 1.0, предназначенных для формирования видеоданных, соответствующих физическим законам. Эта разработка нацелена на обучение систем Physical AI, включая беспилотные транспортные средства, промышленные роботы и другие автономные решения.

Основой послужила модель Kandinsky 5.0 Video Lite, дополнительно обученная на миллионах видеозаписей с камер роботов, беспилотных автомобилей и промышленных объектов. Это позволяет создавать реалистичные видеоролики с редкими, опасными или трудно воспроизводимыми ситуациями, которые сложно получить в реальной жизни. Такие синтетические данные способствуют ускорению обучения интеллектуальных систем и уменьшению затрат на сбор информации.

Создаваемые видео длительностью около пяти секунд демонстрируют отдельные действия — от манипуляций с предметами до дорожных эпизодов и производственных процессов. Для повышения достоверности разработчики применили дополнительное обучение и методы обучения с подкреплением, что улучшило передачу движения, геометрию объектов и физические взаимодействия.

Код и веса моделей опубликованы по лицензии MIT и доступны разработчикам совершенно бесплатно. Kandinsky WM 1.0 уже используется Центром робототехники Сбера и институтом AIRI для подготовки роботов и развития дорожных симуляторов.