Добавь сайт в закладки! Инструкция по ссылке.
Компания предоставляет возможность создания неограниченного количества дорожных сценариев через API — данная технология уже заинтересовала Toyota, Adobe, eBay и Nvidia
Стартап Decart анонсировал Oasis 3 — новую модель мира (world model), способную в реальном времени генерировать фотореалистичные виртуальные дорожные окружения для управления автомобилем. В отличие от большинства аналогичных разработок, система доступна через API с первого дня, что позволяет сторонним разработчикам разрабатывать свои собственные приложения на её базе.
Изначально компания ориентируется на рынок автономного транспорта. Производителям автомобилей и разработчикам систем автономного вождения необходимо множество сценариев для обучения и тестирования, включая редкие и опасные ситуации, которые сложно воспроизвести в реальной жизни. В будущем Decart планирует использовать эту технологию в робототехнике и других областях физического ИИ — систем, взаимодействующих с реальным миром.
По словам сооснователя и генерального директора компании Дина Лайтерсдорфа (Dean Leitersdorf), Oasis 3 должна стать первой моделью, на основе которой можно полноценно разрабатывать собственные продукты. Компания надеется создать вокруг технологии сообщество разработчиков, подобное тому, что возникло вокруг языковых моделей OpenAI.
Стоимость доступа составляет 2 цента за секунду генерации, а корпоративные тарифы устанавливаются индивидуально. У Decart уже имеется сообщество из более чем 100 тысяч разработчиков, многие из которых используют предыдущую модель Lucy для e-commerce и стриминга.
Рынок моделей реальности стремительно становится одним из самых конкурентных секторов индустрии ИИ. За последний год свои разработки представили Google с моделью Genie 3, компания World Labs, основанная Фэй-Фэй Ли (Fei-Fei Li), а также разработчики генеративного видео Luma и Runway.
Запуск Oasis 3 произошёл всего через несколько недель после того, как двухлетний стартап привлёк $300 млн инвестиций и достиг оценки почти $4 млрд. Среди инвесторов раунда — Toyota, Adobe, eBay и Nvidia. По словам руководства компании, интерес к её технологиям значительно возрос из-за спроса со стороны электронной коммерции, стриминговых сервисов и проектов физического ИИ.
Ключевым преимуществом Oasis 3 в Decart считают сочетание фотореалистичности и возможности практически безграничной генерации окружения. Это стало возможным благодаря собственной программной платформе DOS (Decart Optimization Stack), которая оптимизирует работу моделей на оборудовании Nvidia, Amazon и Google. По утверждению компании, такой подход позволяет запускать мировые модели более чем в десять раз дешевле конкурентов.
Система генерирует физически правдоподобное окружение сразу с трёх камер — одной фронтальной и двух боковых, что критично для обучения автономных транспортных систем. Разработчики могут создавать практически неограниченное количество дорожных сценариев, что особенно ценно при поиске редких пограничных ситуаций.
Тем не менее, технология пока далека от совершенства. В ходе тестирования Oasis 3 успешно создавала реалистичные сцены по текстовому описанию, но со временем теряла логическую последовательность. Например, виртуальная улица Нью-Йорка постепенно превращалась в абстрактный городской ландшафт без характерных признаков, а ранее пройденные перекрёстки могли полностью исчезать при повторном возвращении к ним.
Ещё одна проблема связана с физикой мира. Автомобиль может проезжать сквозь другие машины, так как модель пока не в состоянии надежно поддерживать согласованность объектов на протяжении длительного времени. В компании считают это одной из главных исследовательских задач в отрасли.
Причина ограничений заключается в архитектуре системы. Oasis 3 относится к авторегрессионным моделям: она последовательно генерирует кадры и постоянно опирается на ранее созданное содержание. Каждый кадр содержит около 8 тысяч токенов информации, а при генерации десятков кадров в секунду объём контекста быстро исчерпывается. Поэтому Decart работает над увеличением памяти модели и более эффективным сжатием данных.
Следующая версия Oasis должна получить возможность создавать виртуальные миры не только по изображениям, но и по видеозаписям реальных локаций, что может улучшить согласованность окружения.
Несмотря на существующие ограничения, Decart делает акцент не столько на текущих возможностях технологии, сколько на её доступности для разработчиков. Компания надеется, что открытость API позволит сторонним командам быстро находить десятки новых применений мировых моделей — так же, как это произошло с языковыми моделями несколько лет назад. Это может стать важным шагом к созданию полноценной экосистемы приложений, работающих не с текстом, а с интерактивными цифровыми мирами.
ИсточникПоделись видео: