Сбер выпустил семейство генеративных моделей Kandinsky WM 1.0. Об этом сообщили в пресс-службе компании.
В основу решений легла нейросеть Kandinsky 5.0 Video Lite. Новые модели обучены генерировать ролики, точнее отражающие законы физики и подходящие для .обучения систем Physical AI. Модели обучали на видео с камер роботов, беспилотников и записях промышленных процессов.
CTO Kandinsky, управляющий директор по исследованию данных Сбера Денис Димитров рассказал о сложности расчетов физических сценариев.
«Чтобы просчитать, как поведет себя коробка на мокром конвейере, нужно знать огромное количество параметров, которых у нас нет. Есть кейсы, которые вообще не описывается уравнениями, например, поведение пешехода перед беспилотным автомобилем», — отметил он.
Димитров подчеркнул, что человек решает подобные задачи за счет интуиции, опирающейся на накопленный опыт.
«Наши модели учатся так же — на видео реального мира — и позволяют «прожить» виртуально даже те сценарии, которые опасно или невозможно воспроизвести. Это шаг к моделям мира — системам, которые понимают физическую реальность, предсказывают, что произойдет дальше, и могут действовать в ней самостоятельно», — добавил он.
В Сбере считают, что модели окажутся особенно ценны там, где реальные съемки невозможны или сильно затруднены. Например, они могут генерировать видео редких или опасных сценариев, которые послужат для для тренировки роботов. Код и веса нейросетей опубликовали под лицензией MIT. Они доступны всем разработчикам мира бесплатно.
В банке привели расчет: один автомобиль с камерами и датчиками накапливает порядка 5000 часов записей ежегодно. При этом современным моделям требуются миллионы часов видеоданных. В банке назвали обучение на видео следующим рубежом физического ИИ, а синтетические данные признали ключевым инструментом для устранения дефицита объемов данных.
Видео моделей Kandinsky WM длятся около 5 секунд и отражают отдельные действия. Сюда вошли манипуляции с предметами, дорожные ситуации и этапы производственных процессов. Эти базовые «кирпичики» составят обучение автономных систем. Модели уже применяются Центром робототехники Сбера и институтом AIRI.
