Цивилизация
Сбер создал нейросеть ruDALL-E, которая способна создавать уникальные графические изображения по заданному описанию. Причем задание можно давать даже по голосовому запросу в мобильном приложении «Салют» и на устройствах Sber, рассказал Давид Рафаловский, СТО, исполнительный вице-президент Сбербанк Груп во время международной конференции Artificial Intelligence Journey 2021 (AI Journey 2021). При вводе текста демо-сайт модели самостоятельно определяет язык ввода и генерирует соответствующее изображение.
Новые способности нейросети можно использовать во многих областях, например, в дизайне интерьеров, в сфере архитектурного и промышленного дизайна, для создания стоковых изображений или векторных иллюстраций, материалов для рекламы, копирайтинга, оформления сайтов. По заданному описанию можно создавать неограниченное число новых изображений. Изображение можно заказать как на русском, так и на иностранных языках
Модель существует в двух вариантах: ruDALL-E XXL, которая содержит 12 миллиардов параметров, и ruDALL-E XL, которая содержит 1,3 миллиарда параметров. Как работает нейросеть можно посмотреть на демо-сайте https://rudalle.ru/. Также ruDALL-E XL можно воспользоваться бесплатно, загрузив с сервиса Github и Hugging Face. Также обе модели можно найти в ML Space в хабе предобученных моделей и датасетов DataHub от SberCloud.
Проект по обучению ruDALL-E стал самым большим нейросетевым вычислительным проектом в России и СНГ: обучение нейросети заняло 23 тысячи GPU-часов на массиве данных из 120 миллионов пар текст-изображение.
Нейросеть обучается мультимодальным способом: одновременно на двух видах данных — картинках и текстах. Создание таких мультимодальных нейросетей решает задачи на принципиально ином уровне, это новейшая технология, первые шаги в этом направлении были сделаны только в 2020 году, отметил Давид Рафаловский. По его словам ruDALL-E можно считать настоящим прорывом для русскоязычной индустрии. За первую неделю после выхода сообщения о запуске ruDALL-E пользователи сгенерировали с помощью этой нейросети по запросам на русском языке более 3 миллионов изображений.