Как создаются новые девайсы от Сбера

Состоялась премьера фильма «Engineering Joy: как создаются умные устройства с виртуальными ассистентами от Сбера»

Документальная картина состоит из коротких живых монологов членов команды разработчиков SberDevices о созданных и создаваемых ими продуктах. Представили они и новый девайс от Сбера. Фильм получился в итоге, скорее, о творческих людях – увлеченных, страстных, талантливых, которые чаще всего, к сожалению, остаются за кадром. Может быть, поэтому многие считают айтишников сухими и скучными. В фильме же мы видим сплоченную команду творцов, художников, создателей виртуальных ассистентов Салют и умных устройства от Сбера. Он передает и творческую атмосферу, в которой создаются эти продукты Hi-End. И от этого становится более живым и зрелищным. Но, конечно, это и кино о новых гаджетах и технологиях, о виртуальных помощниках и девайсах от Сбера, создаваемых этой командой, и о том, как Сбер из банка превратился в экосистему.

Виртуальные ассистенты

Новые технологии постоянно открывают перед современным человеком новые возможности. Но чтобы в них разобраться и полноценно ими пользоваться явно необходим новый помощник. SberDevices и занимается развитием таких цифровых ассистентов, помогающих пользователям взаимодействовать с этим бурно развивающимся миром.

Чуть больше года назад на конференции СберКонф было представлено первое в мире семейство виртуальных ассистентов - Сбер, Афина и Джой. Таким образом у пользователей появилась возможность выбирать цифрового помощника на свой вкус. У каждого из них свой характер и стиль коммуникаций.

Джой – это легкость в общении и бодрое настроение, она всегда жизнерадостна и оптимистична. У Афины тон умеренный, спокойный, она просто олицетворение собранности, поэтому компетентна в решении любых задач. А Сбер – мужчина интеллигентный, деловой, приветливый, шутит деликатно, при этом надежный помощник и друг.

За прошедшее время виртуальные ассистенты развивались – они стали лучше понимать пользователей, научились поддерживать живой диалог и давать эмоционально окрашенные комментарии на самые разные запросы. Кроме того, они вели и активную социальную жизнь. Например, Афине удалось поучаствовать в сессии Петербургского международного экономического форума, посвящённой искусственному интеллекту, и даже задать свой вопрос российскому Президенту лично на конференции AI Journey 2020. А Джой ведёт шоу на СберПрайм ТВ.

Объединяющий Салют

Имена трех ассистентов разработчики, по их словам, придумали достаточно быстро -Афина, Сбер и Джой, а вот с объединяющим всех троих именем у них возникла проблема, которую не смогли решить ни агентства, ни писатели. Но тут как-то взгляд одного из членов команды упал на висевший на стене плакат с переводом «здравствуйте» на разные языки и зацепился за французское «salut». Остальным тоже понравилось, ведь для кого-то «Салют» – серия легендарных советских искусственных спутников Земли, один из прорывных моментов в истории освоения космоса. А для кого-то – радостный праздничный фейерферк.

За год работы виртуальных ассистентов «Салют» с ними познакомился минимум 21 миллион пользователей, шесть миллионов обращается к ним за помощью ежемесячно, список гаджетов для пользования их услугами расширился, для них на платформе SmartMarket разработано уже более 1000 приложений.

Сейчас ассистенты Салют живут в умных устройствах Sber, телевизорах под управлением Салют ТВ, мобильных приложениях СберБанк Онлайн и Салют.

За время своего существования семейство Салют уже успело порадовать пользователей — с их помощью находили любимые фильмы, музыку, ТВ-каналы и видео в интернете, помогали с тренировками, образовательным и культурным досугом, развлекали играми. Кроме того, виртуальные ассистенты теперь благодаря «дружбе» с роботом Максом могут консультировать и по получению госуслуг.

Появились у ассистентов Салют и учителя. SberDevices запустил платформу SmartMarket, позволяющую любому разработчику научить виртуального помощника чему-то новому. В команде это называют «смартап». Таких разработчиков уже появилось порядка 35 тысяч, и все они сделали более тысячи смартапов, то есть научили ассистентов Салют чему-то новому. Платформа SmartMarket открытая, позволяет внешним разработчикам получить доступ к технологическим продуктам и сервисам Сбера.

SberBox Time

Главная новинка, представленная в фильме, – умная медиаколонка SberBox Time. Это не просто компактная колонка, но также стильные механические часы и ТВ-приставка, которая при подключении к ТВ существенно расширяет его возможности. Смотрите фильмы, сериалы, ТВ-каналы, общайтесь с виртуальными ассистентами Салют, играйте в игры, заказывайте продукты и готовую еду, слушайте любимую музыку или подкасты – все это и многое можно сделать при помощи SberBox Time.

На активно используемом сейчас SberBox чтобы включить телевизор, надо сначала найти пульт и уже потом говорить в него. Здесь же телевизор включается голосом. На SberBox Time есть своя микрофонная матрица, ты можешь голосом в любой момент обратиться к виртуальным ассистентам.

Большинство современных телевизионных приставок отличаются громоздкостью и не очень хорошо смотрятся в интерьере. SberBox Time выполнен в лаконичном стильном дизайне и органично вписывается в любом интерьере. Пользователи могут бесплатно скачать модели аксессуаров и распечатать их на 3D-принтере, чтобы украсить свою умную колонку под настроение.

Умный автоответчик

В фильме представили новое важное умение ассистентов Салют, также позволяющее скинуть рутинные дела на виртуальных помощников, - автоответчик. Новый сервис дает возможность избежать ответов на назойливые телефонные звонки, которые в нашу эпоху мессенджеров все чаще или рекламные, или бесполезные.

В приложении Салют стало возможно настроить ответ виртуальных ассистентов на непринятый звонок. Причем не только подключить умный автоответчик, но и выбрать сценарии ответов, чтобы цифровые помощники взяли на себя решение повседневных задач.

Умный автоответчик обладает уникальными для российского рынка функциями. Одна из них - можно настроить в приложении и персональные ответы для определенных контактов. Естественно, сервис способен и принимать сообщения как автоответчик, причем благодаря технологиям, разработанным непосредственно в SberDevices, можно даже не прослушивать аудиозапись, а настроить пуш-уведомления с расшифровкой сообщения. Создавать индивидуальные сценарии ответов можно и на звонки из организаций и от курьеров. Например, когда виртуальные ассистенты Салют определяют, что им звонит, например, курьер по доставке еды, они могут ответить ему, что вы не можете взять трубку, продиктовать код домофона и попросить оставить заказ у двери. Новый сервис распознает звонки от курьеров и организаций не только по номеру телефона, но и по содержанию разговора.

А звонки с незнакомых номеров можно переключить на виртуальных ассистентов, чтобы не слушать ненужную рекламы и не стать жертвой телефонных мошенников.

Нейросети

Для команды SberDevices очень важно, чтобы пользователи воспринимали ассистентов не как бездушных машин, выполняющих разные задачи чисто механически, а как собеседников, способных не просто понять запрос, но и вести осмысленный диалог. Поэтому развитие эмоционального интеллекта ассистентов Салют при помощи нейросетей — одно из важнейших направлений их работы.

Первым российским виртуальным ассистентом, который начал общаться с пользователем не заранее заготовленными фразами, а генерируя слова на лету при помощи нейросети ruGPT-2, стала в прошлом году Джой. А в новой версии модели на базе ruGPT-3 Джой и Афина уже ведут живые диалоги, органичные для их персонажей, при помощи генеративной модели естественного языка. Разработчики также научили виртуальных ассистентов давать неожиданные и оригинальные ответы.

Сейчас у виртуальных ассистентов Салют три естественно звучащих голоса. Созданная разработчиками SberDevices система нейросетевого синтеза речи, разработанная в SberDevices, управляет темпом, интонацией, ударениями, длиной пауз и эмоциональной окраской речи.

Эта команда создала и первую в мире нейронную сеть ruDALL-E, способную создавать изображения на основе текстового описания на русском языке. Она подходит для создания вариантов дизайна интерьера, стоковых изображений или векторных иллюстраций, материалов для рекламы, копирайтинга, архитектурного и промышленного дизайна.

Электронная коммерция

По словам одного из членов команды, SberDevices проделала огромную работу, чтобы подружить цифровых помощников Салют со всеми сервисами экосистемы Сбер. А сейчас, например, ассистенты Салют могут заказать абсолютно любые блюда из каталога Delivery Club, товары из ассортимента Самоката, СберМаркета или СберМегаМаркета – в общей сложности более 4,5 млн разных наименований в 950 городах России. Для этого надо лишь озвучить ассистенту просьбу.

Общение с помощником начинается сразу с конкретного запроса, поэтому и ответ системы конкретен. Сервис выполняет ровно то, что хочет клиент, то есть он построен вокруг его конкретных потребностей.

Разработчики уверены, что в будущем виртуальные ассистенты смогут помогать не только в подборе еды, но и вообще чего угодно. Например, рассказать, как профессиональный консультант в магазине, о бытовой технике или объяснить устройство сложного гаджета и определить, подходит ли он клиенту.

Jazz by Sber

В мобильном приложении Салют теперь появился и сервис для создания видеоконференций Jazz by Sber, который позволяет пользователям делать видеозвонки друзьям и близким или создавать конференции до 100 человек.

В «Jazz» нет пределов по времени. Все одновременно могут показывать контент, свой экран, разговаривать, можно включить видеоклип - и все участники конференции будут синхронно одинаково видеть его. Проблему виртуальных вечеринок, когда нет возможности синхронизировать музыку для всех участников, разработчики тоже решили. Платформа также дает возможность бесшовно перевести звонок с одного устройства на другое.

Для членов команды SberDevices при разработке платформы было максимально важно обеспечить качество звука, поскольку для естественного общения это необходимо, так же, как и качество видео. Для этого в сервисе появилась технология умного шумоподавления от NVIDIA.

Умный дом

Создатели ассистентов Салют добиваются того, чтобы ассистенты помогали не только в виртуальном, но и в реальном мире. Весной 2021 года SberDevices представила собственную платформу умного дома, интегрированную с виртуальными ассистентами Салют. По мнению разработчиков, умение управлять умным домом - это важная способность ассистентов, он может создать атмосферу в жилище и помочь решить бытовые проблемы.

Сейчас в SberDevices расширили линейку устройств, добавили новые типы световых решений и реле, которое позволяет включать управление любыми устройствами через приложение Салют и ассистентов.

Для создания максимально комфортной атмосферы в умном доме разработчики сделали возможным подключение устройств сторонних производителей. Кроме того, сейчас можно создавать сценарии управления умным домом, достаточно в приложении настроить наборы действий и дать им названия.

Сервисы для бизнеса - отелей и ресторанов

Ассистенты Салют помогут найти все необходимое не только дома. Команда SberDevices специально адаптировала прошивки ТВ-приставки SberBox и умного экрана SberPortal, создав решения для отелей и ресторанов.

Платформа «Салют для отелей», работающая на базе ТВ-приставки SberBox и умного экрана SberPortal, позволяет быстро и прямо из номера по голосовому запросу получить доступ к библиотеке мультимедийных сервисов, заказать еду или полотенца, оплатить услуги отеля, продлить проживание, заказать трансфер, узнать о достопримечательностях рядом и получить ответ на вопрос, во сколько начинается ужин.

Также уже запустился пилот Салюта для ресторанов — B2B платформы на базе SberPortal, которая позволяет сделать заказ с собой в welcome-зоне ресторана, не дожидаясь официанта. Скоро появится также и вариант для заказа на столе.

Такие коммуникации, по словам разработчиков, очень нужны сейчас ресторанному бизнесу, испытывающему большую нехватку персонала и нуждающемуся в автоматизации, в том числе и в процессе продаж. Кроме того, во времена пандемии, когда многие просто боятся общаться вживую, профессиональный виртуальный официант находится вне конкуренции.

Умное зеркало

В фильме также анонсируется новый кроссплатформенный сервис, который должен заработать до конца года – умное зеркало. По словам одного из членов команды, он позволит, например, примерить покупателю солнцезащитные очки непосредственно из дома и тут же оплатить покупку с доставкой на дом. Разработчики уверены, что сервис пользователям умных устройств от Сбера понравится, ведь он помогает не ошибится с выбором при покупке и экономит время, которое нужно было бы потратить на дорогу до магазина.

Поделиться:
Загрузка
Найдена ошибка?
Закрыть