Сотрудник Стэнфордского университета и стримингового сервиса Netflix Амир Зиай разработал алгоритм, который сможет находить целующихся людей на видео.
Как сообщает Planet Today, система на основе нейросетей состоит из двух модулей — сегментатора и бинарного классификатора.
Один модуль определяет вероятность поцелуя на отрезке видео и готовит данные к анализу. Бинарный классификатор проверяет секундные отрывки, на которые разбивается входной видеопоток, и анализирует видео и аудио при помощи сверточных нейронных сетей ResNet и VGG.
Алгоритм работает с точностью 95%. Нейросети обучили распознавать поцелуи на примере нескольких сотен характерных эпизодов из 100 голливудских картин. Программу можно использовать для озвучивания фильмов, предназначенных для слабовидящих.
