Ученые Сбера увеличили точность определения эмоций на фото и видео с помощью ИИ, сообщает пресс-служба Сбера.
Свое исследование «Распознавание составных эмоций лиц на видео с помощью сглаживания предсказаний эффективных многозадачных нейронных сетей» ученые представили на конференции по компьютерному зрению ECCV 2024.
Новый алгоритм способен улавливать смешанные состояния, среди которых «радостно удивленный», «печально испуганный» и другие. Ученые отметили, что легковесные нейросетевые модели извлекают эмоциональные признаки, а специальная постобработка сглаживает предсказания.
Ученые добавили, что метод сглаживания предсказаний улучшил F1-меру классификации составных эмоций на 4,5 процентных пункта.
Также ученые представили исследование «Анализ эмоций на фото и видео с использованием эффективных многозадачных нейросетевых моделей» о создании легких моделей для одновременного решения нескольких задач. Эти модели способны распознавать выражение лица, знак и интенсивность эмоций, а также 12 кодов лицевых движений из классификации П. Экмана.
Предложенные подходы демонстрируют, что эффективные легковесные модели с грамотной постобработкой могут успешно конкурировать с громоздкими ансамблями сложных нейросетей. Все модели и исходный код доступны в открытой библиотеке EmotiEffLib.
