Слушать новости

Языковые модели от SberDevices стали лучшими в мире по пониманию текстов на русском языке

Прослушать новость
Остановить прослушивание

Текстовая модель ruRoberta-large finetune, которую разработал SberDevices, стала лучшей по пониманию текста в соответствии с оценкой главного русскоязычного бенчмарка для оценки больших текстовых моделей Russian SuperGLUE, уступая по точности только человеку, сообщает пресс-служба банка.

Также в шестерку лидеров вошли еще 4 модели от SberDevices: ruT5-large-finetune, ruBert-large finetune, ruT5-base-finetune, ruBert-base finetune.

«Лучшие специалисты Сбера несколько лет занимаются совершенствованием нейросетей для русского языка. Для их объективной оценки существует лидерборд Russian SuperGLUE, который четко показывает прогресс в данной работе. Наша конечная цель — создание надежных интеллектуальных систем для решения разноплановых задач на русском языке, которые могут стать предшественниками сильного искусственного интеллекта отечественной сборки», — сказал исполнительный вице-президент СберБанка, СТО Сбера, руководитель блока «Технологии» Давид Рафаловский.

ruRoBERTa является улучшенной версией ruBERT, обученный на большом корпусе текста, только на задачу восстановления маскированных токенов, на большом батч-сайзе и с токенизатором BBPE от нейросети ruGPT-3.

Лидерборд Russian SuperGLUE (General Language Understanding Evaluation) – первый рейтинг нейросетей для русского языка. Рейтинг модели зависит от того, насколько качественно нейросеть выполняет задания на логику, здравый смысл, целеполагание и понимание текста.

Оценка общего понимания языка начинается с набора тестов, отражающих различные языковые явления. Модель ruRoberta-large finetune не просто запоминает задания или угадывает результат, а также выучивает особенности и осваивает разнообразие феноменов русского языка.

Каждая модель также оценивается посредством различных заданий, среди которых DaNetQA — набор вопросов на здравый смысл и знание, с ответом «да» или «нет», RCB (Russian Commitment Bank) — классификация наличия причинно-следственных связей между текстом и гипотезой из него, PARus (Plausible Alternatives for Russian) — целеполагание, выбор из альтернативных вариантов на основе здравого смысла и другие.

Поделиться:
Новости и материалы
Все новости
Найдена ошибка?
Закрыть