Исследователи центра практического искусственного интеллекта Сбера разработали метод, который на 30% повышает точность обнаружения некорректных ответов больших языковых моделей и снижает риск галлюцинаций, сообщает пресс-служба Сбера.
Результаты исследования опубликовали в статье «Эффективные мета-модели для оценки вопросов и ответов Больших Языковых Моделей на основании контекста» на конференции SIGIR 2025.
Как отметили ученые, большие языковые модели умеют генерировать правдоподобные, но ложные ответы.
В ходе исследования ученые Сбера изучили актуальные методы нахождения галлюцинаций ИИ и разработали метамодели, которые используют всего 250 примеров для обучения.
Как рассказал директор центра практического искусственного интеллекта Сбера Глеб Гусев, открытие позволит изменить подход к оценке ответов ИИ.
«Мы показали, что даже при небольшом объеме данных можно добиться высокой точности AI-систем. Это особенно важно для индустриальных решений, где разметка требует дополнительных ресурсов», — сказал он.
Также в Сбере отметили, что новый подход позволит компаниям заметно сэкономить ресурсы на разметку данных и улучшить качество RAG-систем.
