Команда Yandex Research совместно с исследователями из Института науки и технологий Австрии (ISTA) и Научно-технологического университета имени короля Абдаллы в Саудовской Аравии (KAUST) разработала и опубликовала новые методы сжатия больших языковых моделей, сообщает пресс-служба Яндекса.
Благодаря разработке бизнес сможет получить уменьшенную до 8 раз нейросеть, при максимально возможном сохранении качества ответов. Также новый инструмент исправляет ошибки, которые возникают во время сжатия большой языковой модели.
Новые методы проверяли на моделях с открытым кодом, среди которых Llama 2, Llama 3, Mistral и другие.
По результатам тестов новый метод сжатия сохранил в среднем 95% качества ответов нейросети, в то время как другие не превысили 90%.
Код новых методов сжатия опубликовали на GitHub. Также для специалистов доступны популярные модели в сжатом с помощью новых методов исходным кодом.
Команда Yandex Research также опубликовала обучающие материалы, с помощью которых разработчики смогут дообучить уменьшенные нейросети.