«Яндекс» представил правительству концепцию национального датасета для проверки ИИ-систем на соответствие духовно-нравственным ценностям. Речь, как пишет «Коммерсантъ» («Ъ») идет о наборе тестовых заданий и эталонных данных для сравнения моделей по единым критериям. Проект пока находится на стадии концепции, а вопросы о его содержании, публичности и разработчиках методики остаются открытыми.
О концепции на совещании рабочей группы по регулированию и административным барьерам ИИ 13 августа рассказал «Ъ» источник, близкий к Минцифры, и подтвердил один из участников встречи. По словам источника, датасет должен оценивать соответствие ИИ «духу времени и ценностям страны», а также пригодность технологий для российских условий.
На совещании возникли разногласия о степени публичности бенчмарка. По данным источника «Ъ», ФСБ выступает за закрытый формат, чтобы разработчики не могли заранее адаптировать модели под тестирование. Представители бизнеса считают, что это может затруднить развитие моделей, и предлагают сохранить датасет открытым.
В качестве компромисса участники предложили комбинированный вариант: использовать открытый бенчмарк для предварительного тестирования, а закрытый – для финальной проверки. Тематики заданий могут совпадать, но формулировки будут разными.
Остается открытым и вопрос о том, кто будет определять содержание тестов. ИТ-сообщество предлагает создать совместную комиссию с участием государства, бизнеса и экспертов.
В аппарате вице-премьера Дмитрия Григоренко заявили, что предложения пока обсуждаются с отраслью и ведомствами, поэтому говорить о конкретных решениях преждевременно. В Минцифры сообщили, что подзаконные акты к закону об ИИ продолжают обсуждаться с бизнесом. «Яндекс» и Альянс ИИ на запрос «Ъ» не ответили.
После выхода новости в компании «Яндекс» предоставил «Газете.Ru» комментарий:
«Яндекс» не представлял концепцию национального датасета и набор тестов для проверки ИИ-моделей. На рабочей встрече в Минцифры представители нескольких компаний обсуждали возможные подходы к такой проверке. «Яндекс» был одним из участников обсуждения и высказал свою позицию – содержание датасета должно быть открытым по общепринятым принципам отрасли».
Ранее в Китае создали ИИ-модель, способную предсказать риск развития депрессии.
