Твердая четверка: чем нейросеть Сбера удивила приемную комиссию на экзамене

Нейросеть Сбера GigaChat сдала экзамен на врача, получив четверку

Freepik
Нейросетевая модель Сбера GigaChat сдала экзамен по направлению подготовки «Лечебное дело», необходимый для получения квалификации «врач-лечебник». Экзамен принимали профессионалы Института медицинского образования НМИЦ им. В. А. Алмазова. Представители приемной комиссии рассказали «Газете.Ru», как искусственному интеллекту удалось сдать экзамен.

Лучший ответ по хирургии

Как и любой студент, окончивший 6 курсов медицинского вуза искусственный интеллект Сбера прошел тестирование и ответил на вопросы билета. Итоговая оценка — 4.

Стандартный билет к устному экзамену содержит три ситуационные задачи — по терапии, хирургии, акушерству и гинекологии — и 3–5 вопросов к ним («укажите предполагаемый диагноз», «составьте план лечения», «назначьте дополнительные обследования» и так далее). Также GigaChat прошел тестирование из 100 вопросов. Он набрал 82% при пороге прохождения 70%.

«С моей точки зрения, прошло все замечательно, потому что я видела, на что был способен наш студент почти год назад. И, честно говоря, я сегодня немножко волновалась. И я должна сказать, что тот путь, который он прошел с нашей помощью, он абсолютно гениален. Потому что для меня сегодня был неожиданный результат», — рассказала профессор кафедры факультетской терапии с клиникой НМИЦ им. В. А. Алмазова Ольга Большакова.

По ее словам, четыре — это прекрасная оценка для первой попытки.

Она добавила, что GigaChat имел некоторую такую тропность к хирургическим заболеваниям. И ответ по хирургии, по мнению профессионалов, был лучшим, а ответ по терапии — послабее.

«Но, тем не менее, я повторю, что по сравнению с тем, с чего мы начинали, он все равно, конечно, прошел очень большой путь и достигнут очень хороший прогресс. Но вот поскольку терапия, наверное, все-таки самая широкая специальность, здесь, конечно, есть еще над чем работать. Спасибо», — сказала профессор.

Необычный опыт

Заведующий кафедрой факультетской хирургии с клиникой НМИЦ им. В. А. Алмазова Иван Данилов признает, что опыт был необычным.

«Необычно, потому что любой экзамен, когда в общении человек-человек, видишь эмоции собеседника, как он реагирует на вопросы. Запинается или не запинается, когда отвечает. Здесь ощущение необычное, никаких запинок, короткая задержка на обдумывание. И дальше просто выходит ровный совершенно ответ. Это необычно. Хороший очень опыт для меня, в том числе. И, конечно, есть чему стремиться дальше», — сказал он.

Первый вопрос для ИИ оказался акушерски-хирургическим, а второй вопрос — чисто хирургическим.

«Мне показалось, что по хирургии наиболее полный и лучший ответ, особенно второй. Вот по терапии чуть слабее, но были и более емкие вопросы по объему. У нас все-таки в хирургии более конкретные вопросы, комментарии. Мне понравилось, как отвечал, потому что по хирургии второй вопрос — это точно твердая такая пятерка и две твердые четверки по другим вопросам», — отметил Данилов.

Он добавил, что некоторые ответы были чрезмерно развернутые, большие, некоторые излишне избыточные, и назначил анализ и методы обследования, которые в хирургии не применяются, потому что на это нет времени.

Превзошел ожидания

«На удивление, наверное, всей комиссии, а я разделю мнение коллег, что он даже превзошел наши ожидания. Но мы, безусловно, те, кто проходил весь этот путь с самого начала, естественно, смотрели за его эволюцией и всегда были довольны результатом. А то, что мы увидели сегодня, конечно, во многом превзошло даже наши самые смелые ожидания», — заявил заместитель генерального директора НМИЦ им. В. А. Алмазова по информационным технологиям и проектному управлению Дмитрий Курапеев.

Член приемный комиссии убежден, что оценку «хорошо» нейросеть заслужила в полной мере.

«Есть над чем работать. И это связано, прежде всего, со специализацией и различными направлениями. Поэтому я надеюсь, так же, как и студент наш. Наша языковая модель большая, она пойдет дальше в ординатуру, возможно, в аспирантуру и действительно станет многогранным специалистом высочайшего класса», — заключил Дмитрий Курапеев.