Боту ChatGPT почти удалось сдать экзамен на медицинскую лицензию в США

Ученые из AnsibleHealth продемонстрировали, что бот ChatGPT способен получить минимальные проходные баллы за экзамен USMLE для получения медицинской лицензии в США. Исследование опубликовано в журнале PLOS Digital Health.

USMLE представляет собой серию из трех экзаменов, необходимых для получения медицинской лицензии в Соединенных Штатах. Вопросы охватывают большинство медицинских дисциплин, от биохимии до диагностики и биоэтики.

Ученые протестировали ChatGPT на 350 из 376 общедоступных вопросов USMLE от июня 2022 года.

Бот набрал от 52,4% до 75,0% по трем экзаменам USMLE. Проходной порог каждый год составляет примерно 60%. Кроме того, бот смог выдать неочевидный и клинически значимый вывод в 88,9% своих ответов. Примечательно, что ChatGPT превзошел по производительности PubMedGPT — аналогичную модель, обученную исключительно на литературе в области биомедицины, которая набрала 50,8% на экзамене USMLE.

Авторы отметили, что их результаты подтверждают потенциал ChatGPT для улучшения медицинского образования и клинической практики. Врачи из AnsibleHealth уже используют ChatGPT, чтобы переписывать сложные отчеты понятным для пациентов языком.