Цивилизация
Новые исследования показали, что искусственный интеллект, основанный на методах так называемого глубокого обучения, находит какие-то свои способы выявления человеческой расы исключительно по рентгеновским снимкам — что совершенно невозможно для врача-человека, смотрящего на те же изображения. Полученные результаты вызвали у ученых немалую тревогу и заставили задуматься о роли ИИ в медицинской диагностике и лечении: может ли компьютерное программное обеспечение непреднамеренно применять расовую дифференциацию при изучении подобных изображений? Статья об этом опубликована в журнале The Lancet Digital Health.
Обучив ИИ с использованием сотен тысяч имеющихся рентгеновских снимков, сопровождавшихся сведениями о расе пациента, группа исследователей из США, Канады и Тайваня протестировала свою систему на рентгеновских фотографиях, которых не было в первоначальной базе, и выяснила, что ИИ может предсказывать расовую принадлежность пациента с 90-процентной точностью даже тогда, когда сканы брались у похожих людей одного возраста и пола. «Мы стремились провести всестороннюю оценку способности ИИ распознавать расовую принадлежность пациента по подобным изображениям, — пишут исследователи в опубликованной статье. — Мы показываем, что стандартные модели глубокого обучения ИИ могут быть настроены на распознавание таким образом расы с высокой точностью и производительностью, что и было подтверждено в условиях реальной проверки».
Исследование перекликается с результатами предыдущих работ, которые показали, что сканирование рентгеновских изображений искусственным интеллектом с большей вероятностью пропускало признаки болезни у чернокожих пациентов. Чтобы этого не происходило, ученые стараются всеми возможными способами выяснить причину этого явления. По своей природе ИИ имитирует человеческое мышление, чтобы быстро выявлять закономерности в данных. Однако это также означает, что он может невольно поддаться таким же предубеждениям. И, что еще хуже, сложность процесса обучения затрудняет распутывание причин подобных предубеждений.
Сейчас ученые не могут понять, почему система ИИ так хорошо определяет расу на изображениях, которые, кажется, не содержат подобной информации, по крайней мере, она не лежит на поверхности. Даже когда экспериментаторы старались искусственно ограничить поступление подобной информации, например, путем удаления подсказок о плотности костей или путем фокусировки распознающих алгоритмов на небольшой части тела, компьютерные модели по-прежнему удивительно хорошо угадывали настоящую расу человека. Возможно, система научилась отыскивать какие-то сохраняющиеся на рентгеновских снимках, но пока неизвестные науке признаки наличия меланина — пигмента, придающего коже ее цвет.