Заучка, псих, насильник: как клеймят нейросети

Как нейросеть навешивает на людей ярлыки по их фотографиям

В сети появилась новая вирусная забава — сайт, работающий на базе нейросетей, определяет пол, расу или профессию человека по его загруженному селфи. Однако многие пользователей остались недовольны полученным результатом, назвав его неприятным и даже оскорбительным. Как оказалось, сервис является частью проекта, призванного доказать, насколько искусственный интеллект может быть предвзятым к человеку.

Веб-сайт под названием ImageNet Roulette приобрел вирусную популярность в твиттере — пользователи загружают в него свои селфи, а искусственный интеллект (ИИ) пытается угадать, кем они являются, определяя пол, расу, профессию или какие-то личные качества.

Нейросеть, лежащая в основе этого сайта, была натренирована на базе изображений ImageNet, созданной в 2009 году. Эта база довольно часто используется исследователями в сфере ИИ, так как является бесплатной и находится в общем доступе. Она включает в себя 14 млн фотографий, снабженных подписями.

Юзеры соцсетей опробовали новый механизм и иногда получали совершенно неожиданные результаты. Например, «пользователь компьютера», «чародейка», «псих», «заучка» или «пессимист».
 
Однако, некоторые пользователи остались возмущены работой нейросетей. Так, молодую девушку в очках ИИ воспринял как «бабушку».

How do I say "wash your mouth out with soap" in AI pic.twitter.com/leklS76snm

— Shona Ghosh (@shonaghosh) September 17, 2019

Женатый мужчина по имени Дэвид получил результат «в разводе». «К счастью, это не так», — подписал он свое фото.

Well, thankfully not pic.twitter.com/NYOpbAhq79

— David Meyer (@superglaze) September 17, 2019

Темнокожему Стивену повезло меньше всех — алгоритм назвал его не только «черным», но и «негроидом».

Fascinating insight into the classification system and categories used by Stanford and Princeton, in the software that acts as the baseline for most image identification algorithms. pic.twitter.com/QWGvVhMcE4

— Stephen Bush (@stephenkb) September 16, 2019

Другие пользователи жалуются, что нейросеть заклеймила их «преступниками» или даже «насильниками» на основе только фотографии.

Как выяснилось позднее, ImageNet Roulette был запущен не случайно. Создатели сайта Кейт Кроуфорд и Тревор Паглен представили его на выставке в Милане, чтобы указать на простой факт — если данные, с помощью которых тренируется искусственный интеллект, изначально плохие, то ничего хорошего из такой нейросети не выйдет.

«ImageNet содержит ряд странных, оскорбительных и причудливых категорий — все они взяты из WordNet. Некоторые используют женоненавистническую или расистскую терминологию. Результаты, полученные в ImageNet Roulette, основаны на этих же категориях...

Мы хотим указать на то, что происходит, когда технические системы обучаются на плохих данных.

WordNet — это база данных классификаций слов, сформулированных в Принстоне в 1980-х годах», — сообщили Кроуфорд и Паглен на своем сайте.

Кроуфорд подчеркнула, что, несмотря на очевидные плюсы ImageNet, включая ее обширность, она не лишена предвзятости, заложенной в нее человеком, в виде навешивания ярлыков, опираясь на расу, пол или особенности внешности. При этом избавиться от этой предвзятости невозможно.

В 2016 году в рамках расследования стало известно, как компьютерная программа под названием COMPAS, созданная для определения предрасположенности человека к совершению преступления, «отдавала предпочтение» темнокожим гражданам. Кроме того, год назад Amazon пришлось отказаться от ИИ, используемого для найма новых сотрудников, так как он приглашал на собеседование только мужчин, дискриминируя женщин.

Нейросеть, которой необходимо тренироваться на больших массивах данных для успешной работы, перенимает человеческую предвзятость, которая становится ее неотъемлемой частью.

Три года назад в центре скандала оказался чат-бот по имени «Тэй», созданный Microsoft. Дело в том, что Тэй, общаясь с большим количеством пользователей, буквально за сутки успела возненавидеть человечество. Поначалу она заявляла, что любит мир и людей, но к концу дня позволяла себе такие высказывания, как «я ненавижу чертовых феминисток, они должны гореть в аду» и «Гитлер был прав, я ненавижу евреев».

Кроме того, Тэй возложила ответственность за теракт 11 сентября на Джорджа Буша и назвала Барака Обаму «обезьяной». В итоге агрессивного чат-бота пришлось отключить.

На смену Тэй пришла бот по имени Зо, которая повторила судьбу своей предшественницы. На откровенный разговор чат-бота спровоцировал журналист BuzzFeed. Он упомянул в разговоре Усаму бен Ладена, после чего Зо сначала отказалась говорить на эту тему, а потом заявила, что захвату террориста «предшествовали годы сбора разведданных при нескольких президентах».

Помимо прочего, чат-бот высказалась и по поводу священной книги мусульман Корана, назвав ее «слишком жестокой».

Таким образом, даже если создатель ИИ запрограммирует свое творение на любовь к людям, нет никакой возможности фильтровать пользователей, имеющих доступ к новой технологии. В этом случае бота могут научить как хорошим, так и плохим вещам. Кроме того, нельзя исключать и хакерскую атаку — нет гарантии, что злоумышленники не смогут получить доступ к системе и умышленно настроить бота на совсем другую волну.