Нейросеть рассказала о прогулке по Амстердаму

Американский программист Кайл Макдональд описал кадры прогулки по Амстердаму при помощи нейросети, сообщает The Verge.

Нейросеть разработана исследователями из Стэнфордского университета и аналитиками Google. Для обработки кадров программист использовал NeuralTalk – программу, которая может описывать происходящее на фотографиях связными предложениями. Алгоритм позволяет распознавать все, что происходит на изображении, а затем описывать взаимоотношение объектов на картинке. Для того чтобы создать такую нейросеть, использовалось 150 тыс. фотографий, каждая из которых описывалась вручную.

Выйдя на улицы Амстердама и держа перед собой раскрытый ноутбук, Кайл Макдональд записывал все, что перед ним происходит. По ходу видео были показаны комментарии, которые выдавала нейросеть.

«Я считаю, что пиксельные данные в изображениях и видео могут быть темной материей интернета», – сказал Фэй-Фэй Ли, ведущий исследователь из NeuralTalk.

Ранее исследователи Google научились генерировать превью роликов на YouTube при помощи нейросети.