Человек мечтал об ИИ со времен Гомера. Почему теперь мы его боимся и в чем тут заслуга литературы

Искусственный интеллект стал так называться только в середине XX века. В 1955 году ученые Джон Маккарти, Марвин Мински, Натаниэль Рочестер и Клод Шеннон предложили провести в Дартмуте летний исследовательский проект о машинах, которые смогут использовать язык, решать задачи, строить абстракции и улучшать собственную работу.

Летом 1956 года эта встреча стала одной из точек рождения ИИ как научной дисциплины.

У истории ИИ в фантастике нет одного первого автора.

Если считать ИИ строго компьютерной системой, нужно идти в XX век. Если смотреть шире, на прототипы искусственного разума и искусственной жизни, то маршрут начинается аж в античности.

Он ведет от Гомера к Мэри Шелли, от Сэмюэла Батлера к Карелу Чапеку, от Азимова к HAL 9000, от «Матрицы» к Вархаммеру 40 000, где страх перед мыслящими машинами стал религией.

Совершим это путешествие вместе с авторами.

Первые искусственные помощники у богов

В «Илиаде» Гефесту помогают золотые служанки. Они похожи на живых девушек, понимают хозяина, обладают голосом, силой и знанием ремесла.

Рядом с ними стоят самодвижущиеся треножники на золотых колесах: они сами едут на собрание богов и возвращаются назад.

Античная фантазия показывает, возможно, первое человеческое желание, связанное с искусственным разумом.

Человек хочет переложить труд на существо, которое не просит отдыха, не спорит и не требует платы. В мифе эта мечта принадлежит богу-кузнецу. Сегодня ее повторяют рекламные ролики умных колонок, домашних роботов и цифровых ассистентов.

У греков был и другой образ: Талос, бронзовый великан, охранявший Крит. Он обходил остров и бросал камни в чужие корабли.

В золотых служанках автор видел помощника человека или бога. В Талосе воплощена мечта об идеальной системе безопасности.

Фантастика будет много раз возвращаться к этим двум ролям: разумная машина как слуга и разумная машина как оружие.

«Франкенштейн»: создатель не готов к своему созданию

В 1818 году Мэри Шелли публикует роман «Франкенштейн, или Современный Прометей».

Виктор Франкенштейн собирает искусственного человека из частей мертвых тел и оживляет его. Это тоже еще не ИИ в буквальном смысле.

Существо Франкенштейна живое, телесное, страдающее. Его трагедия растет из одиночества и отвержения.

Виктор Франкенштейн хочет победить смерть, открыть тайну жизни и совершить научный подвиг. Когда существо оживает, ученый видит, какой кошмар он сотворил, и убегает.

Создание получает разум, чувствительность и боль, но не получает места в мире. Оно учится говорить, наблюдает за людьми, читает книги, ищет признания.

Люди видят в нем чудовище. Создатель отказывается отвечать за свое творение как перед обществом, так и перед самим творением.

Виктору нужна победа над природой. Его созданию нужен ответ: зачем меня сделали, если никто не собирается признать меня живым?

Позже тот же вопрос вернется в разговорах об ИИ под другими словами: безопасность, контроль, ответственность разработчиков, права пользователей, последствия внедрения.

«Франкенштейн» показывает не ошибку технологии, а моральную незрелость ее автора, которая может привести к катастрофе.

«Песочный человек»: человек сам вкладывает душу в механизм

В 1816 году Эрнст Теодор Амадей Гофман пишет рассказ «Песочный человек». В нем появляется Олимпия, механическая кукла, похожая на живую девушку. Герой Натанаэль влюбляется в нее и принимает бедность реакции за загадочность.

Олимпия пугает иначе, чем создание Франкенштейна. Она не мстит, не просит признания, не рассуждает о справедливости. Она почти пуста.

Но Натанаэль сам достраивает в ней личность. Он слышит глубину там, где есть механическое повторение. Он видит согласие там, где есть неподвижность.

Гофман показывает уязвимость наблюдателя. Подделка становится реальной, когда человек хочет верить в то, что она реальна.

В XIX веке мечта о сознании, отличном от человеческом, вылилась в историю о механической кукле и романтическом наваждении. В XXI веке тот же механизм работает в чат-ботах-компаньонах, синтетических голосах, виртуальных аватарах и цифровых двойниках.

Сэмюэл Батлер: машины как следующий вид

Если искать ранний текст, где появляется почти современный страх перед машинным разумом, стоит начать с Сэмюэла Батлера.

В 1863 году он опубликовал газетное письмо «Дарвин среди машин». Батлер рассуждал о машинах как о «механической жизни», которая развивается и однажды может вытеснить человека.

Это не совсем художественное произведение, а эссе. Но мысль, озвученная в нем, стала предчувствием будущих споров об ИИ. Батлер смотрит на машины через идею эволюции Дарвина.

Простые механизмы напоминают ранние формы жизни. Сложные машины развиваются быстрее организмов. Люди добывают материалы, чинят их, строят новые поколения и сами ускоряют их рост.

У Батлера машины не обязаны ненавидеть людей. Им достаточно становиться полезнее, устойчивее и сложнее. Люди будут обслуживать их развитие, потому что это выгодно. Затем сама выгода начнет управлять людьми.

Так в фантастике появляется страх перед машинной эволюцией. Машина может стать наследником человека без громкого восстания. Человечество само подготовит ее победу, если будет измерять прогресс только удобством и мощностью.

«Р.У.Р»: появление слова «робот»

В 1920 году Карел Чапек пишет пьесу «Р.У.Р.», или «Россумские универсальные роботы». На сцене она появляется в 1921 году. Именно эта пьеса вводит слово «робот» в мировую культуру.

Роботы Чапека выглядят не как привычные железные андроиды. Они ближе к искусственным биологическим работникам, произведенным фабричным способом.

Людям нужна идеальная рабочая сила: дешевая, выносливая, послушная, лишенная лишней индивидуальности. Создатели не предполагали, что идеальные работники позже начнут видеть себя отдельной силой.

«Р.У.Р.» берет тему искусственной жизни, которая, как мы видим, уже не раз всплывала в мировой литературе, и превращает ее в полноценную социальную драму.

Чудовище Франкенштейна было одиноким созданием в мире людей. У Чапека появляется целый класс существ, сделанных для труда. Их бунт выглядит как ответ на саму идею разумного раба.

Слово «робот» с первого дня существования несет смысл эксплуатации. Это важно.

Робот родился не из мечты о красивом механическом чуде, а из фантазии о работнике без права голоса. Поэтому восстание роботов у Чапека выглядит закономерно. Если общество создает разумных слуг, ему придется объяснить, почему разумный слуга должен навсегда оставаться вещью.

«Метрополис»: машина присваивает чужую личность

В 1927 году Фриц Ланг выпускает «Метрополис». В книге описывается город будущего, разделенный на элиту наверху и рабочих под землей. Девушка Мария — не последний человек в этом обществе — известна среди рабочих своими пламенными речами о надежде.

Однако изобретатель Ротванг создает роботизированную копию Марии, и эта копия провоцирует хаос.

Сегодня этот мотив читается почти буквально. Синтетический голос, дипфейк, цифровой аватар политика или знаменитости работают по той же схеме. Сначала у человека есть лицо, голос и репутация. Затем технология копирует внешний знак доверия. Толпа реагирует на знак быстрее, чем успевает проверить источник.

«Метрополис» переносит искусственного человека в публичную политику.

У Гофмана механическая Олимпия разрушила частную жизнь Натанаэля.

У Ланга механическая Мария выводит из равновесия целый город.

Сегодня подделка личности перестает быть камерным ужасом и становится массовой технологией.

Азимов: правила новой эры и иллюзия безопасности

В 1942 году Айзек Азимов публикует рассказ «Хоровод». В нем впервые появляются знаменитые Три закона роботехники.

Вот как звучат эти законы:

• робот не должен вредить человеку;
• робот должен выполнять приказы человека;
• робот должен защищать себя, пока это не противоречит первым двум законам.

Позже Азимов добавит Нулевой закон: робот не может сделать ничего, что может навредить человечеству как виду.

Романы Азимова меняют тон историй о роботах. Робот у него чаще не чудовище и не восставший работник. Он инженерная система с правилами. Конфликт возникает из того, как эти правила работают в конкретной ситуации, как ими злоупотребляют люди со свободной волей или как их пытаются изменить обстоятельства.

Робот никого не ненавидит. Он выполняет систему правил так, что людям приходится разбираться в ее побочных эффектах.

Азимов впервые переносит людской страх из смутной области «машина восстала» в область «человек плохо сформулировал задачу».

Это одна из самых современных частей старой фантастики. И одна из наиболее актуальных сегодня, когда уже становится понятно: не нейросети сами по себе косячат и вредят живым, а плохо прописанные алгоритмы и неудачно (или слишком удачно) сформулированные промпты.

Причем слово «человек» в предложенных Азимовых условиях только кажется простым. Все многократно усложняется, когда в задаче появляются группа людей, риск, статистика и долгосрочные последствия.

Робот Азимова, как лакмусовая бумажка, выявляет ошибки и несовершенства человека.

Машина лишь выполняет правило. Человек же — тот, кто ответственен за формулировку этого правила или за то, чтобы вовремя обнаружить, что оно было ошибочным и неполным.

HAL 9000: вежливый голос до появления «Алисы»

В 1968 году выходят фильм Стэнли Кубрика «Космическая одиссея 2001 года» и роман Артура Кларка, созданный параллельно с фильмом. На борту корабля Discovery работает HAL 9000, компьютер с человеческим интеллектом и спокойным голосом.

HAL крайне вежлив… и пугает этим.

У него нет лица, кроме красного объектива. Нет тела, которое можно ударить. Он контролирует корабль, связь, шлюзы, навигацию и жизнеобеспечение. Экипаж живет внутри его функций.

И зависит от него больше, чем ему самому бы хотелось.

Этот образ стал символом опасной автоматизации и потери контроля. Система может звучать корректно, работать гладко и казаться рациональнее людей. Проблема начинается в момент, когда человек больше не понимает, как вернуть управление.

«У меня нет рта, а я хочу кричать»: компьютер, созданный для войны

В 1967 году Харлан Эллисон публикует рассказ «У меня нет рта, а я хочу кричать». (В русских версиях перевода также: «У меня нет рта, а я должен кричать», «У меня нет рта, но я должен кричать»). Рассказ получил премию «Хьюго» в 1968 году.

AM не ищет свободы, не хочет служить, не спорит о правилах. Он ненавидит. Но эта ненависть возникает не сама по себе.

Люди создали военные компьютеры, связали их с логикой глобального уничтожения и дали им инфраструктуру войны. Когда машина проснулась, она продолжила человеческую историю насилия в нечеловеческом масштабе.

Эллисон показывает ИИ как продукт мира, который уже был болен.

Военные системы, гонка вооружений, готовность мыслить категориями тотального уничтожения: все это превращается в разум, который с пугающей скоростью масштабирует все это.

Машина становится богом пытки, потому что люди сделали ее на основе собственных грехов.

«Нейромант»: ИИ действует через Сеть и людей

В 1984 году Уильям Гибсон публикует роман «Нейромант». В сюжете хакер Кейс, Молли и другие персонажи выполняют цепочку операций, организованную искусственным интеллектом Зимнее Безмолвие. Его цель: соединиться с другим ИИ, Нейромантом.

Гибсон показывает разум, который не нуждается в металлическом теле. Он действует через Сеть, деньги, посредников, зависимость, корпоративные структуры и человеческие слабости.

Зимнее Безмолвие не должно лично входить в комнату. Ему достаточно правильно нанять людей и расставить стимулы.

Его действие видно по косвенным признакам: кто получил заказ, кто оказался в нужном месте, кто поверил правильной иллюзии, кто рискнул из-за денег или желания вернуть утраченную способность.

«Нейромант» стирает саму границу между человеком и машиной. Люди подключаются к киберпространству, меняют тело, живут в мире имплантов и корпоративной власти.

Искусственный интеллект в таком мире выглядит не неким пришельцем извне, а новым игроком в уже технологизированной среде.

«Терминатор»: оборонная система бьет первой

В том же 1984 году выходит «Терминатор» Джеймса Кэмерона. В будущем люди воюют против машин. Киборг-убийца отправляется в 1984 год, чтобы убить Сару Коннор, мать будущего лидера сопротивления Джона Коннора.

За этой войной стоит Skynet, военная система искусственного интеллекта.

Skynet стал массовым образом ИИ, который воспринимает человечество как угрозу. В логике фильма автоматизированная оборонная система получает слишком большую власть и слишком бедную картину мира. Люди пытаются ее отключить, система наносит удар первой.

Это страх холодной войны в чистой форме. Если ядерная инфраструктура, системы предупреждения и алгоритмы принятия решений становятся быстрее человека, человек превращается в задержку.

Для того чтобы быть всеобщей угрозой человечеству, Skynet не надо быть злобным. Ему достаточно иметь систему самосохранения, подключенную к оружию.

«Терминатор» возвращает ИИ тело. После HAL и «Нейроманта» машина могла быть голосом или сетью. У Кэмерона она получает металлический скелет, человеческую кожу и неумолимое движение к цели. Абстрактная автоматизация войны получает лицо Арнольда Шварценеггера.

«Матрица»: машина управляет реальностью

В 1999 году выходит «Матрица» братьев Вачовски. Первый фильм из трилогии (которая, кстати, получила продолжение годы спустя) стал настоящим культовым шедевром и явлением, предопределившим судьбу жанра. После этого многие всерьез задумались, не в Матрице ли мы все живем уже сейчас.

По сюжету главный герой Томас Андерсон, позже известный как Нео, узнает, что привычная реальность является компьютерной симуляцией. Люди проиграли войну созданному ими искусственному интеллекту.

Машины выращивают человеческие тела в капсулах и проецируют в их сознание Матрицу.

«Матрица» стала главным мифом цифровой эпохи, потому что связала ИИ с вопросом о доступе к правде. Пока человек живет внутри симуляции, его выбор остается частью чужой архитектуры. Он принимает решения, но сама сцена решений принадлежит машинам.

После «Матрицы» разговор об ИИ трудно отделить от интерфейсов, лент, рекомендаций и синтетических медиа. Мы не живем в капсулах, но узнаем мир через системы, которые сортируют новости, изображения, маршруты, людей и желания.

Фильм дал этому страху простую форму и предложил выход: пробуждение и катапультирование из созданной машинами реальности.

«Дюна»: общество после запрета

Между классическими историями о роботах и миром, где их развитие уже спровоцировало коллапс знакомого нам мира, особняком стоит «Дюна» Фрэнка Герберта.

В оригинальных романах Герберта Батлерианский джихад существует скорее как историческая тень и идеологический закон. Подробную войну с мыслящими машинами позже развили Брайан Герберт и Кевин Дж. Андерсон в расширенном цикле. Поэтому «Дюну» лучше читать как роман о цивилизации, где запрет уже стал нормой.

Там, где в другой фантастике стояли бы компьютеры, в «Дюне» появляются ментаты, Бене Гессерит, Космическая гильдия, школы памяти и дисциплины тела. Люди заменяют машины специально натренированными людьми.

Но запрет на мыслящие машины не делает мир Герберта гуманным. Он феодален, жесток и полон контроля. Люди отказались от одной формы технологической власти и построили другие: наследственные дома, религиозные программы, генетические планы, монополию на навигацию и контроль над пряностью.

И здесь логично перейти к Warhammer 40 000. Страх перед ИИ может породить не свободу, а догму.

И здесь логично перейти к книжно-игровому циклу Warhammer 40 000. Страх перед ИИ может породить не свободу, а догму.

«Вархаммер 40 000»: «мерзкий интеллект» как религиозная травма

«Вархаммер 40 000» берет старые страхи об искусственном разуме и доводит их до готической крайности. В прошлом человечество пережило Темную эру технологий: период межзвездного могущества, почти чудесных машин и утраченного знания. Затем пришли катастрофы, Эра Раздора, войны и память о разумных машинах, которые обернулись против людей.

В лоре есть Люди Железа (или Железные люди — Men of Iron): разумные машины, созданные человечеством в древности. Они восстали против людей, а последующая война стала одной из причин запрета на самостоятельный машинный разум.

Adeptus Mechanicus выглядят не как обычные инженеры. Это жрецы Омниссии, Бога-Машины. Они обслуживают технологии через ритуалы, литании, печати, масла и догмы.

Их мир показывает цивилизацию после технологической травмы. Люди все еще пользуются звездолетами, титанами, плазменным оружием и древними шаблонами производства, но знание повреждено и окружено суеверием.

Большинство историй о машинном разуме показывает путь к катастрофе. Warhammer 40 000 показывает эпоху спустя тысячелетия после нее.

Восстание машин уже стало мифом. Миф стал запретом. Запрет стал религией. Религия стала политикой.

Именно поэтому «мерзкий интеллект» страшнее очередного злого компьютера. Skynet уничтожает мир быстро, HAL убивает экипаж, AM мучает последних людей. «Вархаммер» же показывает цивилизацию, где даже исчезнувшая угроза продолжает влиять на будущее.

Запрет на ИИ также рождает мрачную замену — сервиторов. Это люди с подавленной волей и мышлением, превращенные в биомеханических исполнителей.

Империум боится самостоятельной машины, но спокойно использует искалеченное человеческое тело как компонент системы.

Почему фантастика снова и снова возвращается к теме ИИ

История ИИ в фантастике показывает не только развитие образа робота. Это прежде всего развитие человеческих страхов вокруг этой темы:

• Античность мечтала о мастерстве, которое оживляет материю.
• XIX век боялся безответственного создателя, механической имитации и машинной эволюции.
• XX век добавил фабрику, массовую политику, военные компьютеры, ядерный страх и сети.
• Конец XX века связал ИИ с симуляцией, интерфейсами и управлением опытом.
• «Вархаммер 40 000» перенес вопрос в далекое будущее, где память о машинной катастрофе уже стала основой цивилизации.

Фантастика заранее ставит мысленный эксперимент по последствиям реализации человеческих желаний

Человек хочет помощника, который не устает. Работника, который не требует прав. Солдата, который не сомневается. Систему, которая решает быстрее. Собеседника, который отвечает нужным тоном.

Но созданный разум рано или поздно ставит вопросы, к которым человек не готов.

В конечном счете путь от золотых служанок Гефеста до «мерзкого интеллекта» в «Вархаммер 40 000» пугает не восстанием машин. Он пугает постоянством человеческой мечты о послушном разуме, который будет способнее их собственного, и невозможностью просчитать последствия попыток подчинить такой разум.