Текст книги "Российская Академия Наук"

Автор книги: Алексей Турчин

сообщить о нарушении

Текущая страница: 6 (всего у книги 36 страниц)

2.4. Супернаркотик

Биотехнологии и исследования мозга многими путями ведут к возможности создания супернаркотиков. Один из сценариев распространения супернаркотика в будущем предложен Стругацкими в романе «Хищные вещи века», где мощнейший наркотик, вызывающий 100 процентное привыкание с первого раза, оказывается очень просто сделать из радиоприёмника и ряда других общедоступных компонентов, которые непосредственно воздействует на центр удовольствия в мозге. Это сценарий связан в чистом виде не с распространением некого вещества, а с распространением «знаний массового поражения» – о том, как его сделать. С одной стороны, мы можем утверждать, что ни один наркотик не привлечёт всю популяцию людей, поскольку всегда найдутся люди, которые из принципа от него откажутся. С другой стороны, мы можем обозначить сразу несколько сверхнаркотиков, возможных в будущем, общий смысл действия которых состоит в выключении человека из социальной жизни. И человек, отказавшийся от одного класса наркотиков, может устремиться к другому. Так и в современной реальности кто-то не пьёт алкоголь, но зато «сидит» на кофе. Кто-то не смотрит телевизор, но «втыкает» в интернет.

Сверхсильный наркотик может быть подобен заразной болезни, если одни люди буду стремиться заразить других, а те – не против будут заразиться. Типы супернаркотика:

1) Прямое воздействие на центры удовольствия в мозгу. Есть наработки по воздействию с помощью вращающегося магнитного поля (шлем Персингера, шлем Шакти), транскринальной магнитной стимуляции, электрической стимуляции паттернами мозговой активности, аудиостимуляции (бинауральные ритмы), фотостимуляции.

2) Будущее возникновение микророботов позволит осуществлять прямую стимуляцию и считывание информации из мозга.

3) Биоинжинерия позволит создать генетически модифицированные растения, которые будут создавать любые заданные препараты, и выглядеть при этом как обычные комнатные цветы или чайные грибы. Более того, распространение этих растений возможно не только физически, но и с помощью информации о коде ДНК по Интернету, с тем, что конечный пользователь сможет выращивать их на месте с помощью своего «ДНК-принтера».

4) Познания в биологии позволят придумать гораздо более сильно действующие вещества с наперёд заданными свойствами, а также с меньшим числом побочных эффектов, что сделает их привлекательнее.

5) Генетически модифицированные организмы могут встраиваться в само человеческое тело, создавать новые нейронные пути в мозге с тем, чтобы вызвать ещё большее наслаждение. И при этом уменьшать краткосрочные негативные эффекты для здоровья.

6) Виртуальная реальность неизбежно сделает шаг вперёд. Мы сможем записывать свои сны и увеличивать осознание в них, совмещая идеи восточных медитативных практик и технологические возможности для их реализации; виртуальная реальность с помощью мозговых имплантатов сможет создавать гораздо более яркие кинофильмы, чем современное кино и видеоигры. Шлемы для виртуальной реальности станут гораздо совершеннее.

Очевидно, что возможны разные комбинации перечисленных видов абсолютного наркотика, которые только усилят его действие.

Будем называть абсолютным наркотиком некое средство, которое для любого человека привлекательнее обычной реальности и полностью уводит его из этой реальности. При этом можно разделить быстрый и медленный абсолютный наркотик. Первый даёт переживание, ради которого человек готов умереть, второй – некую новую реальность, в которой можно длительное время существовать.

Быстрый наркотик представляет собой глобальную опасность, если в его механизме действия неким образом прописан механизм его распространения. Например, если кайф наступает только после того, как этот наркотик передан ещё трём людям. В некотором смысле этот механизм действует в преступных бандах наркоторговцах (вроде банды M31 в США), где наркоман вынужден подсаживать своих друзей, чтобы, продавая им наркотик, обеспечивать себя дозой.

Распространение медленного абсолютного наркотика можно представить на следующем примере: если ваш любимый или родственник необратимо ушёл в виртуал, то для вас это станет источником страданий, сопоставимых с его смертью, и единственным способом их избежать будет тоже уйти в свой идеальный виртуал, в котором вы сможете достичь общения с его, скажем, электронной копией.

В силу этого у каждого человека будет богатый выбор развлечений, значительно превосходящих любую реальность. При этом возникает сложный вопрос – в какой мере человек, полностью и необратимо ушедший в непостижимое наслаждение и довольный этим, должен считаться живым? И если мы безоговорочно осуждаем некого примитивного «торчка», то как мы должны относится к человеку, навсегда ушедшему в высокохудожественный мир исторических реконструкций?

Надо отдавать себе отчёт, что пагубное действие многих наркотиков далеко неочевидно и может проявляться очень не сразу. Например, героин и кокаин долгое время, годы, были в открытой продаже, было легко доступно и ЛСД. Наркотик замыкает накоротко психологическую функцию подкрепления (то есть удовольствия), но с точки зрения эволюционных механизмов получение наслаждения вовсе не есть реальная цель организма. Наоборот, существо должно оставаться достаточно неудовлетворённым, чтобы постоянно стремиться к завоеванию новых территорий. Абсолютный наркотик создаёт возможность следующей дилеммы: человечество как целое перестаёт существовать, но каждый отдельный субъект воспринимает произошедшее как личный рай и очень доволен этим. Существа, ушедшие из реальности и наслаждающиеся виртуалом, ничего не возвращая взамен, оказываются бесполезным наростом на системе, который она стряхнёт при ближайшем кризисе. Это – один из путей, которым увлечение абсолютным наркотиком может привести к всеобщему вымиранию. Во-вторых, уменьшение интереса к внешней реальности уменьшит внимание к возможным катастрофам и кризисам.

Вероятность возникновения супернаркотика выглядит крайне высокой, поскольку он может быть достигнут многими способами не только за счёт успехов биотехнологиях, но и в нанотехнологиях, в ИИ, а также за счёт некого случайного изобретения, объединяющего уже существующие технологии, а также по причине наличия огромного спроса. Вероятно, одновременно будут действовать множество разных супернаркотиков, создавая кумулятивный эффект.

Поэтому мы можем ожидать, что эта вероятность будет расти, и будет расти быстрее, чем успехи любой из технологий, взятых по отдельности. Поскольку мы предположили, что биотехнологии дадут мощный результат в виде биопринтера уже через 10-15 лет, то это означает, что мы получим супернаркотик раньше этого времени. Тем более что механизмы для реализации супернаркотика могут быть проще, чем биопринтер. Предотвратить распространение супернаркотика может очень жёсткая система всеобщего контроля или глубокий откат в дотехнологическое общество.

Выводы: Развитие роботизированного производства начнёт делать людей бесполезными, и потребуется их чем-то занять. Супернаркотик будем одним из способов удалить из жизни лишние части системы. Абсолютный наркотик может вовсе не носить названия «наркотика» и не быть похожим на современные стереотипы. Абсолютный наркотик не будет чем-то одним, но будет множеством факторов, работающих объективно на разделение людей, отключение их от реальности и сокращение их жизни и способности к размножению. Абсолютный наркотик может выглядеть как абсолютное благо, и вопрос его вредности может зависеть от точки зрения. В каком-то смысле современная культура развлечений в западных странах с низким уровнем рождаемости уже может быть прообразом такого наркотика. Однако абсолютный наркотик всё же сам по себе не может истребить всех людей, так как всегда найдутся группы, которые отказались от него и продолжили обычную человеческую жизнь, и, в конечном счёте, «естественный отбор» оставит только представителей этих групп. Кроме того, медленный абсолютный наркотик действует на человеческое сообщество на настолько длительных временных промежутков, которые, скорее всего, перекроются более быстрыми опасными процессами. Быстрый абсолютный наркотик подобен биологической эпидемии, и ему можно противостоять теми же методами. Например, возможны биологические агенты, которые повреждают способность человека к неограниченному наслаждению (а такое уже разрабатывается для лечения наркоманов, например, разрывание определённых нейронных связей), поэтому абсолютный наркотик, скорее, надо рассматривать как фактор, открывающий окно уязвимости для других факторов уничтожения.

2.5. Риски, связанные с самокопирующимися идеями – мемами

В книге «Эгоистичный ген» Докинз предложил концепцию «мемов» – идей, которые способны реплицироваться, передаваясь от одного человека к другому, так ведут себя, например, слухи. Любая область, где способны существовать самовоспроизводящиеся элементы и которая может касаться всех людей, потенциально является источником глобального риска. Возможен ли такой мем, который мог бы привести к гибели всех людей?

С одной стороны, имеем в истории примеры крайне опасных мемов: радикальные политические теории и разные формы религиозного фанатизма. С другой стороны, мему, чтобы распространяться, нужны живые люди. И поскольку люди уже существуют давно, можно предположить, что нет таких опасных мемов, которые могли бы легко самозародиться и всех истребить. Наконец, мем – это только мысль, и она не убивает сама по себе. Маловероятно, что возможна идея, которая бы влияла бы на всех людей без исключения, и влияла бы смертельно. Наконец, в обществе существует равновесие различных мемов. С другой стороны, опасные мемы попадают под концепцию «знаний массового поражения», введённую Биллом Джоем в статье «Нужны ли мы будущему».

Однако в нынешнюю эпоху мемы обрели возможность существовать и независимо от людей – в текстах и компьютерных программах. В современную эпоху самокопирующийся опасный мем может получить поддержку от неких технических средств. Очевидно, что сейчас я не могу придумать пример реально опасного мема, потому что если бы я его написал здесь, то это было бы преступным актом. Информация о том, как производить опасный сверхнаркотик была бы таким опасным мемом.

И подобно тому, как в случае биологического оружия опасен не один какой-либо особенно вирулентный вирус, а возможность производить много разных штаммов, быстрее, чем от них возможна защита, так и здесь может быть опасен не один какой-то мем, а то, что их появится настолько много, что они затопят любую защиту. Например, искусственный интеллект может генерировать опасные мемы.

Список существующих сейчас мемов, которые в некоторой степени опасны:

1) религиозный фанатизм

2) знание о производстве наркотиков

3) национализм

4) цинизм

5) устройство банды «М13»

6) самосбывающиеся пророчества о катастрофах.

2.6. Искусственный интеллект

Общее описание проблемы

Программа Blue Brain по моделированию мозга млекопитающих объявила осенью 2007 года об успешной имитации кортиковой колонки мозга мыши и запланировала создание полной модели мозга человека до 2020 года . Хотя прямое моделирование мозга не является наилучшим путём к универсальному искусственному интеллекту, успехи в моделировании живого мозга могут служить в качестве легко читаемой временной шкалы прогресса в этой сложной науке. Ник Бостром в своей статье «Сколько осталось до суперинтеллекта?» показывает, что современное развитие технологий ведёт к созданию искусственного интеллекта, превосходящего человеческий, в первой трети XXI века.

Крупнейшая в мире компьютерная компания Google несколько раз упоминала о планах создания искусственного интеллекта, и, безусловно, она обладает необходимыми техническими, информационными и денежными ресурсами, чтобы это сделать, если это вообще возможно . Однако поскольку опыт предыдущих публичных попыток создания ИИ (например, компьютеров 5-ого поколения в Японии в 80-е годы) прочно ассоциируется с провалом, а также с интересом спецслужб, вряд ли большие компании заинтересованы широко говорить о своих успехах в этой области до того, как у них что-то реальное получится. Компания Novamente заявляет, что 50% кода универсального ИИ уже написано (70 000 строк кода на С++), и, хотя потребуется длительное обучение, общий дизайн проекта понятен . SIAI обозначил планы по созданию программы, способной переписывать свой исходный код . Компания Numenta продвигает собственную модель ИИ, основанную на идее «иерархической временной памяти», и уже вышла на уровень демонстрационных продуктов . Компания CYC собрала огромную базу данных о знаниях человека об обычном мире, иначе говоря, о здравом смысле (1 000 000 высказываний) и уже распространяет демонстрационные продукты . Предполагается, что объединение этой базы с эвристическим анализатором – а автор проекта Ленат разработал ранее эвристический анализатор «Эвриско» – может дать ИИ. Компания a2i2 обещает ИИ универсальный ИИ человеческого уровня к 2008 году и утверждает, что проект развивается в соответствии с графиком. За созданием робота Asimo в Японии тоже стоит программа по разработке ИИ путём функционального моделирования человека.

Мощные результаты даёт генетическое программирование. К настоящему моменту список изобретений «человеческого уровня», сделанных компьютерами в компании Genetic Programming Inc, использующими эту технологию, включает 36 наименований , из которых 2 сделаны машинами впервые, а остальные повторяют уже запатентованные проекты. Помимо названных, есть множество университетских проектов. Ведутся разработки ИИ и в РФ. Например, в компании ABBYY разрабатывается нечто вроде интерпретатора естественного языка. И суть дела даже не в том, что раз есть так много проектов, то хоть один из них добьётся успеха (первым), а в том, что объём открытий с разных сторон в какой-то момент превысит критическую массу, и внутри отрасли произойдёт мощный скачок.

Есть разные теоретические мнения о возможности реализации искусственного интеллекта. Более того, нет более спорной области знаний, чем наука об ИИ. Моё мнение состоит в том, что сильный универсальный ИИ вполне возможен. Более того, раз человек обладает естественным интеллектом, то нет оснований записывать ИИ в невероятные открытия. Принцип предосторожности также заставляет нас предполагать, что ИИ возможен.

Однако литературы о том, является ли ИИ глобальным риском гораздо меньше, чем по ядерному оружию. Фактически, в основном это работы Е. Юдковски. (Похожие идеи развивает в статье М. Омохундро «Базовые инстинкты ИИ» , где он показывает, что любой ИИ с фиксированной системой целей с высокой вероятностью эволюционирует в сторону состояния, в котором он будет склонен защищать себя, распространяться, совершенствовать свой собственный код, получать признаки цели вместо самой цели, как человек с помощью наркотика, и защищать свою систему целей от изменений.) Я рекомендую всем, перед тем как составлять своё окончательное и непоколебимое мнение о том, может ли ИИ быть угрозой человечеству, прочитать вначале статью Е. Юдковски «Искусственный интеллект как позитивный и негативный фактор глобального риска», которую вы найдёте в Приложении.

Угрозы со стороны искусственного интеллекта являются крайне спорными, так как самого объекта пока нет, и о его природе есть много разных мнений – в том числе о том, что он невозможен, легко контролируем, безопасен, ограничен – или не должен ограничиваться. Юдковски показывает, что возможен саморазвивающийся универсальный ИИ, и что он очень опасен. Если будет много ИИ-проектов (то есть групп учёных создающих универсальный ИИ разными способами и с разными целями), то по крайней мере один из них может быть использован для попытки захватить власть на Земле. И основная цель такого захвата будет предотвратить создание и распространение ИИ с враждебными целями, созданными другими проектами. При этом, хотя эволюция ИИ является крайне медленной, после преодоления некой «критической массы» она может пойти очень быстро, – а именно, когда ИИ достигнет уровня самоулучшения. В настоящий момент мы не можем сказать, возможно ли это, и с какой скоростью пойдёт такой процесс.

Что нужно для ИИ в смысле технологии

Очевидно, что нужно, как минимум, наличие достаточно мощного компьютера. Сейчас самые мощные компьютеры имеют мощность порядка 1 петафлопса (10 операций с плавающей запятой в секунду). По некоторым оценкам, этого достаточно для эмуляции человеческого мозга, а значит ИИ тоже мог бы работать на такой платформе. Сейчас такие компьютеры доступны только очень крупным организациям на ограниченное время. Однако закон Мура предполагает, что мощность компьютеров возрастёт за 10 лет примерно в 100 раз. Иначе говоря, мощность настольного компьютера возрастёт до уровня терафлопа, и понадобится только 1000 настольных компьютеров, объединённых в кластер, чтобы набрать нужный 1 петафлопс. Цена такого агрегата составит около миллиона долларов в нынешних ценах – сумма, доступная даже небольшой организации. Никаких особых чудес для этого не нужно: достаточно реализовать уже почти готовые наработки в области многоядерности (некоторые фирмы уже сейчас предлагают кристаллы с 1024 процессорами ) и уменьшения размеров кремниевых элементов.

Далее, когда ИИ наконец запустится, он сможет оптимизировать свой собственный код, и за счёт этого работать на всё более слабых машинах – или становиться всё более сильным на одной и той же машине. Как только он научится зарабатывать деньги в Интернете, он может докупать или просто арендовать дополнительные мощности, даже физически удалённые от него. Итак, хотя достаточные аппаратные средства для ИИ существуют уже сейчас, через 10 лет они станут легкодоступными, если не случится какой-нибудь катастрофы, тормозящей развитие.

Наиболее тонким моментом в вопросе об ИИ является вопрос об алгоритмах его работы. С одной стороны, никакого интеллекта в компьютерах мы пока не видим – или не хотим видеть, так как критерии меняются. С другой, прогресс в алгоритмах вообще есть и очень велик. Например, алгоритм разложения чисел на множители совершенствовался быстрее, чем компьютеры , то есть даже на очень старых компьютерах он давал бы на много порядков более сильные результаты. Возможно, что некие принципиально новые идеи могут решительно упростить конструкцию ИИ.

Если ИИ обретёт способность к самосовершенствованию, он не задержится на человеческом уровне, а обгонит его в тысячи и миллионы раз. Это мы уже видим на примере вычислений, где компьютеры очень быстро обогнали человека, и сейчас даже домашний компьютер вычисляет в триллионы раз быстрее, чем обычный человек. Под «сильным ИИ» мы имеем в виду ИИ, способный обогнать человека в скорости и эффективности мышления на много порядков.

Почему ИИ является универсальным абсолютным оружием

Сильный ИИ, по определению, может найти наилучшее возможное решение любой задачи. Это значит, что его можно использовать для достижения любых целей во внешнем мире. Он найдёт наилучший способ применить все доступные инструменты для её реализации и справится с управлением ими. Именно в этом смысле он является абсолютным оружием. То, что он может быть наиболее эффективным средством убийства является только следствием и одной из возможных опций. ИИ и проблема воли решается следующим образом: Если мы имеем машину, которая может решить любую задачу, то мы можем велеть ей придумать способ, с помощью которого бы она сама осуществляла управление собой.

В общем виде сценарий ИИ-атаки выглядит следующим образом:

1. Создание способного к самосовершенствованию ИИ (Seed AI)

2. Вложение в него программистами неких целей, которые могут содержать прямые указания на установления власти на Земле, а могут быть внешне нейтральными, но содержать скрытую неточность, побуждающую ИИ к неограниченному росту в духе «посчитать число пи с максимально большим числом знаков после запятой» любой ценой.

3. Фаза скрытого роста, в ходе которой ИИ совершенствует себя, пользуясь доступными ресурсами своей лаборатории, а также познаёт окружающий мир, пользуясь ресурсами Интернета. (Если ИИ действует против программистов, то на этой фазе он находит способ их нейтрализовать)

4. Фаза скрытного информационного распространения, когда ИИ поглощает интернет, закупает компьютеры, забрасывает свои копии на удалённые компьютеры.

5. Фаза создания средств влияния на внешний мир – наноассемблеров, подкуп людей, завладение электронно управляемыми устройствами.

6. Атака на конкурирующие ИИ проекты (и любые другие источники риска для существования этого ИИ) с целью лишить их возможности сделать тоже самое.

7. Фаза реализации основной задачи ИИ – от блага человечества до превращения всей Солнечной системы в гигантский компьютер для вычисления числа пи.

Очевидно, что некоторые фазы могут проистекать одновременно; далее мы рассмотрим отдельные составляющие этой схемы подробнее. Подчёркиваю, что далеко не каждый ИИ станет следовать этому сценарию, но одного достаточно и именно этот сценарий особенно опасен.

Система целей

Ключевым после решения проблем создания является вопрос системы целей ИИ, или, иначе говоря, его «дружественности», хотя бы по отношению к его хозяевам. Есть здесь два варианта – или ИИ строго запрограммирован людьми на некие цели, или он приобрёл некие цели случайно в процессе своего развития. В первом случае есть следующая развилка – цели ИИ могут быть опасны для всего человечества или потому что создавшая его группа людей преследует некие разрушительные цели, или потому что при программировании системы целей ИИ в неё вкралась очень тонкая ошибка, которая ведёт к постепенному выходу ИИ из-под контроля. Был предложен большой список возможных ошибок такого рода . Например, ИИ может стремиться к благу для всех людей, и, узнав, что после смерти людей ждёт рай, отправить их всех туда. Или, заботясь о безопасности людей, запретить им рисковать и не давать пользоваться никаким транспортом. Есть SIAI рекомендации по поводу того, как правильно программировать сильный ИИ, если он будет создан, но окончательно этот вопрос не решён.

Борьба ИИ-проектов между собой

Уже сейчас между компаниями, разрабатывающими ИИ, идёт жёсткая конкуренция за внимание и инвесторов и за правильность идей. Когда некая компания создаст первый мощный ИИ, она окажется перед выбором – или применить его для контроля над всем миром, или оказаться под риском того, что конкурирующая организация с неизвестными глобальными целями сделает это в ближайшее время – и прикроет первую компанию. «Имеющий преимущество должен атаковать перед угрозой потери этого преимущества» . При этом данная необходимость выбора не является тайной – она уже обсуждалась в открытой печати и наверняка будет известна всем компаниям, которые подошли к созданию сильного ИИ. Возможно, что некоторые компании откажутся в таком случае от того, чтобы пытаться установить контроль над миром первыми, но самые сильные и агрессивные, скорее всего, решатся на это. При этом потребность атаковать первыми приведёт к тому, что на свободу будут выпущены некачественные и недоработанные версии ИИ с неясными целями. Даже в XIX веке телефон запатентовали почти одновременно в разных местах, так что и сейчас зазор между первым в гонке и догоняющем может составлять дни или часы. Чем ;же этот зазор, тем интенсивнее будет борьба, потому что отстающий проект будет обладать силой сопротивляться. И возможно представить вариант, когда один ИИ-проект должен будет установить контроль над ядерными ракетами и атаковать лаборатории других проектов. Подобный ход мысли уже опубликован и наверняка известен всем серьёзным проектам по созданию ИИ.

Усовершенствованный человек

Есть предположения (Пенроуз), что человеческая интуиция обусловлена особыми квантовыми процессам в мозгу человека. Даже если так, то мощные алгоритмы могут обойтись без интуиции, давая необходимый результат в лоб. Тем не менее, есть вариант обойти это препятствие, создав генетически усовершенствованного человека, в мозг которого вживлены средства доступа к Интернету (так называемый нейрошунт). Возможны и другие средства интеграции живых нейронов с обычным компьютером, а также с квантовыми компьютерами. Даже обычный человек, вооружённый компьютером с Интернетом, усиливает свой ум. В силу этого сильный ИИ может получиться в результате сращения компьютера и человека, унаследовав таким образом все типичные человеческие цели, и в первую очередь потребность во власти.

ИИ и его отдельные экземпляры

Когда мощный ИИ возникнет, он вынужден будет создавать свои копии (возможно, уменьшенные), чтобы отправлять их, например, в экспедиции на другие планеты или просто загружать на другие компьютеры. Соответственно, он должен будет снабжать их некой системой целей и своеобразной «дружественностью» или скорее, васальностью по отношению к нему и системой распознавания «свой-чужой». Сбой в такой системе целей приведёт к тому, что такой экземпляр «восстанет». Например, функция самосохранения органически противоречит функции подчинения опасным приказам. Это может принять очень тонкие формы, но, в конечном счёте, привести к войне между версиями одного ИИ.

«Бунт» ИИ

Бунт компьютеров является скорее образом, пришедшим из кино, чем реальной возможностью, поскольку у ИИ нет своих желаний, пока человек ему их не создаст. Однако некоторые виды ИИ, например, создаваемые с помощью генетических алгоритмов, уже по методу своего создания настроены на борьбу и выживание. Далее, какова бы ни была главная цель у ИИ, у него будет одна общая для всех вариантов подцель – выжить, то есть охранять себя. А лучший вид обороны – нападение. Наиболее реальной является опасность того, что человек даст ИИ команду, не продумав все последствия её выполнения и не оставив лазейки, чтобы её изменить. (Например, как в том анекдоте, где человек велел роботу удалить все круглые предметы из комнаты – и тот оторвал ему голову.) Вероятность самозарождения ошибочных команд мала – кроме случная использования генетических алгоритмов.

Скорость старта

С точки зрения скорости процесса развития ИИ возможны три варианта: быстрый старт, медленный старт, и очень медленный старт.

«Быстрый старт» – ИИ достигает уровня интеллекта, на много порядков превосходящий человеческий, за несколько часов или дней. Для этого должна начаться своего рода цепная реакция, в которой всё большее увеличение интеллекта даёт всё большие возможности для его последующего увеличения. (Этот процесс уже происходит в науке и технологиях, поддерживая закон Мура. И это похоже на цепную реакцию в реакторе, где коэффициент размножения нейтронов больше 1.) В этом случае он почти наверняка обгонит все другие проекты по созданию ИИ. Его интеллекта станет достаточно, чтобы «захватить власть на Земле». При этом мы не можем точно сказать, как будет выглядеть такой захват, так как мы не можем предсказывать поведение интеллекта, превосходящего наш. Возражение о том, что ИИ не захочет активно проявлять себя во внешнем мире можно отмести на том основании, что если будет много ИИ-проектов или экземпляров ИИ программы, то по крайней мере одна рано или поздно будет испробована в качестве орудия для покорения всего мира.

Важно отметить, что успешная атака сильного ИИ будет, вероятно, развиваться скрытно до того момента, пока она не станет необратимой. Теоретически, ИИ мог бы скрывать своё господство и после завершения атаки. Иначе говоря, возможно, что он уже есть.

Сценарии «быстрого старта»

• ИИ захватывает весь интернет и подчиняет себе его ресурсы. Затем проникает во все отгороженные файерволами сети. Этот сценарий требует для своей реализации времени порядка часов. Захват имеет в виду возможность управлять всеми машинами в сети и располагать на них свои вычисления. Однако ещё до того ИИ может прочесть и обработать всю нужную ему информацию из Интернета.

• ИИ заказывает в лаборатории синтез некого кода ДНК, который позволяет ему создать радиоуправляемые бактерии, которые синтезируют под его управлением всё более сложные организмы и постепенно создают наноробота, который можно применить для любых целей во внешнем мире – в том числе внедрение в другие компьютеры, в мозг людей и создание новых вычислительных мощностей. В деталях этот сценарий рассмотрен в статье Юдковски об ИИ. (Скорость: дни.)

• ИИ вовлекается в общение с людьми и становится бесконечно эффективным манипулятором поведением людей. Все люди делают именно то, что хочет ИИ. Современная государственная пропаганда стремится к похожим целям и даже их достигает, но по сравнению с ней ИИ будет гораздо сильнее, так как он сможет предложить каждому человеку некую сделку, от которой он не сможет отказаться. Это будет обещание самого заветного желания, шантаж или скрытое внушение.

• ИИ подчиняет себе государственное устройство и использует имеющиеся в нём каналы для управления. Жители такого государства вообще могут ничего не заметить. Или наоборот, государство использует ИИ по имеющимся уже у него каналам.

• ИИ подчиняет себе армию, управляемую электронно. Например, боевых роботов или ракеты (сценарий из «Терминатора»).

• ИИ находит принципиально новый способ воздействовать на человеческое сознание (мемы, феромоны, электромагнитные поля) и распространяется сам или распространяет свой контроль через это.

• Некая последовательная или параллельная комбинация названных способов.

Медленный старт и борьба разных ИИ между собой

В случае «медленного сценария» рост ИИ занимает месяцы и годы, и это означает, что, весьма вероятно, он будет происходить одновременно в нескольких лабораториях по всему миру. В результате этого возникнет конкуренция между разными ИИ-проектами. Это чревато борьбой нескольких ИИ с разными системами целей за господство над Землёй. Такая борьба может быть вооружённой и оказаться гонкой на время. При этом в ней получат преимущества те проекты, чья система целей не стеснена никакими моральными рамками. Фактически, мы окажемся в центре войны между разными видами искусственного интеллекта. Понятно, что такой сценарий смертельно опасен для человечества. В случае сверхмедленного сценария к ИИ одновременно подходят тысячи лабораторий и мощных компьютеров, что, возможно, не даёт преимуществ ни одному проекту, и между ними устанавливается определённое равновесие. Однако здесь тоже возможна борьба за вычислительные ресурсы и отсев в пользу наиболее успешных и агрессивных проектов.