Текст книги "Искусственный интеллект. Этапы. Угрозы. Стратегии"

Автор книги: Ник Бостром

сообщить о нарушении

Текущая страница: 1 (всего у книги 40 страниц) [доступный отрывок для чтения: 10 страниц]

Эту книгу хорошо дополняют

Теория игр

Авинаш Диксит и Барри Нэлбафф

Brainiac

Кен Дженнингс

Удовольствие от x

Стивен Строгац

Nick Bostrom

Superintelligence

Paths, Dangers, Strategies

Ник Бостром

Искусственный интеллект

Этапы. Угрозы. Стратегии

Москва

«Манн, Иванов и Фербер»

2016

Информация

от издательства

Научные редакторы М. С. Бурцев, Е. Д. Казимирова, А. Б. Лаврентьев

Издано с разрешения Alexander Korzhenevski Agency

На русском языке публикуется впервые

Бостром, Ник

Искусственный интеллект. Этапы. Угрозы. Стратегии / Ник Бостром ; пер. с англ. С. Филина. – М. : Манн, Иванов и Фербер, 2016.

ISBN 978-5-00057-810-0

Что случится, если машины превзойдут людей в интеллекте? Они будут помогать нам или уничтожат человеческую расу? Можем ли мы сегодня игнорировать проблему развития искусственного интеллекта и чувствовать себя в полной безопасности?

В своей книге Ник Бостром пытается осознать проблему, встающую перед человечеством в связи с перспективой появления сверхразума, и проанализировать его ответную реакцию.

Все права защищены.

Никакая часть данной книги не может быть воспроизведена в какой бы то ни было форме без письменного разрешения владельцев авторских прав.

Правовую поддержку издательства обеспечивает юридическая фирма «Вегас-Лекс»

This book was originally published in English in 2014. This translation is published by arrangement with Oxford University Press. Publisher is solely responsible for this translation from the original work and Oxford University Press shall have no liability for any errors, omissions or inaccuracies or ambiguities in such translation or for any losses caused by reliance thereon.

© Nick Bostrom, 2014

© Перевод на русский язык, издание на русском языке, оформление. ООО «Манн, Иванов и Фербер», 2016

Предисловие партнера

…У меня есть один знакомый, – сказал Эдик. – Он утверждает, будто человек – промежуточное звено, необходимое природе для создания венца творения: рюмки коньяка с ломтиком лимона.

Аркадий и Борис Стругацкие. Понедельник начинается в субботу

Компьютеры, а точнее алгоритмы, опирающиеся на непрерывно растущие вычислительные мощности, лучше людей играют в шахматы, шашки и нарды. Они очень неплохо водят самолеты. Они смогли пройти тест Тьюринга, убедив судей в своей «человечности». Однажды таксист в Дублине – городе, где расположены европейские штаб-квартиры многих глобальных IT-компаний, – сказал мне, что приветствует бурное развитие технологического сектора своей страны, но потом с сожалением добавил: «Одна беда – из-за этих умных ребят довольно скоро таксисты будут не нужны». Автомобили без водителей, управляемые компьютерами, уже проходят испытания на обычных дорогах в нескольких странах. По мнению философа Ника Бострома, чью книгу вы держите в руках, – все это звенья одной цепи и довольно скоро из-за развития компьютерных технологий нам всем, человеческому роду, может прийти конец.

Автор считает, что смертельная угроза связана с возможностью создания искусственного интеллекта, превосходящего человеческий разум. Катастрофа может разразиться как в конце XXI века, так и в ближайшие десятилетия. Вся история человечества показывает: когда происходит столкновение представителя нашего вида, человека разумного, и любого другого, населяющего нашу планету, побеждает тот, кто умнее. До сих пор умнейшими были мы, но у нас нет гарантий, что так будет длиться вечно.

Ник Бостром пишет, что если умные компьютерные алгоритмы научатся самостоятельно делать еще более умные алгоритмы, а те, в свою очередь, еще более умные, случится взрывной рост искусственного интеллекта, по сравнению с которым люди будут выглядеть приблизительно как сейчас муравьи рядом с людьми, в интеллектуальном смысле, конечно. В мире появится новый, хотя и искусственный, но сверхразумный вид. Неважно, что ему «придет в голову», попытка сделать всех людей счастливыми или решение остановить антропогенное загрязнение мирового океана наиболее эффективным путем, то есть уничтожив человечество, – все равно сопротивляться этому у людей возможности не будет. Никаких шансов на противостояние в духе кинофильма про Терминатора, никаких перестрелок с железными киборгами. Нас ждет шах и мат – как в поединке шахматного компьютера «Дип Блю» с первоклассником.

За последнюю сотню-другую лет достижения науки у одних пробуждали надежду на решение всех проблем человечества, у других вызывали и вызывают безудержный страх. При этом, надо сказать, обе точки зрения выглядят вполне оправданными. Благодаря науке побеждены страшные болезни, человечество способно сегодня прокормить невиданное прежде количество людей, а из одной точки земного шара можно попасть в противоположную меньше чем за сутки. Однако по милости той же науки люди, используя новейшие военные технологии, уничтожают друг друга с чудовищной скоростью и эффективностью.

Подобную тенденцию – когда быстрое развитие технологий не только приводит к образованию новых возможностей, но и формирует небывалые угрозы, – мы наблюдаем и в области информационной безопасности. Вся наша отрасль возникла и существует исключительно потому, что создание и массовое распространение таких замечательных вещей, как компьютеры и интернет, породило проблемы, которые было бы невозможно вообразить в докомпьютерную эру. В результате появления информационных технологий произошла революция в человеческих коммуникациях. В том числе ею воспользовались разного рода киберпреступники. И только сейчас человечество начинает постепенно осознавать новые риски: все больше объектов физического мира управляются с помощью компьютеров и программного обеспечения, часто несовершенного, дырявого и уязвимого; все большее число таких объектов имеют связь с интернетом, и угрозы кибермира быстро становятся проблемами физической безопасности, а потенциально – жизни и смерти.

Именно поэтому книга Ника Бострома кажется такой интересной. Первый шаг для предотвращения кошмарных сценариев (для отдельной компьютерной сети или всего человечества) – понять, в чем они могут состоять. Бостром делает очень много оговорок, что создание искусственного интеллекта, сравнимого с человеческим разумом или превосходящего его, – искусственного интеллекта, способного уничтожить человечество, – это лишь вероятный сценарий, который может и не реализоваться. Конечно, вариантов много, и развитие компьютерных технологий, возможно, не уничтожит человечество, а даст нам ответ на «главный вопрос жизни, Вселенной и всего такого» (возможно, это и впрямь окажется число 42, как в романе «Автостопом по Галактике»). Надежда есть, но опасность очень серьезная – предупреждает нас Бостром. На мой взгляд, если вероятность такой экзистенциальной угрозы человечеству существует, то отнестись к ней надо соответственно и, чтобы предотвратить ее и защититься от нее, следует предпринять совместные усилия в общемировом масштабе.

Завершить свое вступление хочется цитатой из книги Михаила Веллера «Человек в системе»:

Когда фантастика, то бишь оформленная в образы и сюжеты мысль человеческая, долго и детально что-то повторяет – ну так дыма без огня не бывает. Банальные голливудские боевики о войнах людей с цивилизацией роботов несут в себе под шелухой коммерческого смотрива горькое зернышко истины.

Когда в роботы будет встроена передаваемая программа инстинктов, и удовлетворение этих инстинктов будет встроено как безусловная и базовая потребность, и это пойдет на уровень самовоспроизводства – вот тогда, ребята, кончай бороться с курением и алкоголем, потому что будет самое время выпить и закурить перед ханой всем нам.

Евгений Касперский,

генеральный директор «Лаборатории Касперского»

Неоконченная история о воробьях

Однажды, в самый разгар гнездования, утомленные многодневным тяжким трудом воробьи присели передохнуть на заходе солнца и пощебетать о том о сем.

– Мы такие маленькие, такие слабые. Представьте, насколько проще было бы жить, держи мы в помощниках сову! – мечтательно прочирикал один воробей. – Она могла бы вить нам гнезда…

– Ага! – согласился другой. – А еще присматривать за нашими стариками и птенцами…

– И наставлять нас, и защищать от соседской кошки, – добавил третий.

Тогда Пастус, самый старший воробей, предложил:

– Пусть разведчики полетят в разные стороны на поиски выпавшего из гнезда совенка. Впрочем, подойдет и совиное яйцо, и вороненок, и даже детеныш ласки. Эта находка обернется для нашей стаи самой большой удачей! Вроде той, когда мы обнаружили на заднем дворе неоскудевающий источник зерна.

Возбудившиеся не на шутку воробьи расчирикались что было мочи.

И только одноглазый Скронфинкл, въедчивый, с тяжелым нравом воробей, похоже, сомневался в целесообразности данного предприятия.

– Мы избрали гибельный путь, – убежденно промолвил он. – Разве не следует сначала серьезно проработать вопросы укрощения и одомашнивания сов, прежде чем впускать в свою среду такое опасное существо?

– Сдается мне, – возразил ему Пастус, – искусство приручения сов – задача не из простых. Найти совиное яйцо – и то чертовски сложно. Так что давайте начнем с поиска. Вот сумеем вывести совенка, тогда и задумаемся о проблемах воспитания.

– Порочный план! – нервно чирикнул Скронфинкл.

Но его уже никто не слушал. По указанию Пастуса воробьиная стая поднялась в воздух и отправилась в путь.

На месте остались лишь воробьи, решившие все-таки выяснить, как приручать сов. Довольно быстро они поняли правоту Пастуса: задача оказалась неимоверно сложной, особенно в отсутствие самой совы, на которой следовало бы практиковаться. Однако птицы старательно продолжали изучать проблему, поскольку опасались, что стая вернется с совиным яйцом прежде, чем им удастся открыть секрет, каким образом можно контролировать поведение совы.

Автору неизвестно, чем закончилась эта история, но он посвящает свою книгу Скронфинклу и всем его последователям.

Введение

Внутри нашего черепа располагается некая субстанция, благодаря которой мы можем, например, читать. Указанная субстанция – человеческий мозг – наделена возможностями, отсутствующими у других млекопитающих. Собственно, своим доминирующим положением на планете люди обязаны именно этим характерным особенностям. Некоторых животных отличает мощнейшая мускулатура и острейшие клыки, но ни одно живое существо, кроме человека, не одарено настолько совершенным умом. В силу более высокого интеллектуального уровня нам удалось создать такие инструменты, как язык, технология и сложная социальная организация. С течением времени наше преимущество лишь укреплялось и расширялось, поскольку каждое новое поколение, опираясь на достижения предшественников, шло вперед.

Если когда-нибудь разработают искусственный разум, превосходящий общий уровень развития человеческого разума, то в мире появится сверхмощный интеллект. И тогда судьба нашего вида окажется в прямой зависимости от действий этих разумных технических систем – подобно тому, как сегодняшняя участь горилл в большей степени определяется не самими приматами, а людскими намерениями.

Однако человечество действительно обладает неоспоримым преимуществом, поскольку оно и создает разумные технические системы. В принципе, кто мешает придумать такой сверхразум, который возьмет под свою защиту общечеловеческие ценности? Безусловно, у нас имеются весьма веские основания, чтобы обезопасить себя. В практическом плане нам придется справиться с труднейшим вопросом контроля – как управлять замыслами и действиями сверхразума. Причем люди смогут использовать один-единственный шанс. Как только недружественный искусственный интеллект (ИИ) появится на свет, он сразу начнет препятствовать нашим усилиям избавиться от него или хотя бы откорректировать его установки. И тогда судьба человечества будет предрешена.

В своей книге я пытаюсь осознать проблему, встающую перед людьми в связи с перспективой появления сверхразума, и проанализировать их ответную реакцию. Пожалуй, нас ожидает самая серьезная и пугающая повестка, которую когда-либо получало человечество. И независимо от того, победим мы или проиграем, – не исключено, что этот вызов станет для нас последним. Я не привожу здесь никаких доводов в пользу той или иной версии: стоим ли мы на пороге великого прорыва в создании искусственного интеллекта; возможно ли с определенной точностью прогнозировать, когда свершится некое революционное событие. Вероятнее всего – в нынешнем столетии. Вряд ли кто-то назовет более конкретный срок.

В первых двух главах я рассмотрю разные научные направления и слегка затрону такую тему, как темпы экономического развития. Однако в основном книга посвящена тому, что произойдет после появления сверхразума. Нам предстоит обсудить следующие вопросы: динамику взрывного развития искусственного интеллекта; его формы и потенциал; варианты стратегического выбора, которыми он будет наделен и вследствие которых получит решающее преимущество. После этого мы проанализируем проблему контроля и попытаемся решить важнейшую задачу: возможно ли смоделировать такие исходные условия, которые позволят нам сохранить собственное превосходство и в итоге выжить. В последних главах мы отойдем от частностей и посмотрим на проблему шире, чтобы охватить в целом ситуацию, сложившуюся в результате нашего изучения. Я предложу вашему вниманию некоторые рекомендации, что следует предпринять уже сегодня, дабы в будущем избежать катастрофы, угрожающей существованию человечества.

Писать эту книгу было нелегко. Надеюсь, что пройденный мною путь пойдет на пользу другим исследователям. Они без лишних препятствий достигнут новых рубежей и полные сил смогут быстрее включиться в работу, благодаря которой люди полностью осознают всю сложность стоящей перед ними проблемы. (Если все-таки дорога изучения покажется будущим аналитикам несколько извилистой и местами изрытой ухабами, надеюсь, они оценят, насколько непроходимым был ландшафт прежде.)

Невзирая на сложности, связанные с работой над книгой, я старался излагать материал доступным языком; правда, сейчас вижу, что не вполне с этим справился. Естественно, пока я писал, то мысленно обращался к потенциальному читателю и почему-то всегда в данной роли представлял себя, только несколько моложе настоящего, – получается, я делал книгу, которая могла бы вызвать интерес прежде всего у меня самого, но не обремененного прожитыми годами. Возможно, именно это определит в дальнейшем малочисленность читательской аудитории. Тем не менее, на мой взгляд, содержание книги будет доступно многим людям. Надо лишь приложить некоторые умственные усилия, перестать с ходу отвергать новые идеи и воздерживаться от искушения подменять все непонятное удобными стереотипами, которые мы все легко выуживаем из своих культурных запасов. Читателям, не обладающим специальными знаниями, не стоит пасовать перед встречающимися местами математическими выкладками и незнакомыми терминами, поскольку контекст всегда позволяет понять основную мысль. (Читатели, желающие, напротив, узнать больше подробностей, найдут много интересного в примечаниях1.)

Вероятно, многое в книге изложено некорректно2. Возможно, я упустил из виду какие-то важные соображения, в результате чего некоторые мои заключения – а может быть, и все – окажутся ошибочными. Чтобы не пропустить мельчайший нюанс и обозначить степень неопределенности, с которой мы имеем дело, мне пришлось обратиться к специфическим маркерам – поэтому мой текст перегружен такими уродливыми словесными кляксами, как «возможно», «могло бы», «может быть», «похоже», «вероятно», «с большой долей вероятности», «почти наверняка». Однако я всякий раз прибегаю к помощи вводных слов крайне осторожно и весьма продуманно. Впрочем, для обозначения общей ограниченности гносеологических допущений одного такого стилистического приема явно недостаточно; автор должен выработать системный подход, чтобы рассуждать в условиях неопределенности и прямо указывать на возможность ошибки. Речь ни в коей мере не идет о ложной скромности. Искренне признаю, что в моей книге могут быть и серьезные заблуждения, и неверные выводы, но при этом я убежден: альтернативные точки зрения, представленные в литературе, – еще хуже. Причем это касается и общепринятой «нулевой гипотезы», согласно которой на сегодняшний день мы можем с абсолютным основанием игнорировать проблему появления сверхразума и чувствовать себя в полной безопасности.

Глава первая

Прошлые достижения и сегодняшние возможности

Начнем с обращения к далекому прошлому. В общих чертах история представляет собой последовательность различных моделей роста, причем процесс носит прогрессивно ускоряющийся характер. Эта закономерность дает нам право предполагать, что возможен следующий – еще более быстрый – период роста. Однако вряд ли стоит придавать слишком большое значение подобному соображению, поскольку тема нашей книги – не «технологическое ускорение», не «экспоненциальный рост» и даже не те явления, которые обычно подаются под понятием «сингулярность». Далее мы обсудим историю вопроса: как развивались исследования по искусственному интеллекту. Затем перейдем к текущей ситуации: что сегодня происходит в этой области. И наконец, остановимся на некоторых последних оценках специалистов и поговорим о нашей неспособности прогнозировать сроки дальнейшего развития событий.

Модели роста и история человечества

Всего несколько миллионов лет назад предки людей еще жили в кронах африканских деревьев, перепрыгивая с ветки на ветку. Появление Homo sapiens, или человека разумного, отделившегося от наших общих с человекообразными обезьянами предков, с геологической и даже эволюционной точки зрения происходило очень плавно. Древние люди принимали вертикальное положение, а большие пальцы на их кистях стали заметно отстоять от остальных. Однако самое главное – происходили относительно незначительные изменения в объеме мозга и организации нервной системы, что в конце концов привело к гигантскому рывку в умственном развитии человека. Как следствие, у людей появилась способность к абстрактному мышлению. Они начали не только стройно излагать сложные мысли, но и создавать информационную культуру, то есть накапливать сведения и знания и передавать их от поколения к поколению. Надо сказать, человек научился делать это значительно лучше любых других живых существ на планете.

Древнее человечество, используя появившиеся у него способности, разрабатывало все более и более рациональные способы производства, благодаря чему смогло мигрировать далеко за пределы джунглей и саванн. Сразу после возникновения земледелия стремительно начали расти величина населения и его плотность. Больше народа – больше идей, причем высокая плотность способствовала не только быстрому распространению новых веяний, но и появлению разных специалистов, а это означало, что в среде людей шло постоянное совершенствование профессиональных навыков. Данные факторы повысили темпы экономического развития, сделали возможным рост производительности и формирование технического потенциала. В дальнейшем такой же по значимости прогресс, приведший к промышленной революции, вызвал второй исторический скачок в ускорении темпа роста.

Такая динамика темпа роста имела важные последствия. Например, на заре человечества, когда Землю населяли прародители современных людей, или гоминиды[1], экономическое развитие происходило слишком медленно, и потребовалось порядка миллиона лет для прироста производственных мощностей, чтобы население планеты позволило себе увеличиться на миллион человек, причем существовавших на грани выживания. А после неолитической революции, к 5000 году до н. э., когда человечество перешло от охотничье-собирательского общества к сельскохозяйственной экономической модели, темпы роста выросли настолько, что для такого же прироста населения хватило двухсот лет. Сегодня, после промышленной революции, мировая экономика растет примерно на ту же величину каждые полтора часа1.

Существующий темп роста – даже если он законсервируется на относительно продолжительное время – приведет к впечатляющим результатам. Допустим, мировая экономика продолжит расти со средним темпом, характерным для последних пятидесяти лет, все равно население планеты в будущем станет богаче, чем сегодня: к 2050 году – в 4,8 раза, а к 2100 году – в 34 раза2.

Однако перспективы стабильного экспоненциального роста меркнут в сравнении с тем, что может произойти, когда в мире свершится следующее скачкообразное изменение, темп развития которого по значимости и последствиям будет сравним с неолитической и промышленной революциями. По оценкам экономиста Робина Хэнсона, основанным на исторических данных о хозяйственной деятельности и численности населения, время удвоения экономик охотничье-собирательского общества эпохи плейстоцена составляло 224 тысячи лет, аграрного общества – 909 лет, индустриального общества – 6,3 года3. (В соответствии с парадигмой Хэнсона современная экономическая модель, имеющая смешанную аграрно-индустриальную структуру, еще не развивается в удвоенном темпе каждые 6,3 года.) Если в мировом развитии уже случился бы такой скачок, сопоставимый по своему революционному значению с двумя предыдущими, то экономика вышла бы на новый уровень и удваивала бы темпы роста примерно каждые две недели.

С точки зрения сегодняшнего дня подобные темпы развития кажутся фантастическими. Но и свидетели минувших эпох тоже вряд ли могли предположить, что темпы роста мировой экономики когда-нибудь будут удваиваться несколько раз на протяжении жизни одного поколения. То, что для них представлялось совершенно немыслимым, нами воспринимается как норма.

Идея приближения момента технологической сингулярности стала чрезвычайно популярной после появления новаторских работ Вернона Винджа, Рэя Курцвейла и других исследователей4. Впрочем, понятие «сингулярность», которое используется в самых разных значениях, уже приобрело устойчивый смысл в духе технологического утопизма и даже обзавелось ореолом чего-то устрашающего и в тоже время вполне величественного5. Поскольку большинство определений слова сингулярность не имеют отношения к предмету нашей книги, мы достигнем большей ясности, если избавимся от него в пользу более точных терминов.

Интересующая нас идея, связанная с понятием сингулярности, – это потенциальное взрывоподобное развитие интеллекта, особенно в перспективе создания искусственного сверхразума. Возможно, представленные на рис. 1 кривые роста убедят кого-то из вас, что мы стоим на пороге нового интенсивного скачка в темпе развития – скачка, сопоставимого с неолитической и промышленной революциями. Скорее всего, людям, доверяющим диаграммам, даже трудно вообразить сценарий, в котором время удвоения мировой экономики сокращается до недель без участия сверхмощного разума, во много раз превосходящего по скорости и эффективности своей работы наш привычный биологический ум. Однако не обязательно упражняться в рисовании кривых роста и экстраполяции исторических темпов экономического развития, чтобы начать ответственно относиться к революционному появлению искусственного интеллекта. Эта проблема настолько серьезна, что не нуждается в аргументации подобного рода. Как мы увидим, есть гораздо более веские причины проявлять осмотрительность.

Рис. 1. Динамика мирового ВВП за длительный исторический период. На линейной шкале история мировой экономики отображена как линия, сначала почти сливающаяся с горизонтальной осью, а затем резко устремляющаяся вертикально вверх. А. Даже расширив временные границы до десяти тысяч лет в прошлое, мы видим, что линия делает рывок вверх из определенной точки почти под девяносто градусов. Б. Линия заметно отрывается от горизонтальной оси только на уровне приблизительно последних ста лет. (Разность кривых на диаграммах объясняется разным набором данных, поэтому и показатели несколько отличаются друг от друга6.)

Завышенные ожидания

С момента изобретения в 1940-х годах первых электронно-вычислительных машин люди не перестают прогнозировать появление компьютера, уровень интеллекта которого будет сравним с человеческим. Имеется в виду разумная техническая система, наделенная здравым смыслом, обладающая способностью к обучению и размышлению, умеющая планировать и комплексно обрабатывать информацию, собранную по самым разным источникам – реальным и теоретическим. В те времена многие ожидали, что такие машины станут реальностью уже лет через двадцать7. С тех пор сроки сдвигаются со скоростью одного года в год, то есть сегодня футурологи, убежденные в вероятности создания искусственного интеллекта, продолжают верить, что «умные машины» появятся через пару десятков лет8.

Срок в двадцать лет любим всеми предсказателями коренных перемен. С одной стороны, это не слишком долго – и потому предмет обсуждения привлекает к себе широкое внимание; с другой стороны, это не так быстро, что дает возможность помечтать о целом ряде важнейших научных открытий – правда, представления о них на момент прогнозирования весьма расплывчаты, но их реализация практически не вызывает сомнения. Сопоставим это с более короткими прогностическими сроками, установленными для разных технологий, которым суждено оказать значительное влияние на мир: от пяти до десяти лет – на момент прогнозирования большинство технических решений уже частично применяются; пятнадцать лет – на момент прогнозирования эти технологии уже существуют в виде лабораторных версий. Кроме того, двадцатилетний срок чаще всего близок к средней продолжительности оставшейся профессиональной деятельности прогнозиста, что уменьшает репутационный риск, связанный с его дерзким предсказанием.

Впрочем, из-за слишком завышенных и несбывшихся ожиданий прошлых лет не следует сразу делать вывод, что создание искусственного интеллекта невозможно в принципе и что никто никогда не будет его разрабатывать9. Основная причина, почему прогресс шел медленнее, чем предполагалось, связана с техническими проблемами, возникавшими при разработке разумных машин. Первопроходцы не предусмотрели всех трудностей, с которыми им пришлось столкнуться. Причем вопросы: велика ли степень серьезности этих препятствий и насколько мы далеки от их преодоления – до сих пор остаются открытыми. Порою задачи, первоначально кажущиеся безнадежно сложными, имеют удивительно простое решение (хотя чаще, пожалуй, бывает наоборот).

Мы рассмотрим пути, которые могут привести к появлению искусственного интеллекта, не уступающего человеческому, в следующей главе. Но уже сейчас хотелось бы обратить ваше внимание на один важный аспект. Нас ожидает много остановок между нынешним отправным пунктом и тем будущим, когда появится искусственный интеллект, но этот момент – отнюдь не конечная станция назначения. Довольно близкой от нее следующей остановкой будет станция «Сверхразум» – осуществление искусственного интеллекта такого уровня, который не просто равен человеческому уму, а значительно превосходит его. После последней остановки наш поезд разгонится до такой степени, что у станции «Человек» не сможет не только остановиться, но даже замедлить ход. Скорее всего, он со свистом промчится мимо. Британский математик Ирвинг Джон Гуд, работавший во времена Второй мировой войны шифровальщиком в команде Алана Тьюринга, скорее всего, был первым, кто изложил важнейшие подробности этого сценария. В своей часто цитируемой статье 1965 года о первых сверхразумных машинах он писал:

Давайте определим сверхразумную машину как машину, которая в значительной степени превосходит интеллектуальные возможности любого умнейшего человека. Поскольку создание таких машин является результатом умственной деятельности человека, то машина, наделенная сверхразумом, будет способна разрабатывать еще более совершенные машины; вследствие этого, бесспорно, случится такой «интеллектуальный взрыв», что человеческий разум окажется отброшенным далеко назад. Таким образом, первая сверхразумная машина станет последним достижением человеческого ума – правда, лишь в том случае, если она не обнаружит достаточную сговорчивость и сама не объяснит нам, как держать ее под контролем10.

Взрывное развитие искусственного интеллекта может повлечь за собой один из главных экзистенциальных рисков[2] – в наши дни такое положение вещей воспринимается как тривиальное; следовательно, перспективы подобного роста должны оцениваться с крайней серьезностью, даже если было бы заведомо известно (но это не так), что вероятность угрозы относительно низка. Однако пионеры в области искусственного интеллекта, несмотря на всю убежденность в неминуемом появлении искусственного интеллекта, не уступающего человеческому, в массе своей отрицали возможность появления сверхразума, превосходящего человеческий ум. Создается впечатление, что их воображение – в попытках постичь предельную возможность будущих машин, сравнимых по своим мыслительным способностям с человеком, – просто иссякло, и они легко прошли мимо неизбежного вывода: дальнейшим шагом станет рождение сверхразумных машин.

Большинство первопроходцев не поддерживали зарождавшееся в обществе беспокойство, считая полной ерундой, будто их проекты несут в себе определенный риск для человечества11. Никто из них ни на словах, ни на деле – ни одного серьезного исследования на эту тему – не пытался осмыслить ни тревогу по поводу безопасности, ни этические сомнения, связанные с созданием искусственного интеллекта и потенциального доминирования компьютеров; данный факт вызывает удивление даже на фоне характерных для той эпохи не слишком высоких стандартов оценки новых технологий12. Остается только надеяться, что ко времени, когда их смелый замысел в итоге воплотится в жизнь, мы не только сумеем достичь достойного научно-технического опыта, чтобы нейтрализовать взрывное развитие искусственного интеллекта, но и поднимемся на высочайший уровень профессионализма, которое совсем не помешает, если человечество хочет пережить пришествие сверхразумных машин в свой мир.

Но прежде чем обратить свой взор в будущее, было бы полезно коротко напомнить историю создания машинного интеллекта.

Путь надежды и отчаяния

Летом 1956 года в Дартмутском колледже собрались на двухмесячный семинар десять ученых, объединенных общим интересом к нейронным сетям, теории автоматов и исследованию интеллекта. Время проведения Дартмутского семинара обычно считают точкой отсчета новой области науки – изучения искусственного интеллекта. Большинство его участников позднее будут признаны основоположниками этого направления. Насколько оптимистично ученые глядели в будущее, говорит текст их обращения в Фонд Рокфеллера, собиравшийся финансировать мероприятие: