Текст книги "Далекое будущее Вселенной Эсхатология в космической перспективе"

Автор книги: Джордж Эллис

сообщить о нарушении

Текущая страница: 19 (всего у книги 34 страниц)

12.5. Заключение

Ограниченная и неограниченная игра воплощают в себе два различных эсхатологических подхода. Предполагая, что будущее бесконечно, люди, возможно, начинают вести себя по отношению друг к другу более ответственно, ибо знают, что завтра их может постичь возмездие за сегодняшние недобрые деяния. Чтобы поддержать себя, они могут стараться выработать себе репутацию, например, придерживаясь определенных моральных принципов. Напротив, те, чье видение будущего краткосрочно и ограниченно, более склонны к безответственному и даже аморальному поведению.

Важная интеллектуальная задача – разработать установления, делающие разрушительное поведение невыгодным. Но как представить будущее бесконечным и внушить людям уверенность, что социальная машина не может внезапно рухнуть, пока не ясно.

Мы полагаем, что наилучшим механизмом для этого является мировоззрение, предполагающее (или даже твердо обещающее) день воздаяния для тех, чье поведение вопиюще отклоняется от норм честной игры. Возвращаясь к примеру Югославии: едва ли участники конфликта, совершившие самые отвратительные преступления, ожидали вмешательства Международного трибунала и возможного уголовного суда. А если бы понимали, что такое возможно, подумали бы дважды.

Так же и многие террористы, по–видимому, надеются на безопасные убежища, откуда их не выдадут. Насколько международные нормы правосудия не только допускают, но и твердо устанавливают неотвратимость наказания за серьезные преступления без срока давности, независимо от государственных границ, настолько проблематичным становится для участников конфликта первый выстрел.

При отсутствии уверенности в будущем наказании помочь предотвратить нежелательное поведение могут и те установки, которые затемняют будущее и затрудняют предсказания. Эти установки весьма разнообразны: от демократии, с неизвестным исходом выборов и другими ее превратностями, до системы взаимного ядерного сдерживания, предполагающей благой, хоть и неопределенный исход для союзников в случае нападения агрессора.

Вполне возможно, что эти же установки или нормы способны ввести в действие силы, вознаграждающие за ненасильственное поведение: в этом случае их роль будет аналогична предотвращающей роли третьего игрока в триэли. Триэль, представляющая собой чрезвычайно упрощенную социальную модель, верно схватывает, однако, важнейшую черту социального поведения – способность третьей стороны играть важную роль в смягчении конфликтов. Присутствие третьего, по–видимому, смягчает взаимное напряжение, возникающее между двумя игроками и часто находящее себе исход в войне на истощение. По сути, третий игрок обеспечивает механизм равновесия, помогающий поддерживать надежду независимо от того, туманно или ясно будущее.

Литература

1. Axelrod, R., The Evolution of Cooperation(Basic Books, New York, 1984).

2. Bossert, W., Brams, S. J., and Kilgour, D. M., «Cooperative vs. Non‑cooperative Truels: Little Agreement, but Does That Matter?» in Games and Economic Behaviour(forthcoming).

3. Brams, S. J., Biblical Games: Game Theory and Hebrew Bible(MIT Press, Cambridge, Mass., 1980; rev.ed., 2002).

4. Brams, S. J., Superior Beings: If They Exist, How Would We Know? Game‑Theoretic Implications of Omniscience, Omnipotence, Immortality, and Incomprehensibility(Springer‑Ferlag, New‑York, 1983).

5. Brams, S. J., Theory of Moves(Cambridge University Press, Cambridge, 1994).

6. Brams, S. J., and Kilgour, D. M., «Backward Induction Is Not Robust: The Parity Problem and the Uncertainty Problem», Theory and Decision, 45,263–89 (December 1998).

7. Carse, J. P., Finite and Infinite Games(Ballantine, New York, 1986).

8. Holsti, O. R., Brody, R. A., and North, R. C., «Measuring Affect and Action in International Relations Models: Empirical Materials from the 1962 Cuban Missile Crisis» J. Peace Res., 1,170–89 (1964).

9. Kilgour, D. M., and S. J. Brams, «The Truel», Math. Mag., 70,315–26 (December 1997).

10. Smolin, L., The Life of the Cosmos(Oxford University Press, New York, 1997).

13. Искусственный интеллект и далекое будущее

Маргарет Э. Боден [81]81
  Примечание:основой для этой статьи послужил семинар в Обществе священнослужителей–ученых в Сент–Джордж–Хаусе, Уиндзор–Касл, в феврале 2001 года.


[Закрыть]

13.1. Введение

Нас попросили подумать о далеком будущем – но насколько далеком? Идет ли речь о том времени, когда человечество как вид давно исчезнет? Или лишь о том, когда наука и технология значительно продвинутся вперед, но по–прежнему будут оказывать влияние на живого и здравствующего homo sapiens? «Первое далекое будущее» – в ведении космологов и физиков, а также научных фантастов, размышляющих о системах ИИ, способных пережить (и, быть может, выжить?) человечество. Я же сосредоточусь на «втором далеком будущем» и поразмышляю над тем, как ИИ далекого будущего повлияет на нас или, точнее, на наших потомков. В особенности о том, как повлияет он на наши представления о самих себе, и прежде всего на те из них, что имеют религиозную значимость.

Предсказания социальных и технологических переворотов – дело по большей части бесплодное, и тем более, чем дальше в будущее они простираются. Как известно, Ленин полагал, что революция при его жизни невозможна, Резерфорд не видел никакой практической пользы в расщеплении атома, а Томас Уотсон из Ай–Би–Эм утверждал, что миру хватит полдюжины компьютеров. Не сомневаюсь, что в будущем нас ждет множество технологических чудес. Но каких именно —не знаю, и вряд ли кто‑то знает. Кое‑что из того, что мы представляли во всех подробностях (и даже уверенно предсказывали), не осуществилось и, по моему мнению, не осуществится в ближайшее время. Но возникло много иного, такого, что мы себе и вообразить не могли.

Для наших целей, однако, все это не важно. Очевидно, что в ближайшем будущем ИИ будет занимать все большее место в рыночных технологиях и становиться все более «очеловеченным». Можно ожидать также, что журналисты, писатели, сценаристы, равно как и ученые и философы, будут посвящать дискуссиям об ИИ даже больше времени и текстов, чем сейчас. Говоря вкратце и опуская технологические подробности, ИИ начнет занимать все больше места в нашей жизни. Это создает контекст нашего вопроса: как может повлиять ИИ на наши представления о человечности? Поддержит ли он их, быть может, даже обогатит или подорвет?

Этот вопрос глубоко проблематичен – и проблематичен вдвойне. Вдвойне —потому что необходимо отличать то, что можетпроизойти, от того, что должнопроизойти, и говорить как о том, так и о другом. Как и в других областях жизни, то, что может произойти (на практике), не обязательно совпадает с тем, что должно произойти (в теории). Глубоко —потому что это «должно» философски противоречиво. Оно включает в себя такие «вечные темы», как природа свободы, самость, эмоции, уникальность человека, сознание – темы, важнейшие для всех религий. Я постараюсь убедить вас, что ИИ может пролить и, в сущности, уже пролил на эти темы новый свет. Однако я не случайно сказала «убедить», может быть, даже «поспорить» об этом, ибо этот вопрос вызывает большие споры.

13.2. Концепции ИИ и технология

То, как ИИ повлияет на наше самосознание, зависит от общества: от его знаний и предрассудков об ИИ и от лежащих в их основе представлений о природе разума. У нас уже имеются важные свидетельства, представленные социологом и психоаналитиком Шерри Теркл, исследовавшей то, как дети интерпретируют свой опыт взаимодействия с компьютерными технологиями.

Свои исследования она начала с детей начала и середины 1970–х годов, сталкивавшихся с компьютерами в школе или дома [43]. (Домашних компьютеров, какими мы их знаем, в то время еще не было: машины предоставлялись исследователями ИИ из Эм–Ай–Ти [82]82
  Масачуссетский технологический институт (МТИ) – Прим. ред.


[Закрыть].) Дети управляли программами, основанными на классических моделях ИИ, с использованием простого и понятного для детей языка программирования LOGO [36]. Основные формы общения: «Сделай это, затем то; если произойдет то, сделай это; в противном случае сделай так‑то…»

Работая с этими машинами, Теркл обнаружила, что даже самые маленькие дети по собственной инициативе настаивают на четком различении людей и компьютеров. Они с восторгом принимают мысль, что компьютер разумен, что он умеет думать. Но, тут же добавляют они, он не может «любить» или «чувствовать», как мы. Более того, он не может ничего делать «сам по себе», а только «когда ему скажут». Короче говоря, дети воспринимали компьютеры как создания, лишенные эмоций и автономии, в отличие от людей.

Второе исследование Теркл было проведено двадцать лет спустя [44]. К этому времени были широко доступны небольшие самоорганизующиеся сети взаимосвязанных ИИ, а также простые программы И–жизни, включающие в себя реактивные и/или эволюционные техники. Оказалось, что новое поколение детей также старается провести четкую границу между человеком и машиной. На этот раз автономия не входила в число существенных критериев, поскольку деятельность этих «существ» [sic!] в определенном смысле происходила «сама по себе», без приказов человека. Дети по–прежнему использовали для различения понятие эмоций, но теперь к нему добавилось понятие телесности.

Что же касается жизни, и дети, и взрослые, которых опрашивала Теркл, затруднялись в ответе на вопрос, являются ли эти создания «живыми». Некоторые говорили, что нет; некоторые называли их «в каком‑то смысле живыми» или отвечали, что они «живые, но не так, как мы». Никто не назвал их живыми с уверенностью и без ограничений, как поступали из уважения к разуму и мышлению их предшественники в 1970–х. И многие, в том числе и взрослые, противоречили сами себе. Такая путаница во мнениях неудивительна: понятие жизни для нас еще более сложно и трудноопределимо, чем понятие интеллекта [9]. Однако эти данные, как и более ранние, показывают, что у нас существует потребность в четком отделении людей (и животных) от компьютеров.

Та же необходимость проявилась в замечании чемпиона мира по шахматам перед его состязанием (в 1996 году) с компьютерной программой «Дип Блю» (которая выиграла благодаря чипам, обрабатывающим 200 миллионов команд в секунду). «Думаю, – сказал тогда Гарри Каспаров, – в этой игре я в каком‑то смысле отстаиваю честь человечества». Такое словоупотребление ясно показывает, что любые грядущие успехи в области ИИ неизбежно будут на практике подрывать широко распространенные взгляды на «честь», ценность и уникальность человека. (Каспаров проиграл и был потрясен и глубоко угнетен таким исходом.) А это, в свою очередь, угрожает всем религиям, базирующимся на представлении об уникальности homo sapiens. Чтобы избежать этой угрозы, приходится либо бросать вызов науке на ее условиях, например, выигрывая шахматные партии или утверждая (как это делали дети), что ИИ не может испытывать эмоции, либо от нее отмахиваться.

Для многих искушение отмахнуться от науки становится все соблазнительнее. Стивен Кларк (еще один из авторов этой книги) писал, что близкая родственница ИИ – И–жизнь – поощряет «магический» взгляд на науку и технологию, когда они рассматриваются как некое неуправляемое волшебство [17]. То же самое происходит с теорией хаоса, квантовой физикой и теорией суперструн. Для среднего человека все эти теории совершенно непонятны, и даже сами ученые подчеркивают их странность и непредсказуемость.

Средний человек в смятении. С одной стороны, ИИ и И–жизнь во многом напоминают людей: столь же загадочны, увлекательны, непредсказуемы, зачастую малопонятны и опасно неконтролируемы. Более того, они кажутся автономными и порой возникают («рождаются») путем самоорганизации. С другой стороны, они совсем другие: могут вести себя (и часто себя ведут) не просто странным, но совершенно чуждым для нас образом. Однако обе стороны этой амбивалентности можно назвать «магическими». Согласно «магическому» взгляду, науке и технологии нельзя доверять: они доказали, что неспособны давать нам то и только то, что мы заказывали. (Требование «то и только то» возникло, разумеется, много лет назад, благодаря таким нежелательным эффектам, как побочные действия лекарств и загрязнение окружающей среды.)

Некоторые, возможно, полагают, что «магическое» восприятие ИИ и И–жизни «благоприятно» для религии. Разумеется, отворачиваясь (по любой причине) от науки, люди часто обращаются к религии или по крайней мере начинают смотреть в ее сторону. Яркий пример – «Создание контркультуры» Теодора Рожака [37]. Эта увлекательная книга – преамбула к яростной атаке [38] на то, что он называет «механической подделкой» и «обесчеловечивающим действием» ИИ, свела воедино различные направления неоромантической мысли. Основной ее тезис: очернение науки и пропаганда религии – какой угодно.

Когда она вышла в свет, я уже много лет преподавала философию религии. Я наслаждалась этой работой: помимо увлекательности самого содержания, общаться со студентами было настоящим удовольствием. Их было немного (курс был по выбору), но все они действительно интересовались темой. Яростные атеисты, пламенные верующие, обеспокоенные агностики – все они стремились думать о религиозной вере и искали связные аргументы (за или против), которые бы им в этом помогли. Когда «Контркультура» стала культовой книгой, число студентов утроилось. Но интеллектуальная серьезность исчезла. Теперь можно было говорить все что угодно, лишь бы это кому‑то нравилось. Необязательно стало даже следить за связностью речи. Фрейд был изгнан, на его место пришел Юнг: вопрос о существовании Бога относился больше не к реальности, а к душевному миру вопрошающего и даже в таком качестве не воспринимался серьезно. Звучали громогласные заявления, но аргументация сделалась излишней. (После двух или трех лет таких мучений я передала курс другому преподавателю.)

Короче говоря, «магический взгляд» на науку и технологию весьма толерантен к религии или к тому, что бездумно выдается за таковую. Впрочем, терпим он и к более интеллектуально респектабельным версиям религии. ИИ далекого будущего, разумеется, будет куда более непредсказуем и куда менее понятен, чем современные системы. Вполне вероятно, что эта технология, все более «магическая», подтолкнет множество людей к религии в социологическом смысле слова.

13.3. Автономия, разум и эмоции

Но, если вернуться к теории – должно ли это происходить? Ответ на этот вопрос зависит от того, поддержит ли ИИ будущего взгляды на человеческую природу, имеющие религиозную значимость, а именно понятия человеческой свободы, уникальности, эмоций, самости и сознания, в том числе религиозного опыта. Иными словами, он включает в себя весьма сложные и спорные вопросы, относящиеся к теоретической психологии и философии разума.

Далее я собираюсь показать, что ИИ уже предлагает теоретическую поддержку этих понятий. В сущности, он обогащает их, помогая нам понять и оценить то, что в них содержится. Таким образом, как ни парадоксально это покажется многим, ИИ далекого будущего вполне способен углубить наше понимание человечности как таковой.

Ранее я сказала, что системы И–жизни в каком‑то смысле автономны. Они не программируются на любые действия, какие только вздумаются программисту, как СДИИ («старый добрый ИИ»: Ходжленд [27]), а действуют сами. Это связано либо со встроенными в них «рефлексами», либо с самоорганизацией снизу. Например, в эволюционирующей робототехнике можно наблюдать постепенное появление роботов, специально приспособленных для выполнения каких‑либо задач [18, 29]. Исследователи И–жизни публикуются в журналах, посвященных «Автономным системам» или «Автономным роботам», и рассматривают свои саморегулирующиеся системы как более жизнеподобные (а следовательно, и разумоподобные), чем классический ИИ.

Однако дальнейшие успехи в создании автономных систем такого рода не имеют отношения к нашей нынешней теме. Дело в том, что человеческая свобода – гораздо более широкая и глубокая форма автономии [7]. Она предполагает сознательное самонаправление к тем или иным целям и обдуманный выбор между различными вариантами возможных действий.

В целом свободный выбор направляется моральными принципами (которые могут противоречить друг другу); личными предпочтениями и жизненными целями; житейской мудростью и опытом, в том числе пониманием других людей; а также предвидением возможных последствий своих поступков и сравнением их между собой. Может требоваться понятийный анализ: «Не убий» – но что считать убийством? Часто важную роль играет образ себя, в особенности того, каким человек хотел бы быть. Моральные принципы и житейская мудрость могут передаваться в виде ролевых моделей или историй, часто извлеченных из религиозного контекста (например, Иисус, святые или добрый самаритянин). Значимость этих примеров меняется в зависимости от ситуации. В целом сложный моральный выбор предполагает тонкую игру гипотетических обвинений и оправданий (впрочем, очень сложным бывает и выбор, не носящий морального характера).

Чтобы пролить свет на этот тип свободы, нам требуется не И–жизнь, а ИИ. Коннекционный ИИ помогает нам понять, как мы усматриваем аналогию между новозаветной притчей и собственной жизненной ситуацией ([4], глава 6; [32]). А классический ИИ помогает понять, как в принципе мы структурируем свои мысли и желания и взвешиваем различные противоречивые факторы, решая, что делать ([2], глава 9; [21]).

У очень маленьких детей нет ни свободы, ни моральной ответственности, поскольку необходимая для этого когнитивная и мотивационная сложность у них еще не развита. Например, они судят о том, «хорош» человек или «плох», по результатам его поступков, а не по намерениям, поскольку еще не обладают теорией сознания, позволяющей им осознавать и различать намерения других людей ([5], с. 48). Мэри, разбившую десять тарелок в попытке помочь маме помыть посуду, они называют более «плохой девочкой», чем Джоан, которая разбила всего две тарелки, шаря в буфете в поисках варенья, которое ей есть не полагалось. Теория сознания, как и необходимый для нее жизненный опыт, появляется у детей позже. И только тогда человек становится по–настоящему свободным. (Если она не возникает, человек становится аутистом, что очень серьезно ограничивает его свободу [1].)

Что касается животных, не относящихся к роду человеческому, они не обладают свободой, отличной от простой автономии. Дело в том, что у них нет языка, делающего возможным абстрактное мышление и рассуждение. (Вопрос: может ли собака сделать выбор между различными исходами или выработать план действий? Ответ: не может.)

Кстати сказать, совершенно не к месту здесь обычно вспоминают о детерминизме и индетерминизме [28]. Многие полагают, что для свободного выбора необходим индетерминизм, и приводят принцип Гейзенберга в качестве научного обоснования свободы. Но хотели бы вы, чтобы ваши важные решения, в том числе этические, определялись какой‑то внутренней «игрой в орлянку» или квантовым скачком? А как насчет почитаемых религиозных учителей или святых: неужели мы продолжали бы их уважать, если бы выяснилось, что их действия объясняются не религиозными и моральными убеждениями, а случайностью? Короче говоря, индетерминизм в причинах действия убивает истинную свободу – свободу, предполагающую «владение собой» и ответственность. Говорим ли мы о моральном выборе или о творческой оригинальности (часто облекаемой в квазирелигиозные термины) ([4], глава 11), для нас важна сложная структура сознания взрослого человека.

Поскольку ИИ не отрицает этого, более того, помогает нам это понять, нет причин считать, что он должен подорвать веру людей в свободу. Однако такое может случиться, если они и дальше будут рассматривать свободу через призму детерминизма/ индетерминизма, как поступают многие сейчас. Вот яркий пример того, что я имела в виду, называя эти вопросы глубоко проблематичными. Чтобы обсуждать воздействие технологий, необходимо сперва договориться о философских терминах.

Большое значение здесь имеет понятие «образа себя». Работа в области философии ИИ (а также эмпирической психологии) предполагает, что «самость» не является чем‑то простым, изначально заданным: это сложная психологическая конструкция, используемая для руководства специфически человеческим поведением ([2], глава 7; [8]; [22], глава 13). Оно включает в себя рефлексию, определяющую приоритеты конкретных целей и ценностей (идеал себя). Пока что ИИ не может дать нам детальных теорий самости, для этого он недостаточно разработан; однако он уже дает нам общее математическое представление о том, что представляет собой этот психологический конструкт и как он возможен.

Даже столь близкий к самости феномен, как скорбь от потери любимого, может быть (в общих чертах) понят в терминах ИИ. Подобно тому как для свободного выбора необходима определенная когнитивно–мотивационная архитектура, так же определенная психологическая архитектура требуется и для возникновения скорби, и для переживания ее на протяжении нескольких месяцев или лет [46]. Скорбь от потери любимого, при всех ее дестабилизирующих эффектах, неизбежна, учитывая психологическую природу – математическую архитектуру – личной любви. Этот тип любви (в отличие от похоти или даже агапе) представляет собой сложно структурированную привязанность, глубоко укорененную в личных когнитивных и мотивационных ресурсах, не в последнюю очередь, в теории сознания [26]. Она вступает в игру всякий раз, когда перед человеком предстает выбор, способный так или иначе повлиять на любимого.

Дети в экспериментах Теркл, как и большинство наших современников, полагали, что ИИ не имеет ничего общего с эмоциями. Но это ошибка. Действительно разумная система, биологическая или искусственная, не может не обладать эмоциями в какой‑либо форме. Дело в том, что эмоции вообще, от легкого беспокойства до безутешного горя, необходимы для управления поведением в условиях ограниченности ресурсов и множества конфликтующих мотивов или целей. Они не опциональное дополнение, а математическая необходимость. («У меня только две руки!» – это выражение имеет не только буквальный, но и глубокий психологический смысл.) Наличие эмоций у ИИ признается с конца 1960–х годов (хотя, кажется, часто игнорируется) ([39]; [2], глава 6; [41]; [46]).

Эмоции тесно связаны с религией, поскольку бесстрастная вера вряд ли заслуживает своего имени. Аскетический деизм может приглушать эмоции и определенно отвергает любые личные аспекты Высшего Существа и отношения к Нему людей. Но даже деизм предполагает определенные эмоции – благоговение и трепет. (Без них он превращается в холодную научную космологию.) Анимистские религии могут добавлять к этому страх, радость, агрессию, мольбу, даже благодарность. А полномасштабный теизм включает в себя опыт (иллюзорный или реальный) отношений любви с личным Богом, что выводит нас на ту же базовую психологическую архитектуру, что и чувство скорби.

Однако скорбь здесь невозможна, так же как невозможно для разумного взрослого человека испытывать негодование из‑за дождя. (Раздражение, быть может, но не негодование.) В особенности невозможно это потому, что здесь любимый (как мы верим) не может ни умереть, ни изменить. Точнее, в это невозможно поверить, пока тверды наши богословские убеждения. Но иногда они колеблются. Тогда могут возникнуть эмоции, сравнимые со скорбью, негодованием или горьким разочарованием; вспомним возглас псалмопевца: «Боже мой, Боже мой, для чего Ты меня оставил?» С богословской точки зрения испытывать подобные эмоции столь же неверно, как негодовать на дождь; правильное отношение к Богу даже пред лицом самых черных злодейств и бедствий – непоколебимое доверие Иова. Ибо невозможно, буквально невозможно, чтобы Бог покинул народ свой. Бросить в беде – самый мерзкий из видов предательства, ибо бросить может только сильный и только слабого ([3], с. 80–86). Наши представления о личной любви исключают предательство во всех его формах, и прежде всего – способность бросить в беде. (Вот почему цитата из псалмопевца в устах Иисуса на кресте так же глубоко проблематична, как и «искушение» его дьяволом.)

Короче говоря, такие эмоции, как любовь, скорбь или негодование, – это не просто чувства. Скорее это тонко структурированные психологические диспозиции, создаваемые сложной вычислительной архитектурой.

Однако практическая работа с ИИ (законченными компьютерными моделями) дает немного оснований для выводов о самости и эмоциях. Один из ранних исследователей ИИ, а также доктор медицины и практикующий психоаналитик попытался проверить на ИИ фрейдовскую теорию невроза. Его интересовало то, как суперэго порождает тревогу; как тревога распространяется на предметы, аналогичные представляющим реальную угрозу; как выбирается один из доступных защитных механизмов (проекция, замещение, отрицание и т. п.) и как эти механизмы влияют на специфические трансформации вызванных тревогой представлений ([19], см. главы 2–3). Позже он попытался также смоделировать системы вызванных тревогой представлений, характерные для параноидной шизофрении [20]. Но эти попытки были явно незрелыми; достаточно трудно заставить компьютер рационально стремиться даже к одной цели, не говоря уж о смешении нескольких мотивов под влиянием тревоги и/или суперэго.

Современные исследования ИИ включают в себя более реалистичную (хотя и далеко не столь амбициозную) стимуляцию эмоций и изучение их способности регулировать поведение в условиях нескольких потенциально конфликтующих целей. Самый удачный пример на сегодняшний день – это эмоциональная история няни, ухаживающей за дюжиной младенцев: каждого из них нужно кормить, пеленать, ласкать и развлекать в разное время и с разной интенсивностью и каждого немедленно спасать, если он подползет слишком близко к реке или к дороге [45]. (У няни, разумеется, только две руки, она не может делать все сразу и потому вынуждена составлять себе определенное «расписание».) Но даже такая модель ИИ пока еще, увы, очень груба и не затрагивает ни образа себя, ни понятия самости.

В далеком будущем ИИ может сильно измениться. По причинам, которые объясню ниже, я не верю, что когда‑нибудь он сможет воспроизводить все сложности и тонкости человеческого сознания. Однако не сомневаюсь, что ИИ далекого будущего смогут воспроизводить гораздо больше эмоций и делать это намного тоньше. Возможно, они будут включать в себя даже эффективное различение образа системы и идеала системы. В сущности, почему бы и нет? Марвин Мински, первопроходец ИИ, давным–давно указывал на то, что сложному разуму необходим образ себя [34] (и некоторые ранние ИИ–программы в его лаборатории могли исследовать собственное поведение в свете своих целей и соответствующим образом его исправлять [42]). Это в принципе возможно, поскольку понятие рекурсии делает возможной рефлексивную обработку информации. Так исчезает «парадокс» ссылки на самого себя.