Текст книги "Российская Академия Наук"

Автор книги: Алексей Турчин

сообщить о нарушении

Текущая страница: 30 (всего у книги 36 страниц)

7. Выводы по анализу когнитивных искажений в оценке глобальных рисков

Масштаб влияние ошибок на рассуждения о глобальных рисках можно оценить, сравнив мнения разных экспертов, учёных и политиков по вопросу о возможности окончательной глобальной катастрофы и её возможных причинах. Нетрудно убедиться, что разброс мнений огромен. Одни считают суммарный риск ничтожным, другие уверенны в неизбежности человеческого вымирания. В качестве возможных причин называется множество разных технологий и сценариев, причём у каждого будет свой набор возможных сценариев и набор невозможных сценариев.

Очевидно, что корни такого разброса мнений – в разнообразии движений мысли, которое, в отсутствии какой-либо зримой точки отсчёта, оказывается подвержено различными предубеждениями и когнитивным искажениям. Поскольку мы не можем найти точку отсчёта относительно глобальных рисков в эксперименте, представляется желательным, чтобы такой точкой отсчёта стала бы открытая дискуссия о методологии исследования глобальных рисков, на основании которой могла бы быть сформирована единая и общепризнанная картина глобальных рисков.

8. Возможные правила для эффективной оценки глобальных рисков

1. Принцип предосторожности

Он означает подготовку к наихудшему раскладу во всех ситуациях неопределённости. Это соответствует принципу консервативной инженерной оценки в статье Юдковски. Однако предосторожность не должна носить иррациональный характер, то есть не должна утрировать ситуацию. Одна из формулировок принципа предосторожности звучит так: «Принцип предосторожности является моральным и политическим принципом, который утверждает, что если некое действие или политика могут причинить жестокий или необратимый ущерб обществу, то, в отсутствии научного согласия о том, что вреда не будет, тяжесть доказательства лежит на тех, кто предлагает данные действия» .

2. Принцип сомнения

Принцип сомнения требует допускать возможность ошибочности любой своей идеи. Однако сомнение не должно привести к неустойчивости хода мысли, податливости авторитетам, отсутствию своего мнения и неуверенности в нём, если оно достаточно доказано.

3. Открытая дискуссия

Важно поддержание открытой дискуссии по всем видам рисков. Это означает рассмотрение любое возражение в качестве истинного достаточное время, чтобы его оценить, перед тем, как решить его отвергнуть. То есть не отбрасывать никакие возражения сходу и поддерживать наличие оппонентов.

4. Самоанализ

Непрерывный анализ собственных выводов на предмет ошибок из всего списка. Но не следует применять это к другим людям.

5. Независимые повторные вычисления

Сюда входит независимое вычисление разными людьми, а также сравнение прямых и непрямых оценок.

6. Косвенная оценка степени ошибки

Мы можем оценить степень недооценки глобальной катастрофы, изучая то, насколько люди недооценивают аналогичные риски – то есть риски уникальных катастроф. Например, космические корабли «Спейс Шаттл» были рассчитаны на одну аварию более чем на 1000 полётов, но первая авария произошла на 25-ом полёте. То есть исходная оценка 1 к 25 была бы более точной. Атомные станции строились с расчетом на одну аварию в миллион лет, но Чернобыльская авария произошла примерно после 10 000 станций-лет эксплуатации (это число получается из умножения числа станций к тому моменту на средний срок их эксплуатации, и требует уточнения). Итак, в первом случае реальная устойчивость оказалась в 40 раз хуже, чем проектная оценка, а во втором – в 100 раз хуже. Отсюда мы можем сделать вывод, что в случае уникальных сложных объектов люди недооценивают их риски в десятки раз.

Литература по оценке рисков.

1. Александровский Ю.А. и др. Психогении в экстремальных условиях. Москва, Медицина, 1991.

2. Воробьё, Ю.Л, Малинецкий Г.Г., Махутов H.A. Управление риском и устойчивое развитие. Человеческое измерение. // Общественные Науки и Современность, 2000, № 6.

3. Корнилова. Т.В. Риск и мышление // Психологический журнал, 1994. №4.

4. Корнилова. Т.В. Психология риска и принятия решений (учебное пособие). – М.: Аспект Пресс, 2003.

5. Корнилова. Т.В. Мотивация и интуиция в регуляции вербальных прогнозов при принятии решений // Психологический журнал, 2006. №2 (Совместно с О.В. Степаносовой).

6. Корнилова. Т.В. Многомерность фактора субъективного риска (в вербальных ситуациях принятия решений) // Психологический журнал, 1998. №6. .

7. МакМаллин Р. Практикум по когнитивной терапии: Пер. с англ. – СПб.: Речь, 2001. – 560 с. (Гл. Логические ошибки)

8. Платонов А. В. Восприятие риска в ситуациях, требующих принятия решения. // Доклад на конференции «Lomonosov», МГУ, 1996.

9. Тофлер, Элвин. Шок будущего. – Москва, АСТ, 2002

10. Bostrom, N. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9. – 2001. (русский перевод: Ник Бостром. Угрозы cуществованию. Анализ сценариев человеческого вымирания и связанных опасностей. Пер. с англ. А.В. Турчина. http://www.proza.ru/texts/2007/04/04-210.html )

11. Bostrom N. and Tegmark M. How Unlikely is a Doomsday Catastrophe? – Nature, Vol. 438, No. 7069, p. 754, 2005 (пер. с англ. А.В.Турчина: Макс Тегмарк и Ник Бостром. Насколько невероятна катастрофа судного дня? http://www.proza.ru/texts/2007/04/11-348.html )

12. Dawes, R.M. Rational Choice in an Uncertain World. – San Diego, CA: Harcourt, Brace, Jovanovich, 1988.

13. Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. Insensitivity to the value of human life: A study of psychophysical numbing. – Journal of Risk and Uncertainty, 14: 238-300. 1997.

14. Kahneman, D., Slovic, P., and Tversky, A., eds. Judgment under uncertainty: Heuristics and biases. – New York: Cambridge University Press, 1982.

15. Kahneman, D. and Tversky, A. eds. Choices, Values, and Frames. – Cambridge, U.K.: Cambridge University Press, 2000.

16. Kruglanski A. W. Lay Epistemics and Human Knowledge: Cognitive and Motivational Bases. 1989

17. Posner Richard A. Catastrophe: Risk and Response. – Oxford University Press, 2004; vii + 322 pp

18. Taleb, N. The Black Swan: Why Don't We Learn that We Don't Learn? – New York: Random House, 2005

19. Yudkowsky E. Artificial Intelligence as a Positive and Negative Factor in Global Risk. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, – UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Искусственный интеллект как позитивный и негативный фактор глобального риска. Пер. с англ. А.В. Турчина http://www.proza.ru/texts/2007/03/22-285.html)

20. Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, – UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html )

Е. Юдковски

Искусственный интеллект, как позитивный и негативный фактор глобального риска

Перевод с английского А.В. Турчина.

Введение

До сих пор основной опасностью искусственного интеллекта (ИИ) было то, что люди слишком рано делали вывод, что они его понимают. Разумеется, эта проблема не ограничена ИИ. Жак Моно пишет: «Забавным аспектом теории эволюции является то, что каждый думает, что понимает её» (Monod 1974). Мой отец, физик, жаловался на людей, придумывавших свои собственные физические теории: «Интересно знать, почему люди не придумывают свои собственные теории химии?» (Но они делают.) Тем не менее, проблема является особенно актуальной в области ИИ. Наука об ИИ печально известна тем, что она даёт огромные обещания и не исполняет их. Большинство наблюдателей считают, что ИИ сложен, и это на самом деле так. Но запутанность не происходит из сложности. Сложно сделать звезду из водорода, но звездная астрофизика не имеет дурной славы обещать сделать звезду и затем не смочь. Критическим выводом является не то, что ИИ сложен, а то, что, по неким причинам, людям очень легко думать, что они знают об Искусственном Интеллекте гораздо больше, чем на самом деле.

В моей другой статье о рисках глобальной катастрофы «Систематические ошибки мышления, потенциально влияющие на суждения о глобальных рисках», я начинаю с замечания, что немногие люди предпочли бы нарочно уничтожить мир; сценарий же уничтожения Земли по ошибке кажется мне очень беспокоящим. Немногие люди нажмут кнопку, которая, как они точно знают, вызовет глобальную катастрофу. Но если люди склонны быть абсолютно уверены, что кнопка делает нечто, совершенно отличное от её реального действия, это действительно причина для тревоги.

Гораздо труднее писать о глобальных рисках искусственного интеллекта, чем о систематических ошибках мышления. Ошибки мышления – это твёрдо установленное знание; достаточно процитировать литературу. ИИ – это не твёрдо установленное знание; ИИ относится к передовым исследованиям, а не к учебникам. И, по причинам, объясняющимся в следующей главе, проблема глобальных рисков в связи с искусственным интеллектом фактически не обсуждается в существующей технической литературе.

Я вынужден анализировать тему со своей точки зрения, делать мои собственные выводы и делать всё, от меня зависящее, чтобы доказать их в ограниченном пространстве этой статьи.

Дело не в том, что я пренебрегаю необходимостью цитировать существующие источники на эту тему, но в том, что таких источников, несмотря на все мои попытки их найти, обнаружить не удалось (на январь 2006 года).

Соблазнительно игнорировать ИИ в этой книге (имеется в виду книга «Риски глобальной катастрофы», в которой в 2007 году в Оксфорде выходят обе статьи Юдковского – прим. пер.), потому что это наиболее трудная тема для обсуждения. Мы не можем обратиться к статистическим данным, чтобы вычислить маленькую годовую вероятность катастрофы, как в случае астероидных ударов. Мы не можем использовать вычисления на основании точных, точно подтверждённых моделей, чтобы исключить некие события или установить бесконечно малые верхние границы их вероятности, как в случае возможных физических катастроф. Но это делает катастрофы с ИИ ещё более беспокоящими, а не менее.

Эффекты систематических ошибок мышления, как оказалось, имеют тенденцию увеличиваться при недостатке времени, занятости ума или недостатке информации. Это говорит, что чем труднее аналитическая задача, тем важнее избежать или ослабить систематическую ошибку. Поэтому я усиленно рекомендую прочесть статью «Систематические ошибки мышления, потенциально влияющие на оценку глобальных рисков» (вышла на русском в первом томе серии «Диалоги о будущем» и доступна в Интернете – прим. пер.) до прочтения этой статьи.

1. Систематическая ошибка, связанная с антропоморфизмом.

Когда нечто очень широко распространено в нашей повседневной жизни, мы принимаем это как само собой разумеющееся вплоть до того, что забываем о существовании этого. Представьте себе сложную биологическую адаптацию, состоящую из 10 необходимых частей.

Если каждый из 10 генов независим и имеет 50% частоту в наборе генов – то есть каждый ген имеется только у половины особей вида – тогда в среднем только одна особь из 1024 будет обладать полнофункциональной адаптацией. Меховая шуба не является значительным эволюционным приобретением, пока окружающая среда не начнёт подвергать организмы отбору холодом. Точно так же, если ген Б зависит от гена А, тогда ген Б не имеет значительного преимущества, пока ген А не станет надёжной частью генетического окружения. Сложное, взаимозависимое устройство должно быть у всех сексуально воспроизводящихся видов; оно не может развиться в противном случае. (Tooby и Cosmides 1992) Одна малиновка может иметь более гладкие перья, чем другая, но у обеих должны быть крылья. Естественный отбор, двигаемый разнообразием, сужает это разнообразие (Sober, 1984). В каждой известной культуре люди испытывают грусть, отвращение, ярость, страх и удивление (Brown, 1991), и передают эти эмоции одними и теми же выражениями лица. У нас у всех под капотом один и тот же мотор, хотя мы можем и быть раскрашены разными красками; этот принцип эволюционные психологи называют психологическим единством человечества (Tooby and Cosmides, 1992). Это описание и объясняется, и требуется законами эволюционной биологии.

Антрополог не будет восторженно писать о новооткрытом племени: «Они едят еду! Они дышат воздухом! Они используют инструменты! Они рассказывают друг другу истории!» Мы, люди, забываем, как мы подобны друг другу, живя в мире, который напоминает нам только о наших различиях.

Люди научились моделировать других людей, – чтобы соревноваться и кооперироваться со своими сородичами. Это было надёжным инструментом в мире наших предков, где любой сильный ум, который вам попадался, был тоже человеком. Мы развили способность понимать наших ближних путём эмпатии, помещая себя на их место; для этого тот, кто моделируется, должен быть похож на моделирующего. Не удивительно, что люди часто очеловечивают, – то есть ожидают человекоподобных качеств от того, что не является человеком. В фильме «Матрица» (братья Вачовские, 1999) представитель искусственного интеллекта Агент Смит вначале кажется совершенно холодным и собранным, его лицо неподвижно и неэмоционально. Но позже, допрашивая человека Морфеуса, Агент Смит даёт выход свому отвращению к человечеству – и его лицо выражает общечеловеческое выражение отвращения. Опрашивание своего собственного ума хорошо работает под воздействием инстинкта адаптации, когда вам нужно предсказывать других людей.

Но если вы исследуете некий другой процесс оптимизации, – если вы, например, теолог 18 века William Paley – то тогда антропоморфизм – это липучка для мух для неосторожных учёных, столь липкая западня, что нужен Дарвин, чтобы из неё выбраться.

Эксперименты по исследованию антропоморфизма показали, что испытуемые часто антропоморфизируют неосознанно, вопреки своим базовым установкам. Баррет и Кейл (Barrett и Keil, 1996) провели эксперименты на субъектах, исповедовавших веру в неантропоморфные качества Бога – что Бог может быть более чем в одном месте одновременно, или одновременно наблюдать множество вещей. Баррет и Кейл предложили этим испытуемым истории, в которых Бог спасает людей от утопления. Испытуемые отвечали на вопросы об этих историях или пересказывали их своими словами, и из стиля их рассказов следовало, что Бог был только в одном месте в одно время и выполнял задачи последовательно, а не параллельно. К счастью для целей нашего исследования, Баррет и Кейл в другой группе использовали в прочих отношениях аналогичные истории о суперкомпьютере по имени "Uncomp". Например, чтобы изобразить свойство всезнания, говорилось, что сенсоры Uncomp’а покрывают каждый квадратный сантиметр Земли, и никакая информация не теряется. Испытуемые в этих условиях всё равно демонстрировали сильный антропоморфизм, хотя и значительно меньший, чем в «группе Бога». С нашей точки зрения, главным результатом является то, что хотя люди сознательно полагали ИИ не подобным человеку, они по-прежнему представляли себе такие сценарии, как если бы ИИ был человекоподобным (хотя и не настолько человекоподобным, как Бог).

Ошибка антропоморфизма подкрадывается незаметно: она происходит без нарочного намерения, не осознанно и вопреки очевидному знанию.

В эпоху бульварной научной фантастики обложки журналов часто изображали монструозного инопланетянина – собирательно известного как жукоглазый монстр (ЖГМ) – тащащего привлекательную полуобнажённую женщину. Может показаться, что художник верил, что негуманоидный инопланетянин, с полностью другой эволюционной историей, может сексуально желать женщину-человека. Такие ошибки происходят не из-за того, что люди явным образом рассуждают подобно следующему: «Все умы, скорее всего, возбуждаются похожим образом, и поэтому, вероятно, ЖГМ находит женщину-человека сексуально привлекательной». Скорее, художник просто не задался вопросом о том, действительно ли гигантский жук воспринимает женщин-людей привлекательными. Наоборот, полуобнажённая женщина является сексуальной – изначально, потому что это неотъемлемо присущее ей свойство. Те, кто делают эту ошибку, не думают об уме насекомообразного существа; они концентрируются на задранных одеждах женщины. Если бы одежды не были задраны, женщина была бы менее сексуальна, но ЖГМ этого не понимает. (Это частный случай глубокой, запутывающей и чрезвычайно распространённой ошибки, которую Джейнс назвал ошибочностью, связанной с умственной проекцией (mind projection fallacy) (Jaynes and Bretthorst, 2003). Джейнс, специалист по байесовской теории достоверности, определил «ошибочностью, связанную с умственной проекцией» как ошибку, связанную с тем, что состояния знания перепутаны со свойствами объектов. Например, фраза «мистический феномен» подразумевает, что мистичность – это свойство самого феномена. Если я неосведомлен относительно некого феномена, то это факт о моём состоянии сознания, а не о самом феномене.)

Людям нет нужды понимать, что они антропоморфизируют (или хотя бы понимать, что они вовлечены в сомнительный акт предсказания состояния чужого ума) для того, чтобы антропоморфизм повлиял на мышление. Когда мы пытаемся рассуждать о чужом сознании, каждый шаг рассуждений может быть соединён с предположениями, настолько очевидными для человеческого опыта, что мы обращаем на них внимания не больше, чем на воздух или гравитацию. Вы возражаете журнальному иллюстратору: «Не является ли более правдоподобным, что огромный жук-самец будет сексуально желать огромных жуков-самок?» Иллюстратор немного подумает и скажет: «Но даже если бы инопланетные инсектоиды начинали с любви к твёрдым экзоскелетам, после того, как инсектоид повстречает женщину-человека, он вскоре поймёт, что у неё гораздо более мягкая и нежная кожа. Если у инопланетян имеется достаточно продвинутая технология, они могут генетически изменить себя, чтобы любить мягкую кожу, а не твёрдые экзоскелеты».

Это – ошибочность-с-отступлением-на-шагом-назад (fallacy-at-one-remove). После того, как указано на антропоморфичность мышления инопланетянина, журнальный иллюстратор делает шаг назад и пытается представить умозаключения инопланетянина как нейтральный продукт его мышления. Возможно, продвинутые инопланетяне могут перестроить себя (генетически или как-то иначе), чтобы любить мягкую кожу, но захотят ли они? Инопланетянин-инсектоид, любящий жёсткие скелеты, не будет хотеть переделать себя, чтобы любить мягкую кожу вместо этого, – кроме как в случае, если естественный отбор каким-то образом породит в нём определённо человеческое чувство метасексуальности. При использовании длинных сложных цепочек рассуждений в поддержку антропоморфических выводов, каждый шаг таких рассуждений является ещё одной возможностью, чтобы прокралась ошибка.

И ещё одной серьёзной ошибкой является начинать с вывода и искать кажущуюся нейтральной линию рассуждений, ведущую к нему; это называется рационализацией. Если первое, что приходит на ум, при вопросе на эту тему, это образ инсектоида, преследующего женщину-человека, то тогда антропоморфизм является первопричиной этого восприятия, и никакое количество рационализации не изменит этого.

Любой, кто бы хотел уменьшить систематическую ошибку антропоморфизма в себе, должен был бы изучить эволюционную биологию для практики, желательно, эволюционную биологию с математическими выкладками. Ранние биологи часто очеловечивали естественный отбор – они полагали, что эволюция будет делать тоже, что и они сами; они пытались предсказать эффекты эволюции, ставя себя на её место. В результате получался по большей части нонсенс, который начали изгонять из биологии только в поздние 1960-е годы, например, это делал Williams (Williams, 1966). Эволюционная биология предлагает обучение на основе как математики, так и конкретных примеров, помогающее избавится от ошибки антропоморфизма.

1. Широта пространства возможных устройств ума.

Эволюция жёстко сохраняет некоторые структуры. В той мере, как развитие других генов опирается на ранее существовавший ген, этот ранний ген полностью цементируется: он не может мутировать, не нарушая множество форм адаптации. Гомеотические (Homeotic) гены – гены, контролирующие развитее структуры тела эмбриона – говорят множеству других генов, когда активироваться. Мутация гомеотического гена может привести к тому, что эмбрион плодовой мушки разовьётся нормально за исключением того, что у него не будет головы. В результате гомеотические гены столь точно сохраняются, что многие из них одни и те же у человека и плодовой мушки – они не изменились со времён последнего общего предка человека и насекомых. Молекулярные механизмы синтеза АТФ по существу одни и те же в митохондриях животных, хлоропластах растений и у бактерий; синтез АТФ не претерпел значительных изменений с развития эукариотов 2 миллиарда лет назад.

Любые два устройства искусственного интеллекта могут быть менее похожи друг на друга, чем вы и садовый цветок петуния.

Термин ИИ относится к гораздо большему пространству возможностей, чем термин "Homo sapiens". Когда мы говорим о разных ИИ, мы говорим об умах вообще, или о процессах оптимизации вообще. Представьте себе карту возможных устройств ума. В одном углу маленький кружочек означает всех людей. И вся эта карта находится внутри ещё большего пространства, пространства процессов оптимизации. Естественный отбор создаёт сложные функционирующие механизмы не привлекая процесса думания; эволюция находится внутри пространства процессов оптимизации, но за пределами пространства умов.

Этот гигантский круг возможностей исключает антропоморфизм как законный способ мышления.