Текст книги "Российская Академия Наук"

Автор книги: Алексей Турчин

сообщить о нарушении

Текущая страница: 28 (всего у книги 36 страниц)

4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках

1. Путаница между вероятностью, как мерой изменчивости объекта, и степенью уверенности, как мерой информации об объекте

Первое относится к вероятностному процессу, например, радиоактивному распаду, а второе к неизвестному процессу – например, угадыванию карты. Однако глобальные риски относятся к процессам, где мы вынуждены высказывать вероятностные суждения о процессах, которые одновременно и вероятностные, и неизвестные. Здесь мы начинаем говорить о степени уверенности в той или иной вероятности. В этом случае вероятность и степень уверенности перемножаются.

2. Подмена анализа возможностей анализом целей

Например, рассуждения вроде «террористы никогда не захотят применять бактериологическое оружие, потому что оно нанесёт удар и по тем, чьи интересы они защищают». Структура целей может быть очень сложна или просто содержать в себе ошибки.

3. Неверное употребление индуктивной логики следующего вида: раз нечто очень давно не происходило, то это не будет происходить ещё очень долго

Это высказывание работает только в том случае, если мы однократно нечто наблюдали в случайный момент времени и вероятность в таком случае описывается формулой Готта. Она даёт шанс завершения для произвольного события в 50 процентов в промежуток от 1/3T до 3T, где T – возраст объекта в момент его случайного обнаружения. Однако если мы очень долго наблюдаем некий процесс, то он очевидным образом, приближается к своему концу. Например, если мы возьмём случайного человека, то он, скорее всего, будет среднего возраста. Однако если взять случайного человека и потом очень долго наблюдать, то мы однозначно получим глубокого старика, который может умереть в любой момент. (Подробнее см. мою статью «Природные катастрофы и антропный принцип».)

4. Мышление, обусловленное желанием нечто доказать – то, что по-английски называется «Wishful thinking»

В зависимости от того, что человек хочет доказать, он будет подбирать те или иные аргументы, часто неосознанно. Другое название для этой модели – «рационализация», то есть подбор псевдо рациональных аргументов под некое исходно иррациональное утверждение.

5. Логическая ошибка, возникающая при с попытках доказать, что нужно делать, исходя только из описания фактов

Если в первой и второй посылке умозаключения содержатся только факты, то и в выводе могут быть только факты. Любое рассуждение о целях должно опираться на некие представления о ценностях, заданных аксиоматически. Однако это означает произвольность таких целей, и их понимание может различаться у разных исследователей глобальных рисков, что может вести к разным определениям катастрофы и представлениям о том, что будет из неё выходом. Кроме того, любая система аксиом позволяет формулировать недоказуемые высказывания (как показы Гёдель в теореме о неполноте), и в отношении долженствований в этом легко убедиться: почти любая система базовых ценностей легко позволяет создавать внутри себя противоречия, что является основным содержанием многих литературных произведений, где герой должен сделать выбор между, допустим, любовью к семье и к родине (то, что ещё называется экзистенциальный выбор). Неизвестно, возможна ли вообще непротиворечивая система ценностей, как она будет выглядеть, и будет ли применима на практике. Однако работа над непротиворечивой системой ценностей важна, так как её нужно будет вложить в будущие машины, обладающие искусственным интеллектом.

6. Ошибки, связанные с подменой анализа рисков анализом коммерческих мотивов тех, кто о них говорит

Можно рассуждать следующим образом: если человек исследует риски бесплатно, то он безработный и маргинал, если он хочет получать за это деньги, то он паразитирует на общественных страхах, если это его прямые должностные обязанности, то доверять ему нельзя, потому что он агент государства и запудривает мозги населению. Отсюда видно, что прямой связи между деньгами и анализом рисков нет, хотя в некоторых случаях она возможна. Объяснение через упрощение называется «редукционизмом» и позволяет объяснить всё, что угодно.

7. Использование так называемого «авторитетного знания»

«Авторитетное знание» было основным источником достоверных сведений в Средние века, когда истину искали в трудах Аристотеля; потом изобрели эмпирический метод. Ссылки на мнения великих людей не должны служить достаточным основанием, чтобы признать нечто безопасным. Только регулярно повторяемые вычисления могут указывать на это.

8. Неправильное применение идеи о том, что теория должна считаться истинной, только если она доказана

Если рассматривать научный метод, как способ получения наиболее достоверных знаний, то эта методология верна. Однако с точки зрения обеспечения безопасности необходим противоположный подход: некое предположение должно считаться опасным до тех пор, пока оно не опровергнуто. Например, новая модель самолёта считается опасной, до тех пор пока не будет доказано, путём теоретических выкладок и испытательных полётов во всех режимах, что она безопасна; тот же принцип лежит в основе клинического тестирования новых лекарств. Неясно так же, как применять принцип фальсифицируемости в отношении теорий о тех или иных глобальных катастрофах.

9. Восприятие новой информации через призму старой

В процессе восприятия человек только часть информации берёт из внешнего мира, а остальное достраивает на основании своей памяти, ожиданий и ассоциаций. Увы, то же самое верно и для текстов, в том числе и по глобальным рискам. Читая рецензии разных людей на один и тот же текст, не трудно убедиться, что они восприняли его совершенно по-разному. Вряд ли это связано с тем, что одни люди были принципиально умнее других – скорее, с тем, что они применяли разные фильтры восприятия. Более того, если человек начал придерживаться некой точки зрения, то он подписывается на те издания и выбирает те статьи, которые её подтверждают. Таким образом, у него создаётся иллюзия, что статистика по данным, подтверждающим его точку зрения, растёт. Это ещё более укрепляет и его фильтр, и его уверенность в этих данных.

10. Ошибка в выборе нейтральной позиции

Каждый человек со временем понимает, что он не вполне объективен, и его точка зрения имеет некоторую тенденциозность. Чтобы компенсировать это отклонение, он может выбрать некий нейтральный источник информации. Ошибка состоит в том, что люди, придерживающиеся противоположных взглядов, выберут разные нейтральные точки, каждая из которых будет ближе к позиции того, кто её выбрал. Похожую ошибку мы описывали выше, когда приводили результаты опытов, в которых испытуемые были предупреждены о возможной ошибке и делали на неё поправку – и, тем не менее, всё равно недооценивали. Вероятно, поправку надо было давать не только к основному параметру, но и к самой поправке.

11. Уверенность как источник ошибок

Чем больше человек сомневается в своей точке зрения, тем чаще он меняет её под влиянием новых фактов, и тем больше шансов, что он попадёт к более достоверному знанию. Если же человек слишком уверен в своём мнении, ему трудно его изменить. Если же он слишком изменчив, то он не приближается к истине, а ходит по кругу.

12. Употребление полностью ошибочной логики

Увы, возможна ситуация, когда человек в своих рассуждениях совершает ошибки «в каждой строчке». В этом случае он не мог бы найти свои ошибки, даже если бы хотел. Это может быть или одна повторяющаяся систематическая ошибка, или такая плотность разных ошибок, которая делает невозможным безошибочное рассуждение. Даже я сейчас не знаю наверняка, не делаю ли я каких-либо систематических логических ошибок в настоящий момент. Это может происходить чаще, чем мы думаем – анализ научных текстов показал, что обычно люди пользуются сокращёнными умозаключениями и приёмами эвристики – и не осознают этого.

13. Различие между преднаукой и псевдонаукой

В тот момент, когда гипотеза находится в процессе формулирования, она ещё не обросла всем научным аппаратом и является, скорее, продуктом мозгового штурма на некую тему, возможно, осуществляемого коллективно путём обмена мнениями в печатных изданиях. И в этот момент она является преднаукой – однако она нацелена на то, чтобы стать частью науки, то есть пройти соответствующий отбор и быть принятой или отвергнутой. Псевдонаука может имитировать все атрибуты научности – звания, ссылки, математический аппарат, – тем не менее, её цель – не поиск достоверного знания, а видимость достоверности. Все высказывания о глобальных рисках являются гипотезами, которые мы почти никогда не сможем проверить. Однако мы не должны отбрасывать их на ранних фазах созревания. Иначе говоря, фаза мозгового штурма и фаза критического отсева не должны смешиваться – хотя обе должны присутствовать.

14. Ошибка, связанная с неправильным определением статуса «универсалий»

Проблема универсалий была основной в средневековой философии, и состояла она в вопросе, что на самом деле реально существует. Существуют ли, например, птицы вообще, или существуют только отдельные экземпляры птиц, а все виды, рода и семейства птиц – не более чем условная выдумка человеческого разума? Одним из возможных ответов является то, что объективно существует наша способность различать птиц и не-птиц. Более того, каждая птица тоже обладает этим качеством, и в силу этого универсалии существуют объективно. В рассуждения о рисках неясность по поводу универсалий вкрадывается следующим образом: свойства одного объекта переносятся на некий класс, как если бы этот класс был объектом. Тогда возникают рассуждения вроде «Америка хочет…» или «русским свойственно…», тогда как за этими понятиями стоит не единый объект, а множество, точное определение которого зависит от самого наблюдателя. Любые дискуссии о политике отравлены такого рода сдвигом. Рассуждая об искусственном интеллекте легко совершить такую ошибку, так как не понятно, идёт ли речь об одном устройстве или о классе объектов.

15. Утверждения о возможности чего-то и невозможности неравносильны

Утверждение о невозможности гораздо сильнее, ибо относится ко всему множеству потенциальных объектов, а для истинности утверждения о возможности достаточно одного объекта. Поэтому утверждения о невозможности чего-либо являются ложными гораздо чаще. Предполагая какое-то событие или стечение обстоятельств невозможным, мы наносим ущерб нашей безопасности. В определённых обстоятельствах возможно всё. При этом любые дискуссии о будущих катастрофах – это всегда дискуссии о возможностях.

16. Очевидности как источник ошибок

Правильное умозаключение всегда опирается на две посылки, два истинных суждения. Однако анализ текстов показывает, что люди очень редко употребляют полную форму умозаключений, а вместо этого употребляют сокращённую, где явно называется только одна посылка, а другая подразумевается по умолчанию. Умалчиваются обычно очевидности – суждения, кажущиеся настолько истинными и несомненными, что нет нужды их озвучивать. Более того, часто они настолько очевидны, что не осознаются. Понятно, что такое положение дел является причиной многочисленных ошибок, потому что очевидность – не обязательно истинность, и то, что очевидно одному, не очевидно другому.

17. Недооценка собственной ошибочности

Я ничего не могу знать на 100 процентов, потому что надёжность моего мозга не равна 100 процентам. Я могу проверить свою надёжность, решив серию логических задач средний сложности, и затем посчитав количество ошибок. Однако обычно этого не делается, и собственная ошибочность оценивается интуитивно, то есть в сторону занижения.

18. Ошибка, связанная с представлением о том, что каждое событие имеет одну причину

В действительности:

а) есть совершенно случайные события.

б) каждое событие имеет много причин (стакан упал, потому что его поставили с краю, потому что он сделан из стекла, потому что сила тяготения велика, потому что пол твёрдый, потому что кошка непослушная, потому что это рано или поздно должно было случиться).

в) каждая причина имеет свою причину, в результате чего мы имеем расходящееся в прошлое древо причин. Человеческий ум неспособен целиком это древо причин охватить и вынужден упрощать. Но понятие «причина» необходимо в обществе, потому что связано с виной, наказанием и свободой воли. То есть здесь под «причинной» имеется в виду принятие свободным вменяемым человеком решения о совершении преступления. Нет нужды говорить о том, сколько здесь неочевидных моментов. (Основной вопрос: Кто виноват?)

И в конструировании техники: где важно найти причину аварии. То есть то, что можно устранить – так чтобы аварий такого рода больше не было. (Основной вопрос: Что делать?)

Понятие причина менее всего применимо к анализу сложных уникальных явлений, таких как человеческое поведение и история. Пример тому – масса запутанных дискуссий о причинах тех или иных исторических событий. Именно поэтому рассуждения в роде «причиной глобальной катастрофы будет Х» – мягко говоря, несовершенны.

19. Ошибка, связанная с сознательным и бессознательным нежеланием людей признать свою вину и масштаб катастрофы

И вытекающие из этого неправильное информирование начальства о ситуации. Сознательное – когда, например, военные скрывают некую аварию, чтобы их не наказали, желая справится своими силами. Когда люди не вызывают пожарных, сами туша пожар до тех пор, пока он не становится слишком обширным. Бессознательная – когда люди верят в то описание, которое уменьшает масштаб аварии и их вину. В Чернобыле организатор испытаний Дятлов верил, что взорвался не реактор, а бак с водой охлаждения – и продолжал подавать команды на несуществующий реактор. Вероятно, такое нежелание может действовать и вперёд во времени, заставляя людей не принимать на себя ответственность за будущие глобальные катастрофы.

20. Необходимость выбора актом веры

Если руководитель получает несколько противоречащих друг другу заключений о безопасности, то он делает выбор между ними, просто веря в одно из них – по причинам, не связанным с самой логикой. Здесь также можно вспомнить термин «экзистенциальный выбор», когда человек должен сделать выбор в неформализуемой ситуации. Например, между любовью и долгом.

21. Эффект первой и последней прочитанной книги

Порядок поступления информации влияет на её оценку, причём выделены первый и последний источник. Это одна из форм ошибочности, связанной с доступностью информации, о которой пишет Юдковски.

22. Преувеличение роли компьютерного моделирования

Наиболее две проработанные модели – метеорология и атомные взрывы. Обе составлены на огромном фактическом материале, с учётом сотен испытаний, которые вносили поправки к прогнозам, и обе регулярно давали ошибки. Даже самая точная модель остаётся моделью. Поэтому мы не можем сильно полагаться на компьютерное моделирование уникальных событий, к каковым относится глобальная катастрофа.

23. Доказательство по аналогии как источник возможных ошибок

Дело не только в том, что не может быть аналогий уникальному событию, которое ещё никогда не случалось – необратимой глобальной катастрофе, но и в том, что мы не знаем, как проводить такие аналогии. В любом случае, аналогии могут только иллюстрировать. Вероятно, полезно принимать аналогии, когда они говорят о реальности некой угрозы, но не когда – о безопасности.

24. Ошибка, связанная с неточностью экстраполяции экспоненциальной вероятностной функции с помощью линейной

Вероятностную функцию гибели цивилизации – если считать это процесс гладким в смысле вероятности, что, конечно, неверно – можно уподобить функции распада радиоактивного атома, которая, как известно, описывается экспонентой. Например, если вероятность гибели цивилизации в течение XXI века равна 50 процентам, как это предполагает сэр Мартин Рис в книге «Наш последний час», то через 200 лет шанс выживания цивилизации будет 25 процентов, а через тысячу лет – только 0,1 процента – при равномерном сохранении тех же тенденций. Отсюда видно, что неверно заключать, что раз выживание в течение тысячелетия составляет 0,1 процента, то для одного столетия оно будет в только десять раз больше, то есть 1 процент. Эта же ошибка в менее явном виде возникает, если нам нужно экстраполировать эти же 50 процентов выживания в течение 100 лет на погодовую вероятность гибели. Линейная аппроксимация дала бы 0,5 процента на год. Однако точное значение равно 1– 2 и составляет примерно 0,7 процента, то есть в 1,4 раза выше, чем даёт интуитивная линейная аппроксимация. (Ещё раз мы к этому вопросу вернёмся далее, в главе о вероятностной оценке глобальных рисков.)

25. Санкт-Петербургский парадокс

Позволю себе здесь обширную цитату из книги Г.Малинецкого «Риск. Устойчивое развитие. Синергетика»: «Рождение субъективного подхода относится к работам Г. Крамера и Д. Бернулли, выполненным в первой половине XVIII века. Они связаны с объяснением так называемого Санкт-Петербургского парадокса. Рассмотрим следующую игру. Подбрасывается монета до тех пор, пока в первый раз не выпадет орел. Если потребовалось n бросков, то выигрыш составит 2n единиц. То есть выигрыши 2,4,8,…2n будут происходить с вероятностью 1/2,1/4,1/8,…1/2n. Ожидаемый выигрыш в этой игре бесконечен:

. (1)

Спрашивается, сколько человек готов заплатить за право войти в такую игру. Парадокс состоит в том, что большинство людей готово заплатить за это право не более 100, а иногда и 20 единиц.

Бернулли предположил, что люди максимизируют не денежный выигрыш (чему соответствует формула (1), а ожидаемую полезность. Предложенная им функция полезности U(x) имеет вид логарифмической кривой:

. (2)

То есть, с ростом выигрыша полезность равных приращений падает.

Парадокс можно сформулировать и иным образом, имеющим непосредственное отношение к техногенному риску. Допустим, что мы располагаем экономически выгодной (если не учитывать ее влияния на среду обитания) технологией. Ликвидация последствий ее применения может обойтись в 2n единиц с вероятностью 1/2n. То есть математическое ожидание ущерба здесь также бесконечно. Сколько общество готово заплатить за то, чтобы отказаться от такой технологии? Какова должна быть разумная стратегия в том случае, если такая технология уже используется? В ряде случаев действия мирового сообщества парадоксальны – затраты на отказ от технологий, грозящих неприемлемым ущербом, оказываются, как и в Санкт-Петербургском парадоксе, весьма невелики».

Этот парадокс имеет прямой отношение к глобальным катастрофам, так как их возможный ущерб бесконечен. Следовательно, мы должны были бы соглашаться на любые действия, которые позволяют её избежать (см. принцип Максипок по Бострому).

26. Различие между опасностью и риском

Риск создаётся принимаемыми решениями, а опасности – обстоятельствами. Поскольку основным источником риска глобальных катастроф являются новые технологии, то именно решения о их развитии и применении определяют его. Однако если технологии развиваются стихийно и неосознанно, то они становятся подобны природным опасностям.

27. Систематическая ошибка, связанная с эгоцентричностью

Она состоит в том, что люди приписывают себе большее влияние на результаты коллективных действий, чем на самом деле. Иногда люди преувеличивают негативное влияние (мегаломания). По мнению Майкла Анисимова, по этой причине люди преувеличивают значение собственной смерти и недооценивают смерть всей цивилизации .

28. Систематическая ошибка, связанная с атрибуцией причины

В случае с глобальными рисками в настоящий момент нет объекта или человека, которого мы могли бы обвинить в том, что человеческая цивилизация вымрет. Майкл Анисимов пишет: «Поскольку на горизонте не видно плохого парня, чтобы с ним бороться, люди не испытывают такого энтузиазма, который бы они, например, испытывали, протестую против Буша» .

29. Ошибка, связанная с тем, что если вероятность некого события является невычислимой, ей полагают нулевой

Тогда как принцип предосторожности требовал бы, чтобы мы приписывали таким событиям 100 процентную вероятность. Однако это привело бы к абсурдным выводам в духе: вероятность высадки инопланетян завтра неизвестна, поэтому мы должны к ней готовиться так, как если бы она была равна 100 процентам. В этом случае можно пользоваться непрямыми способами оценки вероятности, например, формулой Готта (см. о ней подробнее в конце книги).

30. Упущение того, что безопасность системы определяется наиболее слабым её звеном

Если в помещение есть три параллельных двери, одна из которых заперта тремя замками, вторая – двумя, а третья – одним, то помещение заперто на один замок. Как не укрепляй две самые прочные двери, это ничего не изменит.

31. Для того, чтобы отвергнуть некую гипотезу, надо в начале её рассмотреть

Однако часто эта логическая последовательность нарушается. Люди отказываются рассматривать те или иные невероятные предположения, потому что они их отвергают. Однако надёжно отвергнуть некое предположение можно, только тщательно его рассмотрев, а для этого его необходимо хотя бы на некоторое время принять всерьёз.

32. Невычислимость

Целый ряд принципиально важных для нас процессов настолько сложны, что предсказать их невозможно, поскольку они невычислимы. Невычислимость может иметь разные причины.

• Она может быть связана с непостижимостью процесса (например, Технологическая Сингулярность, или, например, то, как теорема Ферма непостижима для собаки), то есть связана с принципиальной качественной ограниченностью человеческого мозга. (Такова наша ситуация с предвидением поведения Суперинтеллекта в виде ИИ.)

• Она может быть связана с квантовыми процессами, которые делают возможным только вероятностное предсказание, то есть недетерминированностью систем (прогноз погоды, мозга).

• Она может быть связана со сверхсложностью систем, в силу которой каждый новый фактор полностью меняет наше представление об окончательном исходе. К таковым относятся: модели глобального потепления, ядерной зимы, глобальной экономики, модели исчерпания ресурсов. Четыре последние области знаний объединяются тем, что каждая описывает уникальное событие, которое ещё никогда не было в истории, то есть является опережающей моделью.

• Невычислимость может быть связана с тем, что подразумеваемый объём вычислений хотя и конечен, но настолько велик, что ни один мыслимый компьютер не сможет его выполнить за время существования вселенной (такая невычислимость используется в криптографии). Этот вид невычислимости проявляться в виде хаотической детерминированной системой.

• Невычислимость связана также с тем, что хотя нам может быть известна правильная теория (наряду со многими другими), мы не можем знать, какая именно теория правильна. То есть теория, помимо правильности, должна быть легко доказуемой для всех, а это не одно тоже, в условиях, когда экспериментальная проверка невозможна. В некотором смысле способом вычисления правильности теории, а точнее – меры уверенности в них, является рынок, где или делаются прямые ставки на некий исход, или на цену некого товара, связанного с прогнозом, например, цены на нефть. Однако на рыночную цену теория влияет много других факторов: спекуляции, эмоции или нерыночная природа самого объекта. (Бессмысленно страховаться от глобальной катастрофы, так как некому и не перед кем будет за неё расплачиваться, и в силу этого можно сказать, что её страховая цена равна нулю.)

• Ещё один вид невычислимости связан с возможностью самосбывающихся или самоотрицающих прогнозов, которые делают систему принципиально нестабильной и непредсказуемой. Я (следуя логике с Дж.Сороса) полагаю, что любой прогноз о поведении некого рыночного индекса, если из этого прогноза можно извлечь прибыль, не работает, поскольку все участники игры не могут получить прибыль в игре с нулевой суммой. В силу этого данный прогноз может знать только меньшинство участников, а, следовательно, скорее всего, я не принадлежу к этому меньшинству. Следовательно, моё предположение о будущем поведении системы скорее ложно, чем истинно. Возражения здесь могут быть следующие: рынок – не игра с нулевой суммой (но он становится ей, если я хочу получить доход больший, чем минимально возможный – то есть полагающийся по базовой процентной ставке или по норме прибыли). Или если участники рынка не равны, и имеет место инсайдерская торговля (но в этом случае надо учитывать риск попасть в тюрьму за нарушение законов, который весьма перевешивает повышенную прибыльность инвестиций.) Поскольку в современном обществе действуют механизмы превращения любых параметров в рыночные индексы (например, торговля квотами по Киотскому протоколу на выбросы углекислого газа или ставки на выборы, войну и т. д, фьючерсы на погоду), то это вносит дополнительный элемент принципиальной непредсказуемости во все виды деятельности. В силу такой торговли мы не можем узнать наверняка, будет ли глобальное потепление, исчерпание нефти, какова реальная угроза птичьего гриппа.

• Ещё одна причина невычислимости – секретность. Как есть поговорка, что «есть ложь, наглая ложь, статистика и статистика о нефтяных запасах». Если мы пытаемся учесть эту секретность через разные «теории заговора» в духе книги Симмонса «Сумерки в пустыне» о преувеличенности оценок запасов Саудовской нефти, то мы получаем расходящееся пространство интерпретаций. (То есть, в отличие от обычного случая, когда точность повышается с числом измерений, здесь каждый новый факт только увеличивает раскол между противоположными интерпретациями.) Ни один человек на Земле не обладает всей полнотой секретной информации, поскольку у разных организаций разные скереты.

Психологической стороной этой проблемы является то, что люди рассуждают так, как если бы никакой невычислимости не было. То есть можно обнаружить сколько угодно мнений и рассуждений о будущем, в которых его принципиальная и многосторонняя непредсказуемость вовсе не учитывается, равно как и ограниченность человеческой способности достоверно о нём рассуждать.

33. Наблюдательная селекция

Наблюдательная селекция происходит во всех случаях, когда в результате некого процесса число его наблюдателей может меняться, а глобальные катастрофы, очевидно, относятся к такому классу процессов. Подробнее см. в моей статье «природные катастрофы и антропный принцип» и в главе о непрямых оценках вероятности глобальной катастрофы в этой книге.