Текст книги "Российская Академия Наук"

Автор книги: Алексей Турчин

сообщить о нарушении

Текущая страница: 24 (всего у книги 36 страниц)

2.Ошибки, возможные только относительно угроз существованию

1. Путаница относительно глобальных катастроф и просто очень больших катастроф

Есть тенденция путать глобальные катастрофы, ведущие к вымиранию человечества (обозначаемые в англоязычной литературе термином «existential risks») и любые другие колоссальные катастрофы, которые могут принести огромный ущёрб, отбросить цивилизацию далеко назад и истребить значительную часть человечества. Критерием глобальных катастроф является необратимость. В русском языке пока нет устоявшегося краткого термина для катастроф, ведущих к вымиранию человечества. (Моисеев называл их цивилизационными рисками или катастрофами.) Я называю их глобальными катастрофами. Есть ещё термин-калька – экзистенциальные риски. (Подробнее про определение глобальных катастроф и их специфику см. статью Ника Бострома «Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей» .) Разница между этими двумя видами катастроф – не в количестве погибших людей и испытанных ими страданий, а будущем планеты после них. Если уцелеет хоть одно племя в 100 человек, то через несколько тысяч лет на Земле опять будут государства, города и самолёты, и погибшая цивилизация будет в каком-то смысле воскрешена по древним текстам. (От древних греков остался, по некоторым оценкам, только 1 Гб информации, а влияние их на культуру оказалось огромным.)

Примером такой разницы может служить катастрофа, в которой вымирает всё человечество, и катастрофа, в котором оно вымирает всё, кроме нескольких человек, которые затем воссоздают человеческую популяцию, как ветхозаветный Ной. С точки зрения отдельного человека нет никакой зримой разницы между двумя этими катастрофами. И в том и в другом случае он погибнет почти наверняка, и всё, что для него ценно, также погибнет. Однако для человечества как целого это разница равнозначна разнице между смертью и очень тяжёлой болезнью. И эта разница также состоит в том, что болезнь может быть долгой и мучительной, и потом закончится выздоровлением, а смерть может быть лёгкой, мгновенной, но обязательно необратимой.

2. Недооценка неочевидных рисков

Глобальные риски делятся на очевидные и неочевидные. Неочевидные риски в некотором смысле гораздо опаснее, потому что неизвестен их объём, их вероятность, и в связи с ними ничего не предпринимается. Некоторые неочевидные риски известны только узкому кругу специалистов, которые высказывают диаметрально противоположные мнения в оценке их реальности и вероятности. Эти мнения могут выглядеть для стороннего наблюдателя в равной мере обоснованными, что заставляет его выбирать между мнениями экспертов, или исходя из своих личных предпочтений, или «бросая монетку». Однако неочевидные риски несут вполне реальную угрозу и до того, как научное сообщество окончательно определится с их параметрами. Это заставляет уделять внимание тем областям знаний, в отношении которых есть ещё много вопросов.

По мере роста наших знаний о природе и могущества техники, постоянно росло число известных нам причин возможного человеческого вымирания. Более того, этот рост ускоряется. Поэтому вполне разумно ожидать, что есть важнейшие риски, о которых мы ничего не знаем. И хуже из них те риски, о которых мы физически не можем ничего узнать, пока они не случатся.

Кроме того, очевидные риски гораздо удобнее анализировать. Есть огромный объём данных по демографии, военному потенциалу и запасам сырья, которые можно анализировать детально и подробно. Объём этого анализа может заслонять тот факт, что есть другие риски, о которых нам очень мало известно, и которые не годятся для анализа в численной форме, но которые тоже смертельно опасны (например, проблемы с неправильно запрограммированным ИИ).

Нетрудно заметить, что в момент развития аварийной ситуации, например, в авиации, самые страшные последствия имеет именно непонимание пилотами того, что происходит (особенно ошибки в оценке высоты и степени опасности процесса). Наоборот, когда такое понимание имеется, самолёт удаётся спасти часто в совершенно невероятных условиях. И хотя для нас апостериори причины катастрофы очевидны, для самих пилотов они были в тот момент совершено неочевидны.

3. Глобальные риски нетождественны национальной безопасности

Каждая страна тратит на национальную безопасность больше денег, чем на глобальную. Однако глобальные риски представляют большую угрозу для каждой страны, чем национальные – просто потому что если погибнет весь мир, то и страна вместе с ним. При этом часто те действия, которые увеличивают безопасность данной страны на текущем этапе, уменьшают всеобщую безопасность. Например, безопасность некой страны возрастает, – во всяком случае, по мнению её руководства – когда она накапливает запасы ядерного и бактериологического оружия, но безопасность всего мира в результате гонки вооружений падает. Или, например, проблемой РФ является депопуляция, а для всего мира – перенаселение (равно как и для Москвы). Ещё пример: один американский фонд реализует проект по предотвращению глобальных рисков и террористических атак на Америку. Но для нас понятно, что первое и второе – не одно и тоже.

4. Ошибка, связанная с психологизацией проблемы

Издавна существует стереотип сторонника «конца света», толкователя апокалипсиса, – как отверженного обществом индивида, пытающегося своими нелепыми высказываниями повысить свою социальную значимость и компенсировать, таким образом, свои неудачи в финансах и личной жизни. Вне зависимости от истинности или ложности такой интерпретации психологических мотивов людей, это не влияет на степень рисков. Только точные вычисления могут определить реальный вес риска. Психологические исследования показали, что люди в состоянии депрессии дают более точные предсказания о будущих событиях, чем обычные люди, если это не касается их собственной жизни.

5. Отождествление глобальной катастрофы со смертью всех людей и наоборот

Вымирание человечества не означает гибели всех людей, и наоборот. Легко можно представить себе сценарии, когда большая часть человечества гибнет от некой эпидемии, но один остров уцелеет и за 200 лет восстановит человеческую популяцию. Однако если все люди заболеют вирусом, переводящим мозг в состояние непрерывного созерцательного блаженства, то это будет означать конец цивилизации, хотя огромное большинство людей будет некоторое время ещё живо. Или если – в некоем фантастическом сценарии – инопланетяне завоюют Землю и распродадут людей по космическим зоопаркам. Более того, все живущие в настоящий момент люди, если не будет изобретено радикальное средство продления жизни, вымрут к началу XXII века, равно как сейчас вымерли люди, жившие в XIX веке. Но мы не рассматриваем это как глобальную катастрофу, потому что сохраняется непрерывность человеческого рода. Настоящая же глобальная катастрофа лишит нас будущего.

6. Стереотип восприятия катастроф, который сложился в результате работы СМИ

СМИ создают ложный образ глобальной катастрофы, что может оказывать подсознательное влияние на оценки. Опыт смотрения телевизионных репортажей о катастрофах выработал стереотип, что конец света нам покажут по CNN. Однако глобальная катастрофа затронет каждого, и смотреть репортажи будет некому. Равно как и показывать.

В СМИ регулярно имеет место непропорциональное освещение рисков. Например, интересно сравнить масштабы возможного ущерба от глобального потепления и мутации птичьего гриппа в опасный вирус. Не вдаваясь в дискуссии, скажу, что часто оказывается, что реальный ущерб непропорционален его информационному освещению. Поскольку человек склонен к бессознательному обучению, да и вообще количество утверждений, которые можно воспринять критически, ограниченно, эти идеи создают определённый информационный фон для любых рассуждений о глобальных рисках (наравне с кино и научной фантастикой).

7. Возможные ошибки, связанные с тем, что глобальная катастрофа ещё ни разу с нами не происходила

А) Отвержение некоего сценария как фантастического – но и глобальная катастрофа не может быть чем-то иным, чем «фантастическим» событием.

Б) Ошибка, могущая возникнуть в связи с неосознаванием того факта, что никакие события невозможно опознать как глобальную катастрофы ни заранее, ни в процессе – а только апостериори. Возможно, никто не узнает, что это на самом деле была глобальная катастрофа. Катастрофа станет глобальной только после смерти последнего человека. (Однако в сценариях медленного вымирания люди могут это осознавать – или заблуждаться на этот счёт. Возможный пример подобного сценария описан в романе Нейджела Шюта «На берегу», где люди медленно вымирают от последствий радиоактивного загрязнения.)

В) Неприменимость логической операции «индукции» для рассуждений о глобальных катастрофах. Индукция как логический метод состоит в том, предположении, что если некое утверждение верно в моменты 1,2, 3 … N, то оно верно и при N+1 (или при всех N). Оно не обладает абсолютной логической достоверностью, но даёт хорошие результаты при очень больших N и гладких условиях. Например, все физические законы основаны на конечном количестве экспериментов, то есть возникли в результате индукции.

Индукция как логический метод имеет границы применимости. Она неприменима в ситуациях, когда будущее не похоже на прошлое. Иначе говоря, мы не можем, на основании того, что нечто было в прошлом всегда, сказать, что так оно будет и в будущем. Особенно опасно применение индукции в рассуждениях типа: раз этой катастрофы не было в прошлом, то её никогда не будет в будущем. (Однако индукция как логическая процедура применима в вопросах безопасности: с точки обеспечения безопасности трёхразовое периодическое повторение опасного события – очень значимо, тогда как с точки зрения доказательства истинности некой закономерности – нет.)

8. Когнитивное искажение, состоящее в том, что размышления о глобальных рисках автоматически включают некий архетип «спасателя мира»

При этом недооценивается опасность конкуренции между разными группами людей, защищающими разные модели спасения мира. В конце концов, каждая мировая религия занимается спасением всего человечества, а остальные ей только мешают. Так что борьба спасителей мира между собой может угрожать жизни на Земле. Можно вспомнить анекдот советских времён: «Войны не будет, но будет такая борьба за мир, что от мира камня на камне не останется».

9. Недооценка глобальных рисков из-за психологических механизмов игнорирования мыслей о собственной смерти

Людей не волнуют глобальные риски, потому что они и так привыкли к неизбежности своей личной смерти в ближайшие десятилетия и выработали устойчивые психологические механизмы защиты от этих мыслей. Наибольший срок реального планирования (а не умозрительных фантазий) можно определить по долгосрочным реальным инвестициям людей. Типичным отражением такого планирования является покупка дома в ипотеку, пенсионные накопления и воспитание детей – предельный срок этих проектов – 30 лет, за редким исключением, а обычно же меньше 20. Однако не факт, что такое планирование на самом деле эффективно; и люди в большинстве своём знают, что жизнь гораздо более непредсказуема. В любом случае, каждый человек имеет некий горизонт событий, и происходящее за пределами этого горизонта представляет для него чисто умозрительный интерес, – а ведь большинство людей считает, что глобальные риски отстоят от нас на многие десятилетия.

10. Ошибки, связанные с тем, что тот, кто исследует глобальные катастрофы в целом, вынужден полагаться на мнения экспертов в разных областях знания

Часто обнаруживается, что есть множество мнений о какой-либо проблеме, которые выглядят в равной мере аргументировано. А.П.Чехов писал: «Если от болезни предлагается много средств, значит, она неизлечима». В силу этого исследователь глобальных рисков должен быть экспертом по правильному отбору и сопоставлению экспертных мнений. Поскольку это не всегда возможно, всегда есть вероятность неправильного выбора пула экспертов и неправильного понимания их результатов.

11. Ошибка, связанная с тем, что глобальным рискам как целому уделяют меньше внимания, чем рискам катастрофы отдельных объектов

Глобальные риски должны оцениваться по той же шкале, что и риски всех других составляющих цивилизацию объектов. Например, нет смысла закладывать в самолёт вероятность аварии один на миллион, если вся цивилизация с множеством самолётов имеет меньшую надёжность.

12. Ошибка, связанная с тем, что риск, приемлемый для одного человека или проекта, распространяется на всё человечество

Идеи такого рода: «Человечеству стоит рискнуть на одну сотую процента ради этого нового необычайного результата» являются порочными, потому что так может рассуждать одновременно очень много исследователей и конструкторов, каждый из которых при этом завышает безопасность своего проекта, что в сумме может давать очень высокий риск.

13. Отсутствие ясного понимания того, к кому обращены указания на глобальные риски

Обращены ли они к гражданам, которые всё равно ничего сделать не могут, к гражданской ответственности учёных, существование которой ещё надо доказать, к правительствам крупных мировых держав или ООН, занятую своими делами, или к комиссиям и фондом, специально нацеленным на предотвращение глобальных рисков – чья способность влиять на ситуацию неизвестна. Удручает и отсутствие систематического досье на все риски – с которым все были бы согласны.

14. Особенность связи теоретического и практического в отношении глобальных рисков

Вопрос о глобальных рисках является теоретическим, поскольку такого события ещё не разу не происходило. И мы не хотим проверить ни одну возможность экспериментально. Более того, мы и не можем это сделать, потому что мы, исследователи, не переживём глобальной катастрофы. Однако мы должны принимать практические меры, чтобы этого не случилось. При этом мы можем наблюдать положительный результат: а именно, что некий риск не случился, но трудно установить причины, почему это не произошло. Невозможно сказать, почему не произошла термоядерная война – потому что она была невозможна, или потому что нам невероятно повезло, или это результат борьбы за мир.

15. Ошибочные модели поведения, связанные с эволюционно сложившимися особенностями человеческого поведения

Стратегия личного выживания, воспитанная в нас в ходе эволюции, подразумевает правило: тот, кто больше рискует, тот захватывает большую территорию, получает больший авторитет в стае, становится альфа-самцом и, в конце концов, оставляет, возможно, большее потомство. Те виды, которые готовы пожертвовать тысячами своих особей, направляя их во все возможные стороны, достигают того, что хоть одна особь попадёт на новые земли. Очевидно, что эта стратегия смертельна для человечества в целом. Даже если человечество будет рисковать собой на 1 процент в год, это означает почти гарантированное вымирание в течение столетия. Однако отдельные страны неоднократно рисковали своей судьбой, вступая в опасные конфликты.

16. Ошибочное представление о том, что глобальные риски есть что-то отдалённое и не имеющее отношение к ближайшему будущему

В действительности, шанс погибнуть в глобальной катастрофе для молодого человека в текущих исторических условиях, возможно, выше, чем от других причин личной или групповой смертности. Многие факторы глобального риска уже созрели, а другие могут оказаться более зрелыми, чем нам об этом известно (передовые био– и ИИ– исследования).

17. Легкомысленное отношение к глобальным рискам, связанное с представлениями о мгновенности смерти

Оно возникает из ошибочного представления о том, что в случае глобальной катастрофы гибель обязательно будет лёгкая и безболезненная, как будто выключили свет. Но в реальности, наоборот, она может быть мучительна и морально (осознание своей вины и столкновение со смертью близких), и физически. Например, длительное, но неизбежное вымирание от радиоактивного заражения.

18. Представление о том, что книги и статьи о глобальных рисках могут значительно изменить ситуацию

Даже когда члены правлений компаний, принимающих критически опасные решения, высказывались против – их не слушали. (Перед катастрофой Челленджера был человек, который возражал против запуска, понимая его опасность.) Тем более не стоит ожидать, что эти люди прислушаются или хотя бы будут читать высказывания тех, кто находится за пределами их тусовки. (Можно вспомнить уместный здесь закон Мерфи: «Что бы ни случилось, всегда найдётся человек, который скажет, что он так и знал, что это произойдёт».)

19. Однако и противоположное мнение ошибочно: что глобальные риски либо неизбежны, либо зависят от случайных, неподвластных человеку факторов, либо зависят от далёких правителей, повлиять на которых невозможно

Наоборот, циркуляция определённых идей в обществе может создать некий фон, который косвенно повлияет на те или иные механизмы принятия решений.

20. Гордыня исследователя

Занятия анализом глобальных рисков может вызвать у человека ощущение, что он делает самое важное дело во вселенной, а потому является сверхценной личностью. Это может привести в определённых обстоятельствах к тому, что он будет более глухим к новой поступающей информации. Окружающие люди легко будут считывать это состояние личности исследователя, что будет компрометировать тему, которой он занимается. Также не следует забывать закон Паркинсона о том, что каждый человек стремится достичь уровня своей некомпетентности. Глобальный уровень является наивысшим для всех областей знаний. Защита от этого – относится к глобальным рискам нейтрально, также как к препарированию лягушек.

21. Интуиция как источник ошибок в мышлении о глобальных рисках

Поскольку глобальные риски относятся к событиям, которые никогда не случались, они контринтуитивны. Интуиция может быть полезна для рождения новых гипотез, но не как способ предпочтения и доказательства. Вера в силу своей интуиции ещё больше способствует ослеплению своими откровениями. Кроме того, интуиция, как проявление бессознательного, может находиться под воздействием неосознаваемых предубеждений, например, скрытого нежелания видеть разрушения и гибель – или наоборот, потребности видеть их там, где их нет.

22. Научное исследование глобальных рисков также сталкивается с рядом проблем

Эксперимент не является способом установления истины о глобальных рисках, ибо экспериментальная проверка – это именно то, чего мы хотим избежать. В связи с невозможностью эксперимента невозможно объективно измерить, какие ошибки влияют на оценку глобальных рисков. Не может быть статистики по глобальным рискам. Фундаментальная концепция «опровержимости» также неприменима к теориям о глобальных рисках.

23. Ошибки, связанные с неучётом малоизвестных логических следствий абсолютности глобального риска.

Только в случае глобальных рисков начинают действовать такие парадоксальные логические рассуждения, как «теорема о конце света» (Doomsday Argument), а также эффекты наблюдательной селекции, однако большинству людей они неизвестны, а значительная доля исследователей их отвергает.

24. Методы, применимые к управлению экономическими и прочими рисками, не применимы к глобальным рискам

Их нельзя застраховать, на них невозможно ставить пари: некому и нечего будет выплачивать в случае страхового случая. И даже малейшая их вероятность неприемлема. Поэтому же некому оплачивать их исследований. Если же эти исследования проводятся в рамках одной страны или культуры, в них может наблюдаться сдвиг от вопросов общечеловеческого выживания к проблемам национальной безопасности для этой общности.

25. Трудности в определении понятия глобального риска в связи с нечёткостью его объекта

Нечёткость относится как к тому, как проводить границы человечества, так и к тому, что именно считать «необратимым повреждением его потенциала». «Пограничный вопрос» касается обезьян-приматов, неродившихся детей, коматозников, преступников, неандертальцев, разумных искусственных интеллектов и других возможных крайних случаев. Важно помнить историческую изменчивость этих границ – ещё в пару сотен лет назад дикаря или раба не считали за человека даже образованные люди, а теперь считают китов и дельфином как разумных существ. Было ли истребление неандертальцев с их точки зрения гибелью человечества? Согласны ли мы, чтобы нас заменили разумные роботы? Не лучше ли смерть насильственного зомбирования во враждебную религию? Дело даже не в самих этих вопросах, а в том, что ответ на них зависит от человеческого произвола, что приводит к тому, что одни группы людей буду считать «глобальной катастрофой» то, что другие будут готовы приветствовать. Это создаёт возможности для опасной конфронтации.

26 Ошибочное представление о том, что глобальные риски угрожают людям, только пока люди замкнуты на Земле, и переселение в космос автоматически снимет проблему

Однако масштаб сил и энергий, которыми овладевают люди на Земле, растёт быстрее, чем темпы космической экспансии. Грубо говоря, это означает, что когда люди заселят Солнечную систему, они будут обладать оружием, способным многократно уничтожить её. Если глобальная катастрофа будет сопровождаться вооружённой борьбой на какой-то фазе, то её объектами легко станут космические поселения. Только разогнав космический корабль до такой скорости, на которой его невозможно догнать, можно рассчитывать на спасение беглецов. Однако если причины кризиса коренятся в самой человеческой природе, бегство бесполезно – люди будут создавать опасные виды оружия и на кораблях, и на космических колониях. Наконец, информационная зараза, вроде компьютерных вирусов или атаки ИИ, может передаваться со скоростью света.

27. Психологическая особенность восприятия рисков человеком, называемая «пренебрежение масштабом»

Спасение жизни одного ребёнка, миллиона человек, миллиарда или ста миллиардов вызывает почти одинаковое побуждение действовать, в том числе выражаемое в готовности потратить деньги . В результате большая часть денег и внимания уходит на проекты, защищающие меньшую часть жизней.

28. Преувеличение прогностической ценности экстраполяции

Потенциальная ошибочность надежды на то, что «кривая (то есть график роста) вывезет». Для некоторых людей стал религией закон Мура об удвоении числа транзисторов на процессоре каждые два года. Увы, весь опыт футурологии говорит о том, что экстраполяция кривых годится только для краткосрочных прогнозов. В более прикладной футурологии, которой является биржевая аналитика, наработан огромный аппарат анализа поведения кривых, многократно превосходящий линейную экстраполяцию, как если бы эти кривые были самостоятельными живыми организмами. В частности, развито понимание того, что быстрый рост кривой может означать близкий разворот тенденции, «отскок» или «свечу». Тем не менее, даже биржевая аналитика кривых не даёт высокоточных результатов без привлечения «фундамента» – анализа реальной экономики. Особенно за счёт эффекта обратной связи между предсказаниями и самими будущими событиями. Количество ошибок в футурологии, основанных на экстраполяции кривых, огромно. Начиная с того, что уровень навоза в Лондоне сделает движение по городу невозможным , и вплоть до прогнозов освоения Марса к концу XX века на заре успехов космонавтики. В отношении глобальных рисков есть определённые ожидания, что прогресс в области техники сам собой приведёт нас в «золотой век», где глобальных рисков не будет. Действительно, есть надежды, что будущие технологии искусственного интеллекта станут основной гораздо более быстрого и эффективного решения проблем. Однако если технический прогресс застопорится, глобальные риски не исчезнут.

29. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света

А.П.Назаретян описывает базовую потребность людей в сильных эмоциях и экстремальных ощущениях, которая побуждает их нарушать скоростной режим движения машин, вести войны, заводить любовниц, короче, находить приключения. И нельзя недооценивать скуку. (Типичный пример тому – то, что можно было бы ограничить число автомобильных аварий, введя физическое ограничение скорости машин да 50 км/час, но большинство водителей бы на это не согласилось.) При этом люди всегда «рационализируют» эти свои иррациональные потребности, объясняя якобы реальными причинами.

30. Смутность представлений о том, что именно является «поражающим фактором» в разных сценариях глобального риска

С детства выученные представления о поражающих факторах ядерного оружия, существенно отличаются от факторов принятия решения о его применении – и всем эта разница очевидна. В сфере глобальных рисков супервирусы и ИИ перечисляются через запятую. Но вирус убивает непосредственно, а ИИ сам по себе не может причинить вреда – он может только управлять разными видами оружия.

Пример из жизни: ситуация, когда человек погиб на войне, и ситуация, когда его застрелили. Эти два множества пересекаются только частично. Если человек погиб на войне, это означает много возможных причин его смерти, а не только то, что его застрелили. И наоборот, если человек погиб от огнестрельного оружия, это не означает, что он погиб на войне: это может быть и бытовая ссора, и самоубийство, и несчастный случай на охоте. Ясно, что война и выстрел – относятся к двум разным классам причин смерти: опасных ситуаций и непосредственных причин. Однако в отношении глобальных рисков такое разделение проводится более смутно, и упор делается в основном на непосредственные причины, а не на ситуации их возникновения.

31. «Шок будущего»: Когнитивные искажения, связанные с разными горизонтами возможного будущего в представлении разных людей

Выделяют пять уровней «Шока будущего». Само понятие введено футурологом Э.Тоффлером. Эти уровни описывают не реальные границы возможного, которые нам пока неизвестны, а психологические границы восприятия, разные у разных людей. Каждому уровню возможного будущего соответствуют свои глобальные риски – и способы им противостояния. При этом все эти варианты будущего относятся их сторонниками к XXI веку. Те, кто продвинулся очень далеко в оценке шоков будущего, могут недооценивать традиционные опасности. Есть следующая классификация шоков будущего:

Шок 0-ого уровня – уровень обычных технологий, используемых сейчас в быту. (Уровни катастрофы: ядерная война, исчерпание ресурсов.)

Шок 1-ого уровня – уровень технологий, предлагающихся в продвинутых журналах и на компьютерных выставках. (Биологическая война и применение боевых роботов.)

Шок 2-его уровня – технологии, описываемые к классической научной фантастике середины ХХ века. (Отклонение астероидов в сторону Земли, вторжение инопланетян)

Шок 3-его уровня – сверхтехнологии, которые появились на горизонте только в конце ХХ века: нанотехнологии (умная пыль), ИИ, равный человеку, загрузка сознания в компьютер, полная перестройка человеческого тела. (Катастрофы: серая слизь, сверхчеловеческий ИИ, перерабатывающий всё земное вещество в роботов, супервирусы, изменяющие поведение людей)

Шок 4-ого уровня – концепция о «Сингулярности» – гипотетическом моменте в будущем, связанным с бесконечным ускорением человеческого прогресса, неким качественным переходом и сменой модели развития (риски: непредсказуемы). См. главу «технологическая сингулярность» далее.

Риски ошибки, связанные с шоком будущего, состоят в том, что каждый человек, моделирующий будущее, имеет разный горизонт возможного и невозможного, определяемый скорее его психологическим комфортом, чем точными знаниями. Чем старше человек, тем труднее ему принять новое. Наоборот, возможна и ситуация «ослепления будущим», когда риски невероятных катастроф затмят в глазах человека обычные риски. При этом свои риски глобальной катастрофы имеются на каждом уровне.

Катастрофа в виде ядерной войны понятнее, чем псевдодружественный ИИ.

32. Представление о том, что глобальная катастрофа будет вызвана какой-то одной причиной

Обычно о глобальных катастрофах думают, как об однократном массовом вымирании, вызванном или вирусом, или падением астероида, или ядерной войной. Однако существуют способы самоорганизации опасных возможностей, которые создают системный эффект. Например, система, ослабленная одним событием, может быть легко повержена другим. Или, например, две медленно текущие болезни, соединяясь, могут вызвать быстротекущую – как, например, СПИД и туберкулёз у человека. Возможны разные сценарии конвергенции, например, нанотехнологии упростят создание ядерных бомб, ИИ упростит создание нанотехнологий, а нанотехнологии позволит узнать тайны мозга, что приблизит создание ИИ. Конвергенция рисков происходит параллельно с конвергенцией ключевых современных технологий, называемых NBIC (nano-bio-info-cogno), то есть нанотехнологий, биотехнологий, систем искусственного интеллекта и науки о мышлении и мозге.

33. Недооценка системных факторов глобального риска

Системные факторы – это не отдельные события, вроде внезапного появления супервируса, а некие свойства, которые относятся ко всей системе. Например, противоречие между природой современной цивилизации, основанной на непрерывной экспансии, и конечностью любых ресурсов. Это противоречие не локализовано в каком-то одном месте, и не зависит ни от одного конкретного ресурса или организации. Реальны самовоспроизводящиеся кризисные ситуации, которые в каждый момент времени вовлекают в себя всё большое число участников сообщества, но не зависят от поведения ни одного из них и не имеют центра.

34. Призыва типа: «Мы все должны бороться за мир»

Если слишком много людей и организаций будут прилагать разнообразные нескоординированные усилия в борьбе за спасение планеты, то в лучшем случае возникнет ситуация, описываемая известным выражением «лебедь, рак и щука».

35. Недооценка предкризисных событий как элементов наступающей глобальной катастрофы

Если в результате некоторых событий вероятность глобальной катастрофы возросла (иначе говоря, выросла уязвимость человечества к катастрофе), то это событие само может рассматриваться как часть глобальной катастрофы. Например, если в результате ядерной войны выживут отдельные группы людей, то они – немногочисленные и лишённые технологий – окажутся гораздо уязвимее к любым другим факторам риска. Это поднимает значение тех факторов, которые обычно обозначаются как «глобальные риски». Например, падение астероида, размером с Апофис (Apophis 99942, пролёт Земли в 2029 году, диаметр около 400 м.) само по себе не может истребить человечество, так как взрыв составит только порядка 800 мегатонн, что сопоставимо с взрывом вулкана Санторин в древней Греции, погубившем остров Крит, и только в 4 раза сильнее взрыва вулкана Кракатау в 1883 году, оцениваемому в 200 мегатонн тротилового эквивалента. Однако поскольку связность современной цивилизации значительно возросла, возросла и роль отдалённых – экономических и структурных последствий – разных катастроф. Огромная волна-цунами от падения Апофиса могла бы привести бы к прекращению торговли в тихоокеанском регионе и всеобщему экономическому кризису, чреватому переходом к военному – с соответствующим нарастанием необратимых последствий.