Текст книги "Российская Академия Наук"

Автор книги: Алексей Турчин

сообщить о нарушении

Текущая страница: 14 (всего у книги 36 страниц)

Поэтому мы можем переформулировать наш тезис: вечно рост вероятности факторов риска продолжаться не может. Можно сформулировать его и иначе: средства сохранения стабильности должны превосходить средства саморазрушения. Если же средства разрушения превосходят, то система опустится на такой уровень, где силы упорядочивания будут достаточны. Даже если это будет выжженная пустыня. С учётом временн;го фактора можно сказать, что средства поддержания стабильности должны расти быстрее, чем средства саморазрушения, – только в этом случае погодовая вероятность вымирания будет падать, и интеграл её во времени не будет стремиться к единице, что означает возможность бесконечного существования человечества, то есть реализации задачи его неуничтожимости.

Рекуррентные риски

Любой глобальный риск, который был нами перечислен в первой половине этого текста, становится значительно более опасным, если он возникает многократно. Есть большая разница между однократной утечкой опасного вируса, и тысячами утечек разных вирусов, происходящих одновременно. Если утечёт и распространится один вирус с летальностью в 50 %, мы потеряем до половины населения Земли, но это не прервёт развития человеческой цивилизации. Если в течение жизни одного поколения будет 30 таких утечек, то в живых останется – вероятнее всего – только один человек. Если их будут тысячи, то гарантированно никого не останется. Даже если летальность каждого отдельного вируса будет только 10-20 %. То же самое можно сказать и про падение астероидов. Бомбардировка длительной серией из десятков астероидов среднего размера будет гораздо летальнее для человечества, чем падение одного большого.

Разумеется, тут надо учесть способность человечества приспособиться к какой-то одной угрозе. То есть можно преуспеть в противостоянии абсолютно всем биологическим угрозам – если это будет единственный класс угроз. Однако возможности создания универсальной защиты конечны. После 11 сентября в США стали составлять список уязвимых объектов и быстро поняли, что невозможно охранять все объекты.

Поскольку развитие технологий идёт совместно, мы не можем рассчитывать, что какие-то одни ключевые технологии возникнут, тогда как все остальные останутся на том же уровне, как сейчас. (Хотя обычно именно такой образ создают фантастические романы и фильмы. Это пример «предвзятости мышления, обусловленного хорошей историей».)

Глобальные риски и проблема темпа

Глобальные риски являются игрой на опережение. Каждое новое технологическое свершение создаёт новые глобальные риски и уменьшает прежние. Освоение космоса уменьшило риск случайного столкновения с астероидом, но создало возможность организовать его нарочно. Распространение нанороботов уменьшит угрозы от генетически модифицированных организмов, но создаст ещё более опасное оружие. Искусственный интеллект решит проблемы контроля над другими опасными технологиями, но создаст такую систему контроля, любой сбой в работе которой может быть смертельно опасен. Развитие биотехнологий даст нам в руки возможность победить все бывшие прежде болезни – и создать новые.

В зависимости от того, какие технологии возникнут раньше или позже, возможны разные развилки на пути цивилизации. Кроме того, важно, будут ли новые технологии успевать решать задачи, созданные на предыдущих этапах развития, в первую очередь – проблемы исчерпанности тех ресурсов, которые были истощены в ходе развития предыдущих технологий, а также устранения рисков, созданных прошлыми технологиями.

Раньше с человечеством происходило всё множество возможных ситуаций на неком этапе его исторического развития, например, всё множество взаимодействий большого государства с кочевниками. Теперь мы оказываемся в ситуации появления реальной исторической альтернативы – если будет что-то одно, то чего-то другого совсем не будет. Или будет создан мощный, контролирующий всё ИИ, или всё съест серая слизь. Или мы станем космической цивилизацией, или вернёмся в каменный век.

Глобальный риск возникает в силу скорости создающего его процесса. С медленным процессом распространения чего-то можно успеть справиться, приготовить правильные бомбоубежища, вырастить вакцину. Следовательно, отличить настоящий глобальный риск можно по темпу его развития (Солженицын: революция определяется темпом .) Темп этот будет в случае глобального риска ошеломительным, потому что люди не могут успеть понять, что происходит и правильно приготовиться. Однако для разных классов событий ошеломляющими будут разные скорости. Чем невероятнее событие, тем меньшая его скорость будет ошеломляющей. СССР казался чем-то настолько вечным и незыблемым, что даже растянутый на многие годы крах казался ошеломляющим. Системный кризис, в котором точка максимальной катастрофичности постоянно сдвигается (как пожар, перекидываясь с одного объекта на другой), обладает гораздо большим ошеломляющим потенциалом.

При этом под «ошеломлением» следует понимать способность событий создавать неправильное о себе впечатление, возможно, в форме шока будущего – и соответственно вызывать неправильную на них реакцию, ещё более их усиливающую. Конечно, некоторые сразу поймут суть происходящего, но ошеломление означает распад единой картинки происходящего в обществе, особенно у властей. Поэтому произойдёт ослепление и голоса «Кассандр» не будут услышаны – или будут понятны неверно. Более быстрые процессы будут вытеснять более медленные, но не всегда внимание будет успевать на них переключиться.

Сравнительная сила разных опасных технологий

Далее, мы можем составить таблицу «силы» технологий, в которой каждая следующая даёт больший темп угроз и затмевает угрозы, создаваемые на предыдущем этапе. Временной фактор указывает здесь на длительность возможного процесса вымирания (а не время до созревания технологии).

1. Исчерпание ресурсов – десятилетия или столетия.

2. Масштабная ядерная война с применением кобальтовых бомб – с учётом медленного последующего вымирание – годы и десятилетия.

3. Биотехнологии – годы или десятки лет.

4. Нанороботы – от нескольких дней до нескольких лет.

5. Искусственный интеллект – от часов до нескольких лет

6. Взрыв на ускорителе – со скоростью света.

Соответственно, сценарии глобальной катастрофы будут с гораздо больше вероятность переходить с первых позиций этой таблицы на последние, иначе говоря, если в середине процесса исчерпания ресурсов вдруг начнётся многофакторная биологическая война, то процесс исчерпания ресурсов будет настолько медленным по сравнению с ней, что его можно не принимать во внимание. При этом наличие каждой более продвинутой технологии будет позволять минимизировать последствия катастрофы от более слабой. Например, развитые биотехнологии помогут добывать ресурсы и очистить мир от радиоактивного заражения. Нанороботы смогут защитить от любых биологических опасностей.

Последовательность возникновения различных технологий во времени

Приведённый выше список «силы» технологий в целом похож на ожидаемую временн;ю последовательность возникновения технологий в реальности, поскольку мы можем ожидать, что по ходу прогресса будут возникать всё более сильные технологии, но на самом деле не обязательно соответствует ей.

Последовательность возникновения различных технологий во времени является важнейшим фактором в определении того, какое нас ждёт будущее. Хотя благодаря NBIC-конвергенции успехи в одной технологии переходят на другие, для нас моментом созревания технологии является тот момент, когда с помощью неё становится возможным создать глобальный риск. И даже небольшое опережение здесь может играть решающее значение. Вообще, любая технология позволяет создавать щит и меч. По времени, щит обычно отстает, хотя, в конечном счёте, может оказаться сильнее меча. Подробнее о щитах мы поговорим далее. Кроме того, более сильная технология создаёт щит от более слабой.

Обычно ожидают следующую последовательность созревания технологий: био – нано – ИИ. Сильный искусственный интеллект является своеобразным «джокером», который может возникнуть и завтра, и через десять лет, и через 50 или вообще никогда. Биотехнологии развиваются достаточно поступательно в соответствии со своим «законом Мура», и мы в целом можем предсказать, когда они созреют до той точки, где можно будет производить каких угодно вирусов где угодно и как угодно дёшево. Это точно будет возможно через 10-30 лет, если некая катастрофа не прервёт развитие этих технологий. Опасный физический эксперимент может произойти почти мгновенно и независимо от других технологий – пока имеется высокий уровень технологий вообще. Приход к власти мощного ИИ значительно сократит вероятность такого события (но даже ИИ может ставить некие эксперименты).

Нанотехнологии находятся в значительно более зачаточной форме, чем биотехнологии и даже технологии ИИ. Первые опасные эксперименты с биотехнологиями были ещё в 1970-е годы (раковая кишечная палочка), а до ближайших опасных нанотехнологических экспериментов – ещё 10 лет как минимум, если не произойдёт какого-то технологического прорыва. То есть нанотехнологии отстают от биотехнологий почти на 50 лет. Внезапный прорыв может произойти или со стороны ИИ – он придумает как легко и быстро создать нанотехнологии или со стороны биотехнологий – или на пути создания синтетических организмов.

Сопоставление факторов риска разных технологий

Для каждой сверхтехнологии можно ввести фактор опасности Y=a*b, который отражает как вероятность возникновения этой технологии (a), так и вероятность её злонамеренного применения (b).

Например, ядерные технологии уже существуют (a=1), но контроль над их значительным применениям (полномасштабной войной или сверхбомбой) достаточно высок, поэтому вторая величина произведения мала. Для биотехнологий высока как вероятность их развития, так и вероятность их злонамеренного применения. Для ИИ эти величины нам неизвестны. Для нанотехнологий тоже неизвестна ни вероятность их создания (однако не видно принципиальных трудностей), а вероятность их злонамеренного применения аналогична вероятности для биологического оружия.

Кроме того, можно добавить фактор скорости развития технологии, который показывает, насколько она близка по времени. Линейное умножение здесь не вполне корректно, так как не учитывает тот факт, что опоздавшая технология полностью отменяется другими, а также нелинейный характер прогресса каждой технологии (как минимум экспонента). Чем дальше от нас технология, тем она безопаснее, так как больше шанс, что мы найдём способ безопасным образом управлять прогрессом и применением его плодов.

Качественно обобщая, можно сказать, что биотех получают самые высокие баллы по этой шкале – эта технология наверняка возможна, вредоносное её применение почти неизбежно и по времени она весьма близка к нам.

Нанотехнологии получают неожиданно низкий уровень угрозы. Неизвестно, возможны ли они, при этом они могут оказаться вполне безопасными и до момента их естественного созревания ещё довольно много времени. Если же они созревают неестественно, благодаря ИИ или биотехнологий, они оказываются в тени силы этих технологий: в тени угроз от биотехнологий, которые к тому моменту они могут создавать, – и в тени способностей ИИ к контролю, который сможет проконтролировать все случайные утечки нанотехнологий.

ИИ, будучи «двухсторонним джокером», может как предотвратить любые другие риски, так и легко погубить человечество. Сам момент возникновения ИИ является моментом полифуркации – так как в этот момент ему могут быть заданы цели, которые потом будет изменить невозможно. Медленное и более позднее возникновение ИИ связано с плавным перерастанием государства в гигантский всё-контролирующий компьютер. Более быстрое и ранее событие связано с внезапным изобретением в некой лаборатории машины, способной к самосовершенствованию, и нацеливанием её на захват власти на Земле. В этом случае она, скорее, создаст некие принципиально новые структуры связи и управления, а распространение её будет взрывным и революционным. Однако чем позже люди создадут ИИ, тем больше шанс, что они будут понимать, как правильно его запрограммировать, чтобы он на самом деле приносил благо людям. Однако, с другой стороны, чем позже он возникнет, тем вероятнее, что это сделает некий «хакер», так как сложность задачи с каждым годом упрощается. Е. Юдковски (в статье в приложении к этой книге) метафорически так выражает эту мысль: Закон Мура в отношении ИИ гласит, что с каждым годом IQ человека-конструктора, необходимый для создания ИИ, падает на одну единицу.

Основной развилкой, на мой взгляд, является то, удастся ли создать мощный ИИ до того, как сработает совместный эффект «добивания», вызванный системным кризисом, биотехнологиями, ядерной войной и другими факторами. Или же все эти события настолько ослабят человечество, что почти все учёные-специалисты по ИИ погибнут, или станут беженцами, и работы в этой области встанут. Ослабить исследования может даже простое разрушение Интернета, которое уменьшит информационный обмен и взрывной рост технологий. Эта развилка относится к событиям, которые я назвал «глобальные риски третьего рода» – см. далее.

Чем быстрее ускоряются технологии, чем больше скорости обмена, тем быстрее становятся все процессы внутри цивилизации, в том числе тем быстрее работают все симуляции виртуальной реальности. Это означает, что за год внешнего времени цивилизация может пройти сотни и тысячи лет «субъективного» времени, если считать по её внутренним часам. В силу этого вероятности любых внутренних рисков возрастают, и даже самые маловероятные события внутреннего характера могут успеть произойти. Поэтому для внешнего наблюдателя цивилизация становится крайне неустойчивой. Зато ускорение внутреннего времени делает цивилизацию гораздо более независимой от внешних рисков – с точки зрения внутреннего наблюдателя.

Вопрос в том, является ли человечество внешним или внутренним наблюдателем процессов ускорения. Определённо, значительная часть людей не участвуют в мировых процессах – треть людей в мире никогда не пользовалась телефоном. Тем не менее, они могут в равной мере с остальными людьми пострадать, если что-то пойдёт не так. Однако сейчас «золотой миллиард» в целом поспевает за прогрессом. Но в будущем возможна ситуация, когда прогресс оторвётся и от этих людей. Возможно, в него будет вовлечена группа ведущих учёных, а может, он полностью будет зависеть от компьютеров. Естественная человеческая инерция считается хорошим предохранителем от темпов прогресса. И трудно заставить людей менять компьютеры чаще, чем раз в несколько лет (но японцы приучены менять сотовые телефоны и одежду каждые три месяца), хотя экономическое давление очень велико и создаёт социальное давление – например, рекламный образ о том, что некий сотовый телефон уже недостаточно крут. Однако в случае вооружённого противостояния, гонка вооружения ничем не ограничена по темпу – побеждает более быстрый.

Цели создания оружия судного дня.

Опасный фактор глобальной катастрофы может возникнуть или случайно, или быть создан намеренно. (Однако возможна и комбинация этих двух моментов: случайным фактором могут воспользоваться намеренно, например, скрыв приближение опасного астероида, или наоборот, нечто, замышлявшееся как игра с низким риском глобальной катастрофы, выйдет из-под контроля.)

Часто возникают предположения, что некий дьявольский план никто не захочет реализовывать, и поэтому можно его не рассматривать. Это неверно. Во-первых, здесь применим статистический подход – рано или поздно нужные условия сложатся. Во-вторых, на Земле действительно есть группы людей и отдельные личности, которые хотят «конца света». Однако в целом это не относится к исламским террористам, потому что они хотят создать Всемирный Халифат, а не радиоактивную пустыню. (Но они могут быть готовы рискнуть по принципу «всё или ничего», например, создав машину судного дня и грозить её применить, если все страны мира одновременно не примут ислам. Но если другая секта одновременно создаст машину судного дня с требованием всем принять некую особенную форму буддизма, то ситуация действительно станет патовой, поскольку оба этих требования нельзя удовлетворить одновременно.) Важно отметить, что группа людей может гораздо дольше удерживать себя в состоянии настройки на некую идею, чем один человек, но зато группы реже формируются. Рассмотрим разные группы людей, которые могут стремиться к уничтожению человечества.

1) Эсхатологические секты. Пример: Аум Синрикё. Эта организация не только верила в близость наступления конца света, но и работала над его приближением, собиралась информация о ядерном оружии, вирусах и химических веществах. (Впрочем, есть разные теории о том, что именно делала и хотела Аум Синрикё, и выяснить окончательную правду не представляется возможным.) Теоретически опасны любые религиозные фанатики, выбирающие смерть. Например, старообрядцы часто предпочитали смерть новой вере. Такие фанатики полагают благом потусторонний мир или воспринимают Конец света как «обряд очищения». При этом возможна психологическая подмена, когда длительное ожидание чего-либо превращается в желание этого. Собственно, логическая цепь, приводящая от мирной медитации к разрушительной деятельности (за 10 лет примерно в случае Аум Синрикё) такова: «сначала осознаётся наличие иного мира. Затем осознаётся, что потусторонний мир важнее нашего, и главные цели лежат в нём. Из этого следует, что наш мир вторичен, создан высшим миром, а, следовательно, мал, конечен и неважен. Более того, наш мир полон препятствий, мешающих чистому течению медитации. Поскольку высший мир первичен, то он рано или поздно он прекратит существование нашего мира. Поскольку наша секта является богоизбранной, то она получает особо точные знания о том, когда именно случится завершение этого мира. И, удивительное совпадение, есть знаки, что это произойдёт очень скоро. Более того, уничтожив мир, наша секта выполнит волю бога» Это обладание сверхважным секретным знанием, естественно, обостряет чувство собственной важности членов секты, и используется для укрепления руководства в неё. Конец нашего мира будет означать соединение всех хороших людей с высшим миром. Знание близости неизбежного конца, осознание позитивности этого события и своей исключительной роли в этом важном событии приводит к осознанию, что секта должна не только знать и проповедовать о конце света, но и приближать это событие. (Психологически происходит замена долгого ожидания на стремление.) Кроме того, попутно можно расправиться со своими врагами и чувствовать себя победителями старого мира. (Я не хочу сказать, что точно знаю, что Аум Синрикё действительно рассуждала подобным образом. Однако элементы этого рассуждения можно обнаружить у самых разных групп, от христианских до революционных. И вовсе не все люди и группы, которые говорят о конце света, собираются его организовывать. Среди известных сект, ожидающих конца света: свидетели Иеговы и мормоны.)

2) Радикальные экологи. Примеры: Движение за добровольное вымирание человечества. (The Voluntary Human Extinction Movement – они считают полезным вымирание человечества, однако предлагают осуществить это путём отказа от размножения.) Такие группы считают благом мир природы и животных и полагают человечество – не без оснований – раковой опухолью на теле Земли, ведущей вымиранию всего живого. Также можно вспомнить радикальных вегетарианцев – «веганов», для которых жизнь животных не менее (а под час и более) важна, чем человеческая.

3) Нео-луддиты. Например, террорист Унабомбер (Теодор Качинский). Цель: возвращение в «совершенное» раннечеловеческое общество.

4) Озлобленные люди, движимые местью. Те, кто сейчас, например, расстреливают из автомата одноклассников. Но такие проекты всё же готовятся не годами, а обычно несколько дней. Хотя можно представить себе человека, который сошёл с ума на идее отомстить миру или Богу.

5) Бессознательное деструктивное поведение. Это может быть или неожиданный всплеск (разбить пробирку с ядом), или некая более тонкая ошибка в оценке собственных целей. Например, многие виды наркомании и экстремального поведения являются, по мнению психологов, скрытыми формами медленного «самоубийства» (саморазрушительное поведение). Потребность в самоубийстве, возможно, записана у человека на генетическом уровне и вызывается в ответ на отвержение его обществом (например: сепуко самураев; собака, умирающая от одиночества; алкоголизм от одиночества).

6) «Геростраты». Понятно, что не перед кем будет прославиться, если разрушить весь мир, но, уничтожая его, можно на секунду почувствовать себя «великим человеком». Фактически, это будет извращённое проявление стремления к власти.

7) Шантажисты, создавшие «машину судного дня». Это могут быть люди, выдвигающие какие угодно политические или экономические требования под угрозой полного уничтожения всего мира. Поэтому их может быть особенно трудно поймать, так как их «машина» может находиться в любом месте.

8) Универсальное оборонительное оружие последнего выбора. Вместо того чтобы создавать ядерный щит из ракет, некая страна может создать одну сверхмощную ядерную бомбу с кобальтовой оболочкой и угрожать её взорвать в случае вооружённой агрессии. Это немногим менее рационально, чем концепция «взаимного гарантированного уничтожения», ради которой созданы Стратегические ядерные силы. И это похоже на поведение человека, который подрывает себя гранатой вместе с неприятелем – а ведь правители тоже пока люди. Тем более что такое оружие создаётся не для того, чтобы его применять, а чтобы угрожать им. Концептуально это близко идее «глобального шантажа».

9) Рискованное поведение, дающее большой выигрыш или проигрыш. Например, это может быть некий физический или биологический эксперимент. Это может быть отягчено нежеланием и неспособностью людей оценить масштабы и вероятность проигрыша в наихудшем случае. Пример: внешняя политика Рейгана в противостоянии с СССР.

10) Потребность в риске для сильных переживаний, азарт. Люди проигрывали поместья в карты не для того, чтобы изменить своё имущественное положение, а потому что испытывали потребность в острых переживаниях риска. Сейчас это проявляется в экстремальных видах спорта.

11) Сторонники вытеснения людей более совершенным искусственным интеллектом. В Интернете есть люди, продвигающие эту идею. Радикальные трансгуманисты тоже могут, даже против своей воли, попасть в это число.

12) Люди, полагающие смерть лучшей альтернативой чему-либо. Один американский генерал во Вьетнаме сказал про убитых жителей одной деревни: «Чтобы спасти их, нам пришлось их уничтожить».

13) Самоубийцы. Если человек нашёл достаточные основания, чтобы убить себя, он может не пожалеть и остальной мир. Пример: Итальянский пилот, который врезался в башню Пирелли в Милане на частном самолёте 12 марта 2002 года. Клиническая депрессия может проявляться в том, что человек начинает испытывать интерес к проблемам конца света, а затем и желать его, чтобы он скорее наступил. Отсюда один шаг до активной помощи в этом процессе.

14) Шизофреники, испытывающие навязчивые идеи. Например, один человек в середине ХХ века в США, обнаружив, что дата его рождения совпадает с датой землетрясения в Сан-Франциско, пришёл к выводу, что если он будет убивать людей, то таким образом будет предотвращать землетрясения. Бред при шизофрении заставляет человека обнаруживать не существующие в природе взаимосвязи. Кроме того, они часто слышат голоса, которые подчиняют их себе. Мы не можем предсказать, какого рода бред приведёт к выводу о том, что Землю надо уничтожить. При этом интеллектуальные способности при шизофрении не снижаются настолько, чтобы сделать невозможной реализацию долгосрочных эффективных стратегий. Хотя специальные тесты могут доказать наличие шизофрении, внешне она не всегда очевидна. Более того, в отличие от невроза, она не осознаётся самим человеком. Утрата способности сомневаться – одно из наиболее серьёзных проявлений шизофрении. Шизофрения может быть «заразной» в виде религиозных сект, тиражирующих некие бредовые идеи.

15) Борцы за мир. В истории неоднократно сверхоружие создавалось с той мыслью, что теперь оно сделает войны невозможными. С такой целью был создан динамит, с этой же идеей была придумана кобальтовая бомба.

Человеком всегда движет несколько побуждений, только часть из которых осознана. По моим подсчётам, часто до 10 разных желаний и целей должны были объединиться, чтобы я принял некое решение – то есть, чтобы сформировался достаточный всплеск мотивации. При этом специальные психологические процедуры для выявления скрытых целей применяются редко, и большинству людей неизвестны. Поэтому легко ожидать, что перечисленные мотивации могут действовать совместно, скрытно, нелинейно интерферируя и давая неожиданный громадный всплеск, волну-убийцу.

Социальные группы, готовые рискнуть судьбой планеты

Вероятно, надо отдельно составить список социальных групп, которые стремятся к крушению и смене мирового порядка. И ради этого или готовы пойти на риск всеобщего уничтожения, или могут его создать, не осознавая этого. Например, Рональд Рейган предпринял Крестовый поход против СССР, но он понимал, что в процессе этого противостояния риск катастрофически опасной войны возрастает.

1) Мировые державы, борющиеся за господство в мире. Это могут быть или первые державы, теряющие власть и вынужденные «атаковать под угрозой утраты преимущества», или державы-претенденты на мировое господство, выбирающие радикальные и рискованные методы достижения своих целей. Психология этих процессов остаётся на уровне борьба за место альфа-самца в обезьяньей стае, которая, однако, довольно жёстко детерминирована природой естественного отбора.

2) Утопические социальные движения, стремящиеся к великим целям, например, радикальные коммунисты или религиозные организации.

3) Различные национальные, экономические, политические силы, которые не получают «своей доли» в нынешнем мироустройстве или ожидают утраты своих позиций в будущем.

4) Можно назвать также разных сторонников «поэзии апокалипсиса», любителей компьютерных игр в духе Fallout, которых привлекает эта идея, и значит, бессознательно – а иногда и сознательно – они этого и хотят.

5) Люди, живущие по принципу «после нас хоть потоп», то есть не то, что бы желающие глобальной катастрофы прямо, но предпочитающие действия, которые приносят благо в краткосрочной перспективе, но несут колоссальный вред в долгосрочной. Это состояние может особенно обостряться в связи с осознанием неизбежности собственной смерти, присутствующим у каждого человека, и сильнее всего проявляющимся в периоды риска и старости. (Модель поведения: седина в бороду – бес в ребро.)

6. Отдельно можно выделить всё то непонимание природы и вероятности глобальных катастроф, которое мы обсуждали в первой части.

Обобщающий коэффициент, связанный с человеческим фактором

Чтобы учесть разнообразие человеческих мотиваций, можно ввести некий обобщённый вероятностный коэффициент k. Этот коэффициент означает, грубо говоря, шансы на то, что пилот самолёта направит свой самолёт на таран, или, говоря в общем случае, долю людей, которые решат применить доступную им технику для уничтожения себя и других людей. Мы так же не учитываем здесь различие между заранее подготовленными и спонтанными действиями. Например, если в некой стране у каждого в доме есть оружие, то будет некое среднее число его незаконных применений. Это число крайне мало. Допустим, (далее идет чисто предположительные оценки, с точностью до порядка), этот коэффициент может составлять для США (где 35 миллионов стволов на руках и высокий уровень преступности) одну миллионную в день, а для Швейцарии, если взять единственный случай расстрела парламента в Цуге – одну миллиардную. Для авиации мы получим, если поделить примерное число всех совершённых вылетов пассажирских авиалайнеров (порядка миллиарда) на число самолётов, захваченных террористами для атак 11 сентября (4) – 1/250 миллионную. При уровне самоубийств в 1 процент этот коэффициент в пересчёте на человека на день будет равен примерно одной миллионной. В мире около миллиарда компьютеров, и каждый день выходят десятки новых вирусов, что даёт k = 1/10 000 000, то есть только один из десятков миллионов пользователей производит бессмысленные и опасные вирусы (но коммерческое нелегальное spyware могут производить и большее число людей).

Мы видим, что при разных условиях k в пересчёте на один «проект» на один день колеблется между одной миллионной и одной миллиардной. Верхней безопасной оценкой будет одна миллионная, тогда как наиболее реальной оценкой, может быть, одна сто миллионная.

Не следует думать, что если мы раздадим ключи от запуска ракет нескольким людям, то мы понизим шансы опасного сумасшествия в миллион миллионов раз, поскольку бредовые идеи бывают заразными. Кроме того, дежурные одной из станций запуска ракет в США признались, что они от скуки придумали систему из ножниц и верёвочки, позволяющих повернуть одному человеку два ключа запуска одновременно . То есть системы запуска можно обойти хитростью.

Кроме того, сумасшествие может носить тонкий и неочевидный характер, и плавно переходить из области психиатрии в область просто неверных решений. Оно не обязательно означает, что человек вдруг нажмёт «красную кнопку». В случае паранойи это может быть совокупность очень логичных и убедительных построений, способных убеждать других людей в необходимости предпринимать немного более рискованных действий, чтобы защитится от мнимых угроз. «Сумасшествие» может проявляться и в отказе от действий в решительный момент. Это может быть излишнее упорство в некоторых заблуждениях, которые приведут к цепочке неверных решений.

Выводы: всегда найдутся люди, которые будут хотеть уничтожить мир, и поэтому нужно рассматривать всерьёз все сценарии, где кто-то может долго и упорно работать, чтобы этого достичь.

Принятие решения о ядерном ударе

Важным является вопрос, может ли сумасшествие одного человека привести к «нажатию красной кнопки». Этот вопрос относительно изучен применительно применению ядерного оружия, но аналогичным образом будет возникать при появлении любых других видов опасного оружия, технологий и машин судного дня. При этом важно знать, в чьих руках находится «красная кнопка» – только ли высшего руководства или в руках определённой группы исполнителей: понятно, что чем шире круг операторов, которые имеют доступ к применению оружия, тем риск выше.