Текст книги "Российская Академия Наук"

Автор книги: Алексей Турчин

сообщить о нарушении

Текущая страница: 1 (всего у книги 36 страниц)

А.В. Турчин

Структура глобальной катастрофы

Предисловие

Риск существованию – это тот риск, в котором негативный исход или уничтожает возникшую на Земле разумную жизнь, или необратимо и значительно сокращает её потенциал.

Н. Бостром. «Угрозы существованию: анализ сценариев человеческого вымирания».

Если в ХХ веке возможность вымирания человечества связывалась только с угрозой глобальной ядерной войны, то в начале XXI мы можем без труда называть более десяти различных источников рисков необратимой глобальной катастрофы, в основном создаваемых развитием новых технологий, и число это постоянно растёт. Исследование этого вопроса странным образом отстаёт от многих других, более частных вопросов, что видно хотя бы по количеству общих работ на эту тему. (Что, видимо, является естественным свойством человеческой натуры: в своё время Дейл Карнеги жаловался, что в библиотеке много книг о червях (worm), но нет книг о «беспокойстве» (‘worry’).) Проблемы исчерпания нефти, будущего китайской экономики или освоения Космоса привлекают гораздо больше внимания, чем необратимые глобальные катастрофы, а исследования, в которых разные виды глобальных катастроф сопоставляются друг с другом, встречаются реже, чем предметные дискуссии по отдельным рискам. Однако бессмысленно обсуждать будущее человеческой цивилизации до того, как будет получена разумная оценка её шансов на выживание. Даже если в результате такого исследования мы узнаем, что риск пренебрежимо мал, в любом случае важно этот вопрос изучить. Однако, к сожалению, сразу могу сказать, что мы не получим этого результата. Сэр Мартин Рис оценивает шансы выживания человечества в XXI веке как 50 на 50, и я склоняюсь к тому, что это вполне обоснованная оценка.

Предлагаемая читателю книга «Структура глобальной катастрофы» посвящена мало освещённой в отечественной литературе теме: систематическому обзору «угроз существованию», то есть рискам необратимой гибели всей человеческой цивилизации и вымирания человека. Цель этой книги – дать широкий и максимально достоверный обзор темы. При этом, однако, книга носит дискуссионный характер. Она призвана не столько дать окончательные ответы, сколько подтолкнуть мысль читателя и создать почву для дальнейших обсуждений. Многие высказанные гипотезы могут показаться излишне радикальными. Однако, говоря о них, я руководствовался «принципом предосторожности», который рекомендует рассматривать наихудший из реалистических сценариев, когда речь идёт об обеспечении безопасности. Критерием реалистичности сценариев для меня является то, что они могут возникнуть при сохранении нынешнего темпа развития технологий в течение XXI века и не нарушают известные законы физики.

Исследование характера глобальных рисков и их вероятностная оценка необходимы, чтобы определить, насколько велика угроза и какие меры следует принять в отношении неё. И хотя возможные меры в этой книге обсуждаются, здесь вы не найдёте универсального рецепта избавления от глобальных рисков. Однако книга не должна внушить читателю ощущение неизбежности гибели. Автор полагает, что, несмотря на трудности и риски, ожидающие человечество в XXI веке, люди имеют шанс выжить и, более того, построить более совершенный мир. Однако выживание является необходимым условием для любого совершенного мира. Опять же, в этой книге мы не обсуждаем то, каким бы мог быть совершенный мир, в котором новые технологии использованы во благо плюс, а не для разрушения.

В этом томе вы найдёте мою монографию «Структура глобальной катастрофы», а также три статьи в приложении к ней, необходимые для более ясного понимания темы. Монография распадается на две большие части – методологии анализа и собственно исследования рисков. Методология состоит в основном из критического анализа способности человеческого мышления к предсказанию и оценке глобальных рисков. (Более ранняя версия части, посвящённой методологии, вышла в сборнике Института системного анализа РАН в виде статьи «О возможных причинах недооценки глобальных рисков» .) Эта методология может быть полезна, с небольшими изменениями, и в любых других футурологических исследованиях. В разделе о методологии даётся ряд рекомендаций о том, как именно следует осуществлять анализ рисков. Разбор конкретных рисков во второй части состоит из максимального подробного перечня различных угроз со ссылками на источники и критического анализа. Затем исследуются системные эффекты взаимодействия разных рисков, обсуждаются способы вероятностной оценки глобальных рисков и другие связанные с этим вопросы.

В материалах, прилагаемых к книге, следует, в первую очередь отметить новаторскую статью американца Е. Юдковски «Искусственный интеллект как позитивный и негативный фактор глобального риска», переведённую мной на русский язык. Эта статья выходит в научном сборнике «Риски глобальной катастрофы» , который издаётся университетским издательством Оксфорда в этом году под редакцией Ника Бострома и Милана Чирковича. Е. Юдковски – ведущий научный сотрудник Сингулярити института в Калифорнии, который занимается разработкой системы универсального искусственного интеллекта и проблемами его безопасности («дружественности»). Он написал несколько больших текстов о проблемах создания систем ИИ и обеспечения их дружественности, ввёл концепцию саморазвивающегося Семени ИИ (Seed AI), много писал о проблемах футурологии и возможной Технологической Сингулярности – резкого ускорения технологий в будущем. Его институт разработал «SIAI рекомендации по созданию дружественного ИИ», которые претендуют на то, чтобы стать отраслевым стандартом в безопасности ИИ.

Ник Бостром – шведский учёный и философ, возглавляющий институт «Будущее человечества» в Оксфорде, автор исследований по этике, теории вероятностей, футурологии и философии, неоднократно публиковался в ведущих реферируемых научных журналах Mind, Nature и др. Часть его работ по теории вероятностей посвящена малоизвестному в России логическому парадоксу, называемому Doomsday argument, название которого мы будем переводить как «Теорема о конце света». Есть много разных мнений о её истинности, ложности и границах применимости, однако нам кажется важным ознакомить читателя с этим направлением современной мысли. Поэтому в приложении добавлена статья Ника Бострома «Введение в теорему о конце света для начинающих». Хотя научное сообщество с осторожностью рассматривает эту проблему, статьи о ней публикуются в американском журнале Nature в разделе гипотезы, что говорит об определённом уровне признания.

Наконец, научный сотрудник Института системного анализа РАН, кандидат наук А.А. Кононов в своей статье «Идеологические начала общей теории неуничтожимости человечества» подходит к проблеме глобальных рисков с точки зрения стратегии, а именно, необходимости реализации задачи «неуничтожимости человечества». Нам кажется важным опубликовать здесь эту статью, потому что она показывает возрастающий интерес среди российских учёных к проблемам глобальных рисков.

Имеет ли смысл вообще писать по-русски о глобальных катастрофах, или роль нашей страны в них слишком незначительна? Я думаю, что имеет, по следующим причинам:

1. Эта тема мало освещена в русскоязычной литературе и отдана на откуп разного рода сектантам и проповедникам апокалипсиса. Основные исследования не переведены (за исключением около 10 статей по проблеме, которые я перевёл в 2006-2007 годах). Открытое обсуждение этих вопросов может быть интересно не только специалистам, но и широкой публике.

2. Технологическое отставание России не настолько велико, чтобы служить гарантией того, что у нас не могут быть разработаны опасные технологии и созданы опасные изделия на их основе. Наоборот, РФ обладает техническим потенциалом для развития многих видов опасных технологий, в первую очередь, в области ядерного оружия и биологического. Также есть группы, работающие в области ИИ. Проводятся и высокоэнергетичные физические эксперименты.

3. Россия неоднократно в истории или опережала мир в важных технологических разработках (спутник, первый человек в космосе), или доводила их до масштабного предела («Царь-бомба»). Кроме того, на территории СССР произошли некоторые самые опасные в истории катастрофы (Чернобыль).

4. Безответственность и коррупция, влияющие на организацию производства («авось», «откат», ориентация на краткосрочную выгоду) после распада СССР привели к тому, что вопросам безопасности не уделяется достаточно внимания. Г.Малинецкий в своих книгах и докладах рисует бедственную картину в области предотвращения техногенных катастроф в РФ. Глобальные катастрофы привлекают ещё меньше внимания.

5. Информация о рисках, связанных с создаваемыми на Западе новыми технологиями, проникает в массовое сознание медленнее, чем сами технологии, и большая часть работ на тему глобальных рисков до сих пор не переведена на русский язык.

6. Отсутствие жёсткого контроля позволяет существовать большому числу нелегальных разработчиков компьютерных программ («русские хакеры»), и может быть крайне опасно, если тоже самое произойдёт в области биотехнологий.

7. РФ унаследовала мощные геополитические противоречия и комплекс неполноценности от распада СССР («постимперский синдром»), что может способствовать осуществлению опасных проектов.

8. Публикации на русском могут оказать позитивное влияние на зарубежную науку и общественное мнение, увеличивая «насыщенность среды» информацией о глобальных рисках. Уникальные наработки российских исследователей могут внести свой вклад в общее дело спасения мира и цивилизации. Русскоязычная литература будет доступна и в странах СНГ. Кроме того, переводы на русский язык повышают статус зарубежных авторов. Многие русские студенты в будущем будут учиться или работать в зарубежных учреждениях, перенося накопленные в нашей стране знания. Есть довольно значительная группа зарубежных исследователей, читающих по-русски или русского происхождения.

9. Россия может оказаться в обстоятельствах, когда её само существование, как части большого мира, окажется зависящим от внешних к ней обстоятельств, и станет необходимым быстрое принятие адекватное решений в условиях острой недостаточности информации. В этом случае возникнет потребность в информации и людях. Необходимо ясное понимание правительствами разных стран природы глобальных рисков.

10. Широта и свобода мировоззрения, как я надеюсь, свойственная мыслителям в России, может дать новый взгляд на общечеловеческие проблемы, открыть новые уязвимости и указать на новые пути предотвращения глобальных рисков.

11. Если Россия позиционирует себя в качестве великой державы, развивает нанотехнологии, собирается участвовать в проекте полёта на Марс и т. д., то она должна играть ответственную роль в обеспечении безопасности всего человечества.

Многое, сказанное о РФ здесь, относится и к другим странам, например, к Индии и Китаю, где технологии быстро развиваются, а культура предотвращения рисков тоже низка.

Описывая возможные глобальные риски, я не мог не нарисовать определённую картину будущего человечества, слдовательно, перед вами – футурологическая работа.

А.В.Турчин

Вводное слово Ника Бострома.

Множество академических учёных тратит массу времени, думая о множестве вещей. К сожалению, угрозы человеческому виду всё ещё не являются одной из них. Мы должны надеяться, что эта ситуация изменится, и возможно, эта книга стимулирует больше исследований по этой проблеме.

Я пытался исследовать различные аспекты этой проблемы, но исследования угроз существованию всё ещё находятся в зачаточном уровне. Я вижу эти проблемы как важную часть огромной задачи, стоящей перед нами. По мере роста наших технологических и экономических возможностей, и по мере роста нашего научного понимания, мы должны всё более тщательно и критически размышлять о по-настоящему масштабных вопросах, стоящих перед человечеством. Мы должны подойти к этим вопросам по крайней мере с тем же уровнем внимания к деталям и аналитической строгостью, каких мы ожидаем от научных исследований способов размножения навозной мухи или строения колец Сатурна. Мы знаем, что откровения об этих малых вещах приходят не из воздуха, и нам не следует ожидать, что мудрость о больших проблемах будет достигнута проще. Но если мы предпримем усилия, и если мы постараемся быть интеллектуально честными и если мы используем огромное количество уже накопленных релевантных научных знаний, мы вероятно, достигнем определённого прогресса с течением времени. И это будет существенным вкладом во благо человечества.

Ник Бостром, Оксфорд, 7 декабря 2007 года.

Люди, львы, орлы и куропатки, рогатые олени, гуси, пауки, молчаливые рыбы, обитавшие в воде, морские звезды и те, которых нельзя было видеть глазом,– словом, все жизни, все жизни, все жизни, свершив печальный круг, угасли... Уже тысячи веков, как земля не носит на себе ни одного живого существа, и эта бедная луна напрасно зажигает свой фонарь. На лугу уже не просыпаются с криком журавли, и майских жуков не бывает слышно в липовых рощах. Холодно, холодно, холодно. Пусто, пусто, пусто. Страшно, страшно, страшно.

А.П.Чехов. «Чайка»

Введение.

Хотя книг с общим обзором проблемы глобальных рисков издано в мире немного, уже наметилась определённая традиция в обсуждении предмета. Она состоит из обсуждения методологии, классификации возможных рисков, оценки их вероятности, способов защиты и затем обзора логических парадоксов, связанных с этой проблемой, а именно, «теоремы о конце света» (Doomsday argument). Наиболее существенных современных источника по проблеме три. Это – книга астрофизика Дж. Лесли «Конец света. Наука и этика человеческого вымирания» , 1996, сэра Мартина Риса «Наш последний час» , 2003, и сборник статей под редакцией Ника Бострома «Риски глобальной катастрофы» , 2008. (Более подробно мы обсудим имеющуюся литературу в главе «Историография», в том числе упомянем и работы советских и российских авторах, писавших о глобальных рисках, в первую очередь Моисеева, однако перечисленные три книги будут нашими основными опорными точками, на которые мы будем часто ссылаться и дискутировать с ними.)

Если в книге Лесли проблеме теоремы о конце света уделено более 100 страниц, так как это было одно из первых изложений её для широкой публики, то сборник статей Бострома украшает методологическая, по сути, статья Е. Юдковски «Систематические ошибки в оценке глобальных рисков». Тем не менее, предлагаемая читателю книга значительно отличается от книг предшественников, в первую очередь широтой обзора. Например, в статье Юдковски обсуждается, хотя и очень подробно, только 10 возможных систематических ошибок, влияющих на оценку глобальных рисков, тогда как в предлагаемой книге предпринимается попытка составить их полный список, и число пунктов в нём имеет порядок 150. Также и в разделе, посвященном классификации рисков, упоминаются многие риски, о которых нет речи ни в одной из трёх книг. Если посчитать все возможные риски, включая подкатегории и составные риски, то их число тоже легко может перевалить сотню, что превышает сумму из 15 рисков, обсуждаемых Бостромом в статье «Угрозы существованию». Наконец, пересказывая разные варианты теоремы о конце света, я предлагаю их классификацию, которой нет в известных мне зарубежных источниках. Особенностью предлагаемой книги является подробный критический обзор разных средств защиты от глобальных рисков. Как мне кажется, высказано много существенных идей, которых нет в известных мне зарубежных источников. Это делает книгу интересной не только российскому, но и зарубежному читателю. Наконец, я стремился дать системный взгляд на проблему, который бы позволил оторваться от перечислений различных рисков и увидеть то общее, что есть в каждом из них, а также то, как разные риски, соединяясь, могут образовывать своего рода структуру. Именно этим объясняется выбор названия книги.

Этот текст адресован любым будущим и существующим организациям, которые будут предотвращать глобальные катастрофы или по роду своей деятельности сталкиваться с ними, включая различные правительства, исследовательские институты, спецслужбы, военных и неправительственные фонды, их руководителям и сотрудникам, а также футурологам, молодым учёным и всем, кому интересно будущее человечества. Цель этого текста – обрисовать пространство возможностей глобальной окончательной катастрофы. Под глобальной окончательной катастрофой я имею в виду событие, которое, согласно определению Ника Бострома, «истребит разумную жизнь на Земле или необратимо повредит её потенциал». Полное вымирание всех людей является наиболее вероятной формой такого события, и дальше по тексту под словами «глобальная катастрофа» будет иметься в виду именно это событие.

Термины

В этой работе ряд общеупотребительных терминов употребляется в следующих значениях (подробнее каждый термин будет разъяснён в тексте):

ИИ – Универсальный Искусственный Интеллект, способный к самосовершенствованию и любой интеллектуальной деятельности, доступной человеку

Глобальная катастрофа – событие, приводящее к необратимому вымиранию всех людей. События, которые затрагивают весь мир, но не приводят к тотальному вымиранию, называются в этом тексте «очень большими катастрофами».

Постапокалиптический мир – то, чем может стать Земля, в случае, если на ней произойдёт очень большая катастрофа, однако какое-то число людей выживет.

Машина судного дня, оружие судного дня – любое устройство, вещество или способ, которые разработаны специально для окончательного и необратимого уничтожения человечества.

Агент – вещество, вирус, бактерия или любой другой распространяющийся фактор воздействия, причиняющий смерть.

Сингулярность – гипотетическая точка во времени в районе 2030 года, когда ряд прогностических кривых уходят в бесконечность. Связывается с крайне быстрым ростом технического прогресса, особенно компьютеров, нано и био технологий, исследований мозга и систем ИИ и предполагает качественное изменение человечества. Термин введён в употребление Вернором Винджем в 1993 году.

Закон Мура – исходно относится к удвоению числа транзисторов на микропроцессорах каждые два года. Говоря о законе Мура мы будем иметь в виду закон Мура в широком смысле слова, как процесс экспоненциального роста ряда ключевых технологий с периодом удвоения в несколько лет.

Ошибки – по-английски это называется ‘cognitive biases’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения».

Структура катастрофы – взаимосвязь научных заблуждений, операторских ошибок и цепной реакции факторов разрушения, ведущих к катастрофе.

NBIC-конвергенция – означает наблюдающуюся в современной науке тенденцию к слиянию и обмену информацией, методами и результатами между четырьмя ключевыми технологиями nano-bio-info-cogno.

Часть 1. Анализ рисков

1.Общие замечания

Пространство возможностей

В этой части мы очертим и проанализируем «пространство возможностей», в котором может произойти глобальная катастрофа. «Пространство возможностей» – термин, восходящий к книге «Фантастика и футурология» Станислава Лема. Он противопоставляется представлениям об отдельных сценариях и возможностях. Лем приводит следующие сравнения для пояснения этого термина: хотя количество возможных шахматных партий бесконечно, само описание правил игры и основных принципов стратегии занимает конечный объём и умопостигаемо. В качестве примера он приводит пространство возможностей Холодной войны, которое было задано появлением определённой технологии, и внутри которого разворачивались те или иные сценарии противостояния: Карибский кризис, гонка вооружений и т. д. Описание сценариев практически бесполезно, так как, хотя каждый может быть очень интригующим, вероятность его реализации крайне мала. Чем больше в сценарии конкретных деталей, тем менее он вероятен – хотя видимость правдоподобия от этого возрастает. Вместе с тем анализ отдельных сценариев даёт нам срез пространства возможностей, и потому полезен.

Один из важнейших способов достижения безопасности – это учёт всех возможных сценариев в соответствии с их вероятностями, построение «древа отказов». Например, безопасность авиатранспорта достигается, в частности, за счёт того, что учитываются всевозможные сценарии катастрофы вплоть до определённого, точно вычисленного уровня риска. Описание пространства возможностей глобальной катастрофы преследует цель её предотвращения. Следовательно, оно должно сосредоточиться на тех узловых точках, управление которыми позволит регулировать риск как можно большего числа возможных катастрофических сценариев. Кроме того, оно должно дать информацию, удобную для осмысления и пригодную для практического использования – и желательно, чтобы эта информация была бы адресно адаптирована для тех потребителей, которые будут осуществлять непосредственное предотвращение глобальных рисков. Однако задача определения этих потребителей сама по себе не проста.

Обратите внимание, что при чтении одним моменты могут показаться вам очевидными, другие интересными, а третьи – вопиющими глупостями. Обратите также внимание, насколько будет отличаться ваша реакция от реакции других, не менее образованных, чем вы, людей. Этот разброс оценок есть, на самом деле, мера неопределенности в том, что мы знаем и можем знать о будущем.

Вся информация взята из открытых источников, доступных в Интернете.

Рассматриваемый промежуток времени: XXI век

В этой книге анализируются риски существованию человечества, которые могут возникнуть и реализоваться в течение XXI века. За этой границей неопределённость настолько велика, что мы не можем ничего ни предсказать, ни предотвратить. Более того, возможно, даже граница в 2100 году является слишком отдалённой (см. далее о пике прогностических кривых в районе 2030 года). Но некоторые сценарии имеют определённые последствия, которые могут сказаться после XXI века (например, глобальное потепление), и в этом случае мы обсуждаем их. Эта граница позволяет нам не рассматривать в качестве рисков глобальной катастрофы отдалённые во времени космические события, вроде превращения Солнца в красного гиганта. И взята эта граница не случайно. Именно 100 лет являются характерным сроком для глобальных катастроф, а не 1 год, не 10 лет и не 1000 – это станет очевидным из дальнейшего анализа конкретных рисков.

Иначе говоря, любые комбинации из приведённых ниже сценариев глобальной катастрофы могут реализоваться в течение нескольких десятков лет. Однако поскольку я понимаю, что моя оценка времени содержит неустранимую ошибку, я расширяю её до 100 лет. (Разницу между 2108-ым годом – 100 лет от настоящего момента – и 2100-ым годом – конец XXI века – мы не будем принимать во внимание, кроме специально оговоренных случаев.)

Однако моя оценка времени может содержать и ошибку в обратную сторону, что означает, что у нас нет ни ста лет, ни 20, а только несколько лет до того момента, когда вероятность глобальной катастрофы достигнет максимума. (Поскольку погодовая вероятность глобальной катастрофы растёт, и поскольку так не может продолжаться вечно, то эта плотность вероятности имеет некий горб, который означает момент времени, когда вероятность этой катастрофы максимальна – о том, будет ли он через несколько лет, через 23 года или через 100 лет и идёт разговор. Подробнее этот вопрос будет обсуждаться в главе «о достижении устойчивого состояния».) Разумеется, есть вероятность, что она случится и завтра, однако я рассматриваю её как незначительную.

Фактически, говоря о XXI веке в целом, я, возможно, внушаю ложное чувство спокойствия, так как есть класс источников глобальных рисков, вероятность появления которых значительно возрастёт в ближайшие 10-20 лет. Речь идёт в первую очередь об опасных приложениях биотехнологий (см. дальше в соответствующей главе). Поэтому возможно, следовало бы говорить о первой половине века. Иначе говоря, глобальные катастрофы могут случиться не с некими абстрактными нашими потомками, а с нами. Я допускаю, что для живущего сейчас обычного человека шанс умереть от глобальной катастрофы выше, чем вероятность естественной смерти.

Проблемы численного вычисления вероятностей различных сценариев

Начну с цитаты из эссе «О невозможности прогнозирования» С. Лема: «Здесь автор провозглашает тщетность предвидений будущего, основанных на вероятностных оценках. Он хочет показать, что история сплошь состоит из фактов, совершенно немыслимых с точки зрения теории вероятностей. Профессор Коуска переносит воображаемого футуролога в начало XX века, наделив его всеми знаниями той эпохи, чтобы задать ему ряд вопросов. Например: «Считаешь ли ты вероятным, что вскоре откроют серебристый, похожий на свинец металл, который способен уничтожить жизнь на Земле, если два полушария из этого металла придвинуть друг к другу, чтобы получился шар величиной с большой апельсин? Считаешь ли ты возможным, что вон та старая бричка, в которую господин Бенц запихнул стрекочущий двигатель мощностью в полторы лошади, вскоре так расплодится, что от удушливых испарений и выхлопных газов в больших городах день обратится в ночь, а приткнуть эту повозку куда-нибудь станет настолько трудно, что в громаднейших мегаполисах не будет проблемы труднее этой? Считаешь ли ты вероятным, что благодаря принципу шутих и пинков люди вскоре смогут разгуливать по Луне, а их прогулки в ту же самую минуту увидят в сотнях миллионов домов на Земле? Считаешь ли ты возможным, что вскоре появятся искусственные небесные тела, снабженные устройствами, которые позволят из космоса следить за любым человеком в поле или на улице? Возможно ли, по-твоему, построить машину, которая будет лучше тебя играть в шахматы, сочинять музыку, переводить с одного языка на другой и выполнять за какие-то минуты вычисления, которых за всю свою жизнь не выполнили бы все на свете бухгалтеры и счетоводы? Считаешь ли ты возможным, что вскоре в центре Европы возникнут огромные фабрики, в которых станут топить печи живыми людьми, причем число этих несчастных превысит миллионы?» Понятно, говорит профессор Коуска, что в 1900 году только умалишенный признал бы все эти события хоть чуточку вероятными. А ведь все они совершились. Но если случились сплошные невероятности, с какой это стати вдруг наступит кардинальное улучшение и отныне начнет сбываться лишь то, что кажется нам вероятным, мыслимым и возможным? Предсказывайте себе будущее, как хотите, обращается он к футурологам, только не стройте свои предсказания на наибольших вероятностях...»

Предлагаемая картина глобальных рисков и их взаимодействия друг с другом вызывает естественное желание вычислить точные вероятности тех или иных сценариев. Очевидно также, что при этом мы сталкиваемся со значительными трудностями. Связано это с принципиальной недостаточностью информации в наших моделях, несовершенством самих моделей а также с хаотическим характером всей системы. С другой стороны, отсутствие каких-либо оценок нивелирует ценность построений. При этом получение неких численных оценок само по себе тоже бессмысленно, если мы не знаем, как мы их применим. Допустим, мы выясним, что вероятность возникновения опасного недружественного ИИ составляет 14 % в ближайшие 10 лет. Как нам применить эту информацию? Или, если всё-таки случится катастрофа, имевшая исходную вероятность в 0,1 %, мы всё равно не узнаем, какова была её исходная вероятность.

Я исхожу из того, что оценки вероятности нужны для последующего принятия решений – о том, каким проблемам стоит уделить внимание и ресурсы, а каким можно пренебречь. Однако цена предотвращения разных классов проблем различна – одни предотвратить относительно легко, а другие фактически невозможно. Поэтому для вычисления вероятностей мы будем пользоваться байесовой логикой и теорией принятия решения в условиях неопределённости. Получившиеся в результате числа будут не реальными вероятностями (в смысле статистическими распределениями разных глобальных рисков по множеству возможных будущих планеты), которые нам неизвестны, а нашими наилучшими субъективными оценками этих вероятностей.

Далее, такое вычисление должно учитывать временную последовательность разных рисков. Например, если риск А имеет вероятность в 50 % в первой половине XXI века, а риск Б – 50 % во второй половине XXI века, то реальные наши шансы погибнуть от риска Б – только 25 %, потому что в половине случаев мы до него не доживём.

Наконец, для разных рисков мы хотим получить погодовую плотность вероятности. Напомню, что здесь должна быть применена формула непрерывного нарастания процентов, как в случае радиоактивного распада. (Например, погодовой риск в 0,7 % даст 50 % вымирания за 100 лет, 75% за 200 и 99,9% за 1000 лет.) Это означает, что любой риск, заданный на неком промежутке времени, можно нормировать на «период полураспада», то есть время, на котором он бы означал 50% вероятность вымирания цивилизации.

Иначе говоря, вероятность вымирания за период времени [0; T] равна:

P(T) = 1 – 2 ,

Где Т – время полураспада. Тогда погодовая вероятность будет P(1) = 1 – 2 , Следующая таблица показывает соотношение этих параметров.

Период, за который глобальная катастрофа случится с вероятностью в 50%: Вероятность этого события в ближайший год, % Вероятность вымирания за 100 лет (то есть к 2107г). Примерно равна шансам вымирания в XXI веке, % Соответствующие шансы выживания за 100 лет: Период гарантированного вымирания с вероятностью

99,9%, лет:

10 000 0.0069% 0,7% 99,3% 100 000

1 600 0.0433% 6% 94% 16 000

400 0.173%

12,5% 87,5% 4 000

200 0.346% 25% 75% 2 000

100 0.691% 50% 50% 1 000

50 1,375% 75% 1 к 4 500

25 2,735% 93,75% 1 к 16 250

12,5 5,394% 99,6% 1 к 256 125

6 10,910% 99,9984% 1 к 16 536 60

Обратите внимание на низ этой таблицы, где даже очень большое снижение шансов выживания за весь XXI век не изменяет в значительной мере «период полураспада», который остаётся на уровне порядка 10 лет. Это означает, что даже если шансы пережить XXI век очень малы, всё равно у нас почти наверняка есть ещё несколько лет до «конца света». С другой стороны, если мы хотим пережить XXI век наверняка, нам надо приблизить погодовую вероятность вымирания практически к нулю.

В методологии мы рассмотрели список из примерно 150 возможных логических ошибок, которые так или иначе могут изменить оценку рисков. Даже если вклад каждой ошибки составляет не более одного процента, результат может быть ошибочен в разы и даже порядки. Когда люди предпринимают что-то впервые, они обычно недооценивают рискованность проекта в 40-100 раз, что видно на примере Чернобыля и Челленджера. Е. Юдковски в своей основополагающей статье «Систематические ошибки в рассуждения, влияющие на оценку глобальных рисков» приводит анализ достоверности высказываний экспертов о разнообразных величинах, которые они не могут вычислить точно, и о том, какие интервалы 99 процентной уверенности они дают для этих величин. Результаты этих экспериментов удручают (позволю себе большую цитату):