Текст книги "Российская Академия Наук"

Автор книги: Алексей Турчин

сообщить о нарушении

Текущая страница: 35 (всего у книги 36 страниц)

Человеческий вид Homo sapiens не стареет, но не бессмертен. Гоминиды прожили так долго только потому, что не было арсенала водородных бомб, не было космических кораблей, чтобы направлять астероиды к Земле, не было военных биолабораторий, чтобы создавать супервирусов, не было повторяющихся ежегодных перспектив атомной войны или нанотехнологической войны или отбившегося от рук ИИ. Чтобы прожить сколько-нибудь заметное время, мы должны свести каждый из этих рисков к нулю. «Довольно хорошо» – это недостаточно хорошо для того, чтобы прожить ещё миллион лет.

Это выглядит как несправедливый вызов. Этот вопрос обычно не был в компетенции исторических человеческих организаций, не зависимо от того, насколько они старались. В течение десятилетий США и СССР избегали ядерной войны, но не были в этом совершенны; были очень близкие к войне моменты, например, Кубинский ракетный кризис в 1962 году. Если мы предположим, что будущие умы будут являть ту же смесь глупости и мудрости, ту же смесь героизма и эгоизма, как те, о ком мы читаем в исторических книгах – тогда игра в глобальный риск практически закончена; она была проиграна с самого начала. Мы можем прожить ещё десятилетие, даже ещё столетие, но не следующие миллион лет.

Но человеческие умы – это не граница возможного. Homo sapiens представляет собой первый универсальный интеллект. Мы были рождены в самом начале вещей, на рассвете ума. В случае успеха, будущие историки будут оглядываться назад и описывать современный мир как труднопреодолимую промежуточную стадию юности, когда человечество стало достаточно смышлёным, чтобы создать себе страшные проблемы, но недостаточно смышлёным, чтобы их решить.

Но до того как мы пройдём эту стадию юности, мы должны, как юноши, встретится с взрослой проблемой: вызовом более умного, чем человек, интеллекта. Это – выход наружу на высоко-моральной стадии жизненного цикла; путь, слишком близкий к окну уязвимости; это, возможно, самый опасный однократный риск, с которым мы сталкиваемся. ИИ – это единственная дорога в этот вызов, и я надеюсь, что мы пройдём эту дорогу, продолжая разговор. Я думаю, что, в конце концов, окажется проще сделать 747-ой с нуля, чем растянуть в масштабе существующую птицу или пересадить ей реактивные двигатели.

Я не хочу преуменьшать колоссальную ответственность попыток построить, с точной целью и проектом, нечто, более умное, чем мы сами. Но давайте остановимся и вспомним, что интеллект – это далеко не первая вещь, встретившаяся человеческой науке, которая казалась трудна для понимания. Звёзды когда-то были загадкой, и химия, и биология. Поколения исследователей пытались и не смогли понять эти загадки, и они обрели имидж неразрешимых для простой науки. Когда-то давно, никто не понимал, почему одна материя инертна и безжизненна, тогда как другая пульсирует кровью и витальностью. Никто не знал, как живая материя размножает себя или почему наши руки слушаются наших ментальных приказов. Лорд Кельвин писал:

«Влияние животной или растительной жизни на материю находится бесконечно далеко за пределами любого научного исследования, направленного до настоящего времени на него. Его сила управлять перемещениями движущихся частиц, в ежедневно демонстрируемом чуде человеческой свободной воли и в росте поколений за поколением растений из одного семечка, бесконечно отличается от любого возможного результата случайной согласованности атомов». (Цитировано по (MacFie 1912).)

Любое научное игнорирование освящено древностью. Любое и каждое отсутствие знаний уходит в прошлое, к рассвету человеческой любознательности; и эта дыра длится целые эпохи, выглядя неизменной, до тех пор, пока кто-то не заполняет её. Я думаю, что даже склонные ошибаться человеческие существа способны достичь успеха в создании Дружественного ИИ. Но только если разум перестанет быть сакральной тайной для нас, как жизнь была для Лорда Кельвина. Интеллект должен перестать быть любым видом мистики, сакральным или нет. Мы должны выполнить создание Искусственного Интеллекта как точное приложение точного искусства. И тогда, возможно, мы победим.

Библиография.

1. Asimov, I. 1942. Runaround. Astounding Science Fiction, March 1942.

2. Barrett, J. L. and Keil, F. 1996. Conceptualizing a non-natural entity: Anthropomorphism in God concepts. Cognitive Psychology, 31: 219-247.

3. Bostrom, N. 1998. How long before superintelligence? Int. Jour. of Future Studies, 2.

4. Bostrom, N. 2001. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9.

5. Brown, D.E. 1991. Human universals. New York: McGraw-Hill.

6. Crochat, P. and Franklin, D. (2000.) Back-Propagation Neural Network Tutorial. http://ieee.uow.edu.au/~daniel/software/libneural/

7. Deacon, T. 1997. The symbolic species: The co-evolution of language and the brain. New York: Norton.

8. Drexler, K. E. 1992. Nanosystems: Molecular Machinery, Manufacturing, and Computation. New York: Wiley-Interscience.

9. Ekman, P. and Keltner, D. 1997. Universal facial expressions of emotion: an old controversy and new findings. In Nonverbal communication: where nature meets culture, eds. U. Segerstrale and P. Molnar. Mahwah, NJ: Lawrence Erlbaum Associates.

10. Good, I. J. 1965. Speculations Concerning the First Ultraintelligent Machine. Pp. 31-88 in Advances in Computers, vol 6, eds. F. L. Alt and M. Rubinoff. New York: Academic Press.

11. Hayes, J. R. 1981. The complete problem solver. Philadelphia: Franklin Institute Press.

12. Hibbard, B. 2001. Super-intelligent machines. ACM SIGGRAPH Computer Graphics, 35(1).

13. Hibbard, B. 2004. Reinforcement learning as a Context for Integrating AI Research. Presented at the 2004 AAAI Fall Symposium on Achieving Human-Level Intelligence through Integrated Systems and Research.

14. Hofstadter, D. 1979. G;del, Escher, Bach: An Eternal Golden Braid. New York: Random House

15. Jaynes, E.T. and Bretthorst, G. L. 2003. Probability Theory: The Logic of Science. Cambridge: Cambridge University Press.

16. Jensen, A. R. 1999. The G Factor: the Science of Mental Ability. Psycoloquy, 10(23).

17. MacFie, R. C. 1912. Heredity, Evolution, and Vitalism: Some of the discoveries of modern research into these matters – their trend and significance. New York: William Wood and Company.

18. McCarthy, J., Minsky, M. L., Rochester, N. and Shannon, C. E. 1955. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence.

19. Merkle, R. C. 1989. Large scale analysis of neural structure. Xerox PARC Technical Report CSL-89-10. November, 1989.

20. Merkle, R. C. and Drexler, K. E. 1996. Helical Logic. Nanotechnology, 7: 325-339.

21. Minsky, M. L. 1986. The Society of Mind. New York: Simon and Schuster.

22. Monod, J. L. 1974. On the Molecular Theory of Evolution. New York: Oxford.

23. Moravec, H. 1988. Mind Children: The Future of Robot and Human Intelligence. Cambridge: Harvard University Press.

24. Moravec, H. 1999. Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.

25. Raymond, E. S. ed. 2003. DWIM. The on-line hacker Jargon File, version 4.4.7, 29 Dec 2003.

26. Rhodes, R. 1986. The Making of the Atomic Bomb. New York: Simon & Schuster.

27. Rice, H. G. 1953. Classes of Recursively Enumerable Sets and Their Decision Problems. Trans. Amer. Math. Soc., 74: 358-366.

28. Russell, S. J. and Norvig, P. Artificial Intelligence: A Modern Approach. Pp. 962-964. New Jersey: Prentice Hall.

29. Sandberg, A. 1999. The Physics of Information Processing Superobjects: Daily Life Among the Jupiter Brains. Journal of Evolution and Technology, 5.

30. Schmidhuber, J. 2003. Goedel machines: self-referential universal problem solvers making provably optimal self-improvements. In Artificial General Intelligence, eds. B. Goertzel and C. Pennachin. Forthcoming. New York: Springer-Verlag.

31. Sober, E. 1984. The nature of selection. Cambridge, MA: MIT Press.

32. Tooby, J. and Cosmides, L. 1992. The psychological foundations of culture. In The adapted mind: Evolutionary psychology and the generation of culture, eds. J. H. Barkow, L. Cosmides and J. Tooby. New York: Oxford University Press.

33. Vinge, V. 1993. The Coming Technological Singularity. Presented at the VISION-21 Symposium, sponsored by NASA Lewis Research Center and the Ohio Aerospace Institute. March, 1993.

34. Wachowski, A. and Wachowski, L. 1999. The Matrix, USA, Warner Bros, 135 min.

35. Weisburg, R. 1986. Creativity, genius and other myths. New York: W.H Freeman.

36. Williams, G. C. 1966. Adaptation and Natural Selection: A critique of some current evolutionary thought. Princeton, NJ: Princeton University Press.

Н. Бостром

Введение в doomsday argument

Перевод с английского А.В. Турчина

Философия редко даёт эмпирические предсказания. Рассуждение о Конце Света (Doomsday Argument) является важным исключением. Исходя из кажущихся очевидными предположений, оно стремится показать, что риск вымирания человечества в ближайшем будущем систематически недооценивается. Первая реакция почти каждого человека: что-то должно быть не так с таким рассуждением. Но, несмотря на тщательное исследование всё большим числом философов, ни одной простой ошибки в этом рассуждении не было обнаружено.

Это началось около пятнадцати лет назад, когда астрофизик Брэндон Картер обнаружил прежде незамеченное следствие из одной из версий антропного принципа. Картер не опубликовал своё открытие, но идея была подхвачена философом Джоном Лесли, который был плодовитым авторам на эту тему и написал монографию «Конец света» (The End of the World (Routledge, 1996).) Разные версии Рассуждения о конце света были независимо обнаружены другими авторами. В последние годы было опубликовано определённое количество статей, пытавшихся опровергнуть этот аргумент, и примерно равное количество статей, опровергающих эти опровержения.

Вот само Рассуждение о конце света. Я объясню его в три этапа.

Шаг 1.

Представим себе Вселенную, которая состоит из 100 изолированных боксов. В каждом боксе один человек. 90 из боксов раскрашены синим снаружи, и оставшиеся 10 – красным. Каждого человека попросили высказать догадку, находится ли он в синем или красном боксе. (И каждый из них знает всё это.)

Далее, предположим, вы находитесь в одном из боксов. Какого цвета он, по-вашему, должен быть? Поскольку 90% из всех людей находятся в голубых боксах, и поскольку вы не имеете никакой другой значимой информации, кажется, что вы должны думать, что с вероятностью в 90% вы находитесь в голубом боксе. Договоримся называть идею о том, что вы должны размышлять, как если бы вы были случайным экземпляром (random sample) из набора всех наблюдателей – предположением о собственном расположении (self-sampling assumption).

Предположим, что все принимают предположение о собственном расположении и все должны сделать ставку на то, находятся ли они в синих или красных боксах. Тогда 90% из всех людей выиграют и 10% проиграют. Представим, с другой стороны, что предположение о собственном расположении отвергнуто, и люди полагают, что шансы находится в синей комнате ничем не больше, тогда они сделают ставку, бросив монету. Тогда, в среднем, 50% людей выиграют, и 50% проиграют. – Так что рациональной моделью поведения было бы принять предположение о собственном нахождении, во всяком случае, в данном случае.

Шаг 2.

Теперь мы немного модифицируем этот мысленный эксперимент. У нас по-прежнему есть 100 боксов, но в этот раз они не выкрашены в синий или красный. Вместо этого они пронумерованы от 1 до 100. Номера написаны снаружи. Затем бросается монетка (может быть, Богом). Если выпадают орлы, один человек создаётся в каждом из 100 боксов. Если выпадает решка, люди создаются только в боксах с номерами с 1 по 10.

Вы обнаруживаете себя в одном из боксов, и вам предлагается догадаться, имеется ли в боксах 10 или 100 человек. Поскольку это число определяется бросанием монетки, и поскольку вы не видели, как монетка выпала, и вы не имеете никакой другой значимой информации, кажется, что вам следует предполагать, что с 50% вероятностью выпали орлы (и в силу этого имеется 100 человек).

Более того, вы можете использовать предположение о собственном расположении, чтобы определить условную вероятность того, что на вашем боксе написан номер от 1 до 10, в зависимости от того, как выпала монетка. Например, при условии орлов вероятность того, что номер вашего бокса лежит между 1 и 10 составляет 1/10, поскольку в них будет находиться одна десятая людей. При условии решек вероятность того, что ваш номер лежит от 1 до 10 равна 1; в этом случае вам известно, что все находятся в этих боксах.

Предположим, что вы открываете дверь, и обнаруживаете, что вы находитесь в боксе 7. Затем вас снова спрашивают, как выпала монета? Но теперь вероятность того, что выпала решка, больше 50%. Поскольку то, что вы наблюдаете, даёт большую вероятность этой гипотезе, чем гипотезе, что выпали орлы. Точная новая вероятность выпадения решки может быть вычислена на основании теоремы Байса. Это примерно 91%. Таким образом, после обнаружения того, что вы находитесь в боксе номер 7, вам следует думать, что с вероятностью в 91% здесь находится только 10 людей.

Шаг 3.

Последний шаг состоит в переносе этих результатов на нашу текущую ситуацию здесь, на Земле. Давайте сформулируем две конкурирующие гипотезы. Ранняя Гибель: человечество вымирает в следующем столетии и суммарное число людей, которое существовало за всё время, составляет, скажем, 200 миллиардов. Поздняя Гибель: человечество переживает следующий век и отправляется колонизировать галактику; суммарное число людей составляет, скажем, 200 триллионов. Для упрощения изложения мы рассмотрим только эти две гипотезы. (Использование дробного деления пространства гипотез не изменяет принцип, хотя даёт более точные численные значения.)

Ранняя гибель соответствует здесь тому, что есть только 10 человек в мысленном эксперименте Шага 2. Поздняя Гибель соответствует здесь тому, что было 100 человек. Номерам боксов мы сопоставим «ранги рождения» человеческих существ – их позицию в человеческой расе. Изначальной вероятности (50%) того, что монета упадёт орлом или решкой, мы сопоставим некоторую изначальную вероятность Ранней Гибели и Поздней Гибели. Эта оценка будет выполнена на основе наших обычных эмпирических оценок потенциальных угроз человеческому выживанию, таких как ядерная или биологическая война, взрывающий завод метеорит, неограниченно растущий парниковый эффект, вышедшие из-под контроля саморазмножающиеся наномашины, распад метастабильного вакуума в результате высокоэнергетичных экспериментов с элементарными частицами и так далее (вероятно, есть много опасностей, о которых мы даже не думали). Скажем, что на основе таких размышлений, вы полагаете, что вероятность Ранней Гибели составляет 5%. Точное число не важно для структуры рассуждения.

Наконец, тому факту, что вы обнаруживаете себя в боксе 7, соответствует тот факт, что вы обнаруживаете, что ваш ранг рождения составляет примерно 60 миллиардов (что примерно соответствует числу людей, которое жило до вас). И подобно тому, как обнаружение себя в боксе 7 увеличивает вероятность того, что монетка выпала решкой, обнаружение себя человеком номер 60 миллиардов даёт вам основания полагать, что Ранняя Гибель более вероятна, чем вы думали раньше. В данном случае апостериорная вероятность Ранней Гибели очень близка к 1. Вы почти наверняка можете исключить Позднюю Гибель.

*

Таково Рассуждение о Конце Света в двух словах. Услышав его, многие люди думают, что они знают, что неправильно в нём. Но эти возражения имеют тенденцию быть взаимно несовместимыми, и часто они держатся на неких простых непониманиях. Обязательно прочтите имеющуюся литературу до того, как чувствовать себя достаточно уверенным в том, что у вас есть опровержение.

Если Рассуждение о Конце Света верно, что именно оно показывает? Оно не говорит, что нет смысла пытаться уменьшить угрозы человеческому выживанию, потому что «мы обречены в любом случае». Наоборот, Рассуждение о Конце Света может сделать такие усилия выглядящими даже более срочными. Работы по уменьшению риска того, что нанотехнологии будут употреблены во вред, чтобы уничтожить разумную жизнь, например, уменьшат начальную вероятность Ранней Гибели, и это уменьшит также её апостериорную вероятность после принятия в расчет Рассуждения о Конце Света; так что ожидаемая продолжительность жизни человечества вырастет.

Есть также определённое количество «брешей» или альтернативных интерпретаций того, что именно говорит Рассуждение о Конце Света. Например, оказывается, что если существует множество внеземных цивилизаций, и вы интерпретируете предположение о собственном местоположении как применимое в равное мере ко всем разумным существам, а не только к людям, то тогда происходит другой сдвиг вероятности, который точно уравновешивает и отменяет сдвиг вероятности, следующий из Рассуждения о Конце Света. Другая возможная брешь – это если в будущем будет бесконечно много людей; неясно, как применять предположения о собственном расположение в бесконечном случае. Далее, если люди разовьются в значительно более продвинутый вид довольно скоро (за век или два), может быть, посредством использования продвинутых технологий, тогда не ясно, будут ли эти пост-люди в том же референтном классе, что и мы, так что тогда не понятно, как в этом случае должно применяться Рассуждение о Конце Света.

Другой возможностью является то, что если размер популяции значительно уменьшится – то тогда потребуется гораздо больше времени, до того как достаточное людей родится, чтобы ваш ранг рождения начал казаться удивительно малым. И, наконец, может быть так, что референтные классы должны быть сделаны относительными, так что не все наблюдатели, даже не все люди, будут принадлежать к одному и тому же референетному классу.

Оправдание введения относительности референтных классов могло бы придти из общей теории эффектов наблюдательной селекции, в которой предположение о собственном расположении будет только одним из элементов. Теория эффектов наблюдательной селекции – то есть теория о том, как корректировать систематические ошибки, которые вводятся тем фактом, что наши свидетельства отфильтрованы предусловием, что подходящим образом расположенный наблюдатель существует, «чтобы» получить эти свидетельства – будет иметь приложения во множестве областей науки, включая космологию и эволюционную биологию.

Так что хотя Рассуждение о Конце Света содержит интересную идею, оно должно быть соединено с дополнительными предположениями и принципами (некоторые из которых ещё предстоит выработать) до того, как она может быть применено к реальному миру. По всей вероятности, даже когда будут заполнены все детали, будет набор возможных вариантов относительно нашего будущего. Тем не менее, лучшее понимание эффектов избирательности наблюдения исключит определённые типы гипотез и установит неожиданные ограничения на любые самосогласованные теоретические построения о будущем нашего вида и о распределении наблюдателей во вселенной.

А.А. Кононов

Идеологические начала общей теории неуничтожимости человечества

Многие открытия в астрономии и науках о Земле сделанные за последние десятилетия стали открытиями новых угроз и рисков существования человечества на Земле и в Космосе. На сегодняшний день можно сделать вывод о том, что наша цивилизация существует и развивается в катастрофически нестабильной среде, которая может уничтожить ее в любой момент и только счастливое стечение обстоятельств (везений) дало возможность развиться нашей цивилизации до современного уровня. Но такое «везение» вряд ли будет вечным.

Угрозы уничтожения человечества

В течение нескольких последних лет автором статьи в Интернете ведется проект «Досье на Мироздание» (http://www.mirozdanie.narod.ru), где в нескольких разделах собранно большое количество научных публикаций и сообщений о последних космических открытиях, из которых можно сделать вывод о катастрофическом характере процессов протекающих в Космосе, и о непредсказуемости влияния этих процессов на жизнь в той части Космоса, где обитает Человечество. Не на много большей предсказуемостью отличаются и геологические процессы, многие из которых могут стать источниками глобальных природных катастроф. Да и почти каждый шаг в развитии цивилизации несет новые угрозы и риски ее существованию.

Ниже приводится перечень основных групп угроз глобальных катастроф и даются некоторые примеры угроз.

Природные:

Катастрофы в результате геологических процессов. Супервулканы, смещение магнитных полюсов, сдвиги земной коры и процессы в более глубоких слоях Земли.

Катастрофы в результате возможной нестабильности Солнца. Сверхмощные вспышки и выбросы, возможная нестабильность реакций, обеспечивающих необходимые для жизни на Земле светимость и температуру на Солнце.

Катастрофы в результате воздействий из Космоса (астероиды, кометы, нельзя полностью исключить и возможность злонамеренного вторжения инопланетной цивилизации).

Порождаемые цивилизацией:

Самоуничтожение. В результате применения средств массового уничтожения.

Уничтожение среды обитания. В результате техногенных катастроф.

Самоликвидация. Выбор ошибочного пути развития цивилизации, например, такого, который ограничит темпы наращивания технологической мощи цивилизации. В условиях существования цивилизации в катастрофически нестабильной среде такое решение может стать приговором самоликвидации цивилизации – она просто не успеет подготовиться к преодолению наступающих катастроф. Да и многие другие теории определяющие направления развития цивилизации в случае их однобокого несистемного применения могут нанести большой урон и не дать успеть решить цивилизации те задачи, которые позволят ей преодолеть возможные катастрофы. Даже представляемая в этой статье идеология неуничтожимости цивилизации несет в себе угрозу обоснования сверхэксплуатации (принесения в жертву жизней живущих поколений) ради решения задач неуничтожимости цивилизации. Поэтому так важна вторая часть этой идеологии – развитие культуры сохранения фамильной и индивидуальной памяти. Причем эта культура может выступать в роли защитного механизма и от множества других угроз дегуманизации и этической деградации цивилизации.

Провоцирование природной нестабильности. Например, инициирование парникового эффекта и изменений климата.

Угрозы уничтожения цивилизации, порождаемые новыми технологиями и развитием цивилизации (цивилизационной динамикой). Это угрозы, с которыми человечество должно учиться справляться по мере создания новых технологий и освоения космического пространства (космической экспансии). Например, с возникновением информационного общества, появилась целая отрасль решающая проблемы безопасности (кибербезопасности) возникающие при использовании компьютерных и телекоммуникационных технологий. Необходимость отвлечения значительных ресурсов для решения проблем безопасности новых технологий – это неизбежное условие прогресса. Нужно понимать и принимать как должное, то что решение проблем безопасности каждого нового технологического или цивилизационного прорыва (например, создания внеземных космических колоний) могут обходиться во много раз дороже, чем затраты на их осуществление. Но это единственный путь, обеспечивающий безопасность прогресса, в том числе, и космической экспансии.

Угрозы уничтожения жизни в космическом масштабе.

Эти угрозы носят в значительной степени гипотетический характер, но известные случаи столкновений и взрывов галактик говорят о том, что они никак не могут быть проигнорированы. К числу таких угроз относятся:

Угрозы уничтожения жизни в той части Галактики, где расположена Солнечная система.

Угрозы уничтожения жизни во всей Галактике или в группе Галактик, в которую входит Млечный путь

Угрозы уничтожения Вселенной или жизни во Вселенной

Угрозы уничтожения жизни в возможно существующих структурах, в которые может входить наша Вселенная.