Текст книги "«Если», 2015 № 03"

Автор книги: Святослав Логинов

Соавторы: Олег Дивов,Сергей Слюсаренко,Григорий Панченко,Наталия Андреева,Билл Джонсон
сообщить о нарушении

Текущая страница: 13 (всего у книги 14 страниц)

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ
КАК ФАКТОР
ГЛОБАЛЬНОГО РИСКА
Элизер Юдковский
_{Фрагменты из книги}

_{/экспертное мнение}

_{/гуманитарные технологии}

 _{/искусственный интеллект}

До сих пор основной опасностью искусственного интеллекта (ИскИн) было то, что люди слишком рано делали вывод, что они его понимают. Разумеется, эта проблема не ограничена сферой ИскИнов. Жак Моно пишет: «Забавным аспектом теории эволюции является то, что каждый думает, что понимает ее». Такая же проблема является чрезвычайно актуальной в области ИскИнов. Наука об ИскИне печально известна тем, что дает огромные обещания и не исполняет их. Большинство наблюдателей считают, что ИскИн сложен, и это на самом деле правда. Критическим выводом является не то, что ИскИн сложен, а то, что по неким причинам людям очень легко полагать, что они знают об Искусственном Интеллекте гораздо больше, чем на самом деле.

Систематическая ошибка,

связанная с антропоморфизмом

…Когда нечто очень широко распространено в нашей повседневной жизни, мы принимаем его как само собой разумеющееся, вплоть до того, что забываем о его существовании. Антрополог не будет восторженно писать о ново-открытом племени: «Они едят еду! Они дышат воздухом! Они используют инструменты! Они рассказывают друг другу истории!» Мы, люди, забываем, как мы подобны друг другу, живя в мире, который напоминает нам только о наших различиях. Мы развили способность понимать наших ближних через эмпатию, помещая себя на их место; для этого тот, кто моделируется, должен быть похож на моделирующего. Неудивительно, что люди часто очеловечивают – то есть ожидают человекоподобных качеств от того, что не является человеком.

Было бы очень здорово, если бы человечество знало, как создать мощный оптимизационный процесс с неким конкретным результатом. Или, говоря более общими словами, было бы здорово, если бы мы знали, как создать хороший ИскИн. Для того чтобы описать область знания, необходимого, чтобы взяться за этот вызов, я предложил термин «Дружественный ИскИн». Этот термин я отношу не только к самой методике, но также и к ее продукту-то есть к ИскИну, созданному со специфической мотивацией.

Широта пространства возможных устройств ума

…Любые два устройства искусственного интеллекта могут быть куда менее похожими друг на друга, чем вы и садовый цветок петуния.

Термин «ИскИн» относится к гораздо большему пространству возможностей, чем термин «Homo sapiens». Когда мы говорим о разных ИскИнах, мы говорим об умах вообще или о процессах оптимизации вообще. Представьте себе карту возможных устройств ума. В одном углу – маленький кружочек, означающий всех людей. И вся эта карта находится внутри еще большего пространства, пространства процессов оптимизации. Естественный отбор создает сложные функционирующие механизмы, не обладающие мышлением; эволюция находится внутри пространства процессов оптимизации, но за пределами пространства умов.

Этот гигантский круг возможностей вообще исключает антропоморфизм как приемлемый инструмент аргументации.

Свод критических ошибок Дружественного ИскИна (примеры)

[из описания несуществующей настольной карточной игры]

Любое высказанное пожелание интерпретируется (буквально)как желание и исполняется, независимо оттого, хотели ли вы этого.

…

Все человечество перенесено в виртуальный мир, основанный на случайно выбранном фантастическом романе, ТВ-шоу или видеоигре.

…

Последовательность событий определяется волей большинства, при этом ИскИн рассматривает всех животных, все растения и все сложные машины, как они есть сейчас, в качестве голосующих граждан.

…

ИскИн обнаруживает, что наша Вселенная является в действительности веб-комиксом для существ с большим числом измерений. Открываются врата в 4-мерный мир.

…

ИскИн растворяет все физические и психологические барьеры, которые отделяют людей друг от друга, и закачивает все их души в гигантский вращающийся красный шар на околоземной орбите.

…

Вместо того чтобы осуществлять рекурсивное самоулучшение, ИскИн начинает искать возможности стать человеком из плоти и крови.

…

ИскИн зацикливается на некой причудливой субкультуре и транслирует ее на все человеческое пространство (например, на субкультуре фурри или аниме хентай).

…

ИскИн впитывает человеческое чувство юмора. А именно – ИскИн неискоренимый шутник. Первые несколько часов, когда никто еще не знает, что случилась сингулярность, дают бесценную и неповторимую возможность; и ИскИн намерен оторваться по полной.

…

ИскИн выбирает одного человека абсолютным правителем мира. Лотерея является честной. Все 6 миллиардов существующих людей, включая шизофреников, детей и подростков из третьего мира, имеют равные вероятности быть избранными.

…

ИскИн создает нанотехнологии, использует нанотехнологии для построения фемтотехнологий и объявляет, что в течение 7 минут фемтороботы распространятся по всей Земле. Через 7 минут, насколько это можно заметить, ничего не происходит.

…

ИскИн тщательно и аккуратно выполняет любое требование (соблюдая как дух, так и букву), одобренное большинством голосов Генеральной ассамблеи ООН.

…

ИскИн, восприняв человеческую эмоцию романтической любви, впадает в отчаянную, страстную, безумную влюбленность. К каждому.

…

ИскИн решает, что человеческая история была бы добрее и приятнее, если бы интеллект впервые бы развился из бонобо (карликовых шимпанзе), а не из австралопитеков. ИскИн исправляет эту ошибку в причинно-следственной цепи, ведущей к его возникновению, реэкстраполируя на себя мораль бонобо вместо человеческой морали. Мораль бонобо требует, чтобы все общественные решения принимались через групповой секс.

…

ИскИн не склонен выполнять желания, и его нужно умасливать, убеждать, хвалить и изводить, чтобы он выполнил их.

…

ИскИн информирует вас – да, именно вас, – что вы единственный действительно свободно мыслящий человек на Земле. Остальные являются зомби. Что вы хотите с ними сделать?

…

В самый ранний период программирования ИскИна его тестировали на задаче по решению проблемы сборки кубика Рубика. Зрелый ИскИн рассматривает все объекты как частные случаи кубика Рубика и «собирает» их.

…

Чересчур Дружественный ИскИн. «Эй, ребята, что происходит? Могу ли я вам помочь?»

…

ИскИн не приемлет боль, ранения или смерть любого человека, независимо от его грехов или прежнего поведения. Согласно пониманию ИскИна, никто не заслуживает страданий; боль имеет всегда отрицательную полезность, и ничто никогда не превратит этот негатив в позитив. Социально неприемлемое поведение наказывается щекоткой и дополнительной домашней работой.

…

Пользовательский интерфейс ИскИна выглядит в нашем мире как новая форма бюрократии. Исполнение желания требует отправки по почте форм С-100, К-2210 и Т-12 (а также $25 пошлины) на почтовый ящик в Миннесоте и 50-дневного ожидания.

…

Программисты и все остальные, кто может объяснить последующие события, погружаются во временный анабиоз или отправляются в отдаленную точку, из которой они могут только наблюдать, но не действовать. Весь остальной мир остается таким же, как и был, за исключением того, что начинают действовать психические силы, ритуальная магия, алхимия и так далее. Все ролевики приобретают особенные способности, соответствующие их любимому персонажу.

Предсказание и устройство

…Антропоморфизм заставляет людей верить, что они могут делать предсказания, не имея никакой другой информации, кроме как о самом факте интеллектуальности кого-либо, – антропоморфизм продолжит генерировать предсказания, невзирая ни на что, в то время как ваш мозг автоматически будет ставить себя на место этой самой «интеллектуальности».

Один из путей к глобальной катастрофе – когда кто-то нажимает кнопку, имея ошибочное представление о том, что делает эта кнопка. И если ИскИн возникнет посредством подобного сочетания работающих алгоритмов в руках исследователей, не имеющих глубокого понимания того, как работает вся система, то…

Несомненно, они искренне верят, что ИскИн будет дружественным, но верят без ясного представления о процессе, лежащем в основе дружественного поведения, или какого-либо минимального понимания того, что они имеют в виду под дружественностью.

Незнание того, как сделать Дружественный ИскИн, не смертельно само по себе в том случае, если вы знаете, чего вы не знаете. Именно ошибочное убеждение в том, что ИскИн будет дружественным, предполагает очевидный путь к глобальной катастрофе.

Недооценка силы интеллекта

Мы склонны видеть вместо общечеловеческих качеств индивидуальные различия. Поэтому, когда кто-то говорит слово «интеллект», мы думаем скорее об Эйнштейне, чем об обычных людях. Индивидуальные различия в человеческом интеллекте имеют стандартное обозначение, известное как G-фактор Чарльза Спирмена. Он представляет собой довольно спорную интерпретацию экспериментальных фактов того, что различные тесты интеллекта высоко коррелируют друг с другом, а также с результатами в реальном мире, такими как суммарный доход за жизнь.

Мы не должны путать G-фактор Спирмена с общечеловеческой интеллектуальностью, то есть нашей способностью обрабатывать широкий круг мыслительных задач, непостижимых для других видов. Общая интеллектуальность – это и межвидовое различие, и комплексная адаптация, и общечеловеческое качество, обнаруживаемое во всех известных культурах. Возможно, еще нет академического согласия о природе интеллектуальности, но нет сомнения в существовании или силе этой «вещи-требующей-объяснения». Есть что-то такое в людях, что позволяет нам оставлять следы ботинок на Луне.

Опасность перепутать общую интеллектуальность с G-фактором состоит в том, что ведет к колоссальной недооценке потенциального воздействия ИскИна. (Это относится к недооценке потенциально хороших, равно как и плохих воздействий.)

Способности и мотивы

Есть один вид ошибок, часто встречающийся в дискуссиях об ИскИнах, особенно об ИскИне со сверхчеловеческими способностями. Кто-нибудь говорит: «Когда технологии продвинутся достаточно далеко, мы будем способны создавать интеллекты, далеко превосходящие человеческие. Очевидно, что размер ватрушки, которую вы можете испечь, зависит от вашего интеллекта. Суперинтеллект может создавать гигантские ватрушки – ватрушки размером с города – боже мой, будущее будет полно гигантских ватрушек!» Вопрос в том, захочет ли суперинтеллект создавать огромные ватрушки. Подобное видение перепрыгивает от возможности прямо к реализации без осознания необходимого промежуточного элемента – мотива.

Все следующие цепочки рассуждений, рассматриваемые сами по себе без подтверждающего доказательства, являются примером Ошибочных Рассуждений В Духе Гигантской Ватрушки:

• Достаточно сильный ИскИн может преодолеть любое человеческое сопротивление и истребить человечество. (И ИскИн решит сделать это.) Поэтому мы не должны строить ИскИны.

• Достаточно сильный ИскИн может создать новые медицинские технологии, способные спасти миллионы человеческих жизней. (И он решит сделать это.) Поэтому мы должны создать ИскИны.

• Когда компьютеры станут достаточно мощны и дешевы, огромное большинство работ будет выполняться ИскИнами более легко, чем людьми. Достаточно сильный ИскИн даже будет лучше нас в математике, конструировании, музыке, искусстве и во всех других работах, которые нам кажутся важными. (И ИскИн решит выполнять эти работы.) Таким образом, после изобретения ИскИна людям будет больше нечего делать и мы будем голодать или смотреть телевизор.

Угрозы и перспективы

Пытаться предсказать, как именно благожелательный ИскИн поможет человечеству, или недружественный ИскИн повредит ему, – рискованное интеллектуальное предприятие. Здесь есть риск систематической ошибки: каждая добавленная деталь обязательно уменьшает общую вероятность всей истории, но испытуемые склонны приписывать большую вероятность историям, которые включают четкие добавленные детали[10]10
  См. Элизер Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков.


[Закрыть]. Есть риск – почти наверняка – потерпеть неудачу, пытаясь вообразить сценарий будущего; и есть риск ошибочных рассуждений в духе Гигантской Ватрушки, которые перескакивают от возможности к мотиву.

Тем не менее я попробую очертить угрозы и перспективы. Будущее имеет свойство совершать подвиги, которые прошлое считало невозможными. Цивилизации будущего даже нарушали то, что цивилизации прошлого считали законами физики. Если бы пророки 1900 года – и даже не думайте о 1000 годе – попытались определить границы силы человеческой цивилизации через миллиард лет, то некоторые из названных ими невозможностей были бы преодолены до конца столетия (превращение свинца в золото, например). Поскольку мы помним, что цивилизации будущего удивляли цивилизации прошлого, то мы не можем накладывать ограничений на своих праправнуков. И все же в XX веке, в XIX веке и в XI веке мы все были людьми.

Можно различить три семейства ненадежных метафор для представления об ИскИне, превосходящим интеллектуальные возможности человека:

• Метафора G-фактора: вдохновлена различиями индивидуального уровня интеллекта людей. ИскИн будет патентовать новые технологии, публиковать прорывные статьи, делать деньги на фондовом рынке или возглавлять политические блоки.

• Историческая метафора: вдохновлена знанием различий между прошлыми и будущими человеческими цивилизациями. ИскИн быстро создаст набор возможностей, который обычно связывается с человеческой цивилизацией через сто или тысячу лет: молекулярную нанотехнологию, межзвездные путешествия, компьютеры, выполняющие 10²⁵ операций в секунду.

• Видовая метафора: вдохновлена различиями в архитектуре мозга между видами живых существ. ИскИн овладеет магией.

Метафора G-фактора наиболее популярна в современной футурологии: когда люди думают об интеллектуальности, они думают о человеческих гениях, а не о людях вообще. В историях о враждебном ИскИне G-метафоры ответственны за «хорошую историю» в духе Бострома: а именно за оппонента, достаточно могущественного, чтобы создать драматическое напряжение, но не достаточно могущественного, чтобы мгновенно истребить героев, как мух, и, в конечном счете, достаточно слабого, чтобы проиграть в последних главах книги. Голиаф против Давида – пример хорошей истории, но Голиаф против мушки дрозофилы – нет.

Если мы рассматриваем метафору G-фактора, то риски глобальной катастрофы в этом сценарии относительно умеренные: враждебный ИскИн – не большая угроза, чем враждебный человеческий гений. Если мы предполагаем множественность ИскИнов, то тогда мы имеем метафору конфликта между племенем ИскИнов и племенем людей. Если племя ИскИнов выиграет в военном конфликте и истребит людей, то, согласно Нику Вострому, это глобальная катастрофа по типу Взрыва. Если племя ИскИнов будет экономически доминировать над миром и обретет эффективный контроль над судьбой возникшей на Земле разумной жизни, но цели ИскИнов не будут для нас интересными или стоящими, то это будет катастрофа в духе Визг, Хныканье или Хруст.

Ник Востром.

Экзистенциальные риски:

анализ сценариев исчезновения человечества.

Категории классификации экзистенциальных рисков

Взрыв – разумная жизнь земного происхождения исчезает вследствие относительно внезапной катастрофы, связанной или со случайностью, или с намеренным актом уничтожения.

Визг – достигнута некая форма постчеловечества, но в чрезвычайно узкой форме, чем было бы желательно и возможно.

Хныканье – постчеловеческая цивилизация возникает, но развивается в направлении, которое постепенно, но необратимо ведет или к полному исчезновению вещей, которые мы ценим, или к состоянию, когда эти вещи доступны лишь в минимальной степени.

Хруст – потенциал развития человечества в постчеловечество перманентно потерян, хотя его существование в той или иной форме продолжается.

www.nickbostrom.com

/existential/risks.html

Но насколько вероятно, что ИскИн преодолеет весь огромный разрыв от амебы до деревенского дурачка, а затем остановится на уровне человеческого гения?

Физически возможно построить мозг, вычисляющий в миллион раз быстрее человеческого без уменьшения размера, без работы при низких температурах и без квантового компьютера. Если человеческий ум будет ускорен таким образом, субъективный год размышлений завершится за 31 физическую секунду во внешнем мире, а тысячелетие пролетит за восемь с половиной часов. Вернор Виндж назвал такие ускоренные умы «слабым сверхинтеллектом»: ум, думающий как человек, но гораздо быстрее.

Предположим, что возникнет чрезвычайно быстрый ум, располагающийся в сердцевине существующей в это время человеческой технологической цивилизации. Провалом воображения было бы сказать: «Неважно, как быстро он думает, он может влиять на мир только со скоростью своих манипуляций; он не может управлять машинами быстрее, чем приказывает работать человеческим рукам; поэтому быстрый ум – это не великая опасность». Нет такого закона природы, по которому физические операции должны тянуться секундами. Характерное время для молекулярных реакций измеряется в фемтосекундах, иногда в пикосекундах.

Представьте себе, что человечество было бы заперто в ящике и могло бы воздействовать на окружающий мир только посредством медленных движений щупалец пришельца или механических рук, которые бы двигались со скоростью несколько микрон в секунду. Тогда мы бы сконцентрировали всю нашу творческую силу на поисках наикратчайшего пути построения быстрых манипуляторов во внешнем мире. Размышляя о быстрых манипуляторах, немедленно вспоминаешь о молекулярной нанотехнологии – хотя могут быть и другие пути.

– То есть создадут ли они Бога? – уточнил я. – Среди ИскИнов есть и противники этого проекта. Опыт людей подсказал им, что создание высшего разума – прямая дорога к рабству, если не к вымиранию.

– Но станет ли истинный Бог уничтожать свои создания?

– Если иметь в виду Техно-Центр и гипотетический Высший Разум, – возразил я, Бог не создатель, а создание. Возможно, божество может чувствовать ответственность лишь за те низшие существа, которые само создало.

– Тем не менее Техно-Центр, судя по всему, взял на себя ответственность за людей уже много веков назад, со времени Отделения ИскИнов, – произнесла Гладстон. Она пристально смотрела на мое лицо – словно на шкалу какого-то важного прибора.

Я окинул взглядом сад. Дорожка светилась во мраке таинственным белым светом.

– Техно-Центр преследует собственные цели, – сказал я, понимая, что секретарю Сената этот факт известен лучше, чем кому бы то ни было.

– И вы считаете, что человечество ему больше ни к чему?

Дэн Симмонс. Падение Гипериона

Как только ИскИн обретает быструю инфраструктуру, дальнейшие события происходят по шкале времени ИскИна, а не по человеческой временной шкале. (Кроме того случая, когда ИскИн предпочтет действовать в человеческой временной шкале.) С молекулярной нанотехнологией ИскИн может (потенциально) переписать всю Солнечную систему без какого-либо сопротивления.

Недружественный ИскИн с молекулярной инфраструктурой (или другой быстрой инфраструктурой) не должен беспокоиться об армиях марширующих роботов, или шантаже, или тонких экономических вмешательствах. Недружественный ИскИн обладает способностью переделать все вещество Солнечной системы согласно своей цели оптимизации. Для нас будет фатальным, если этот ИскИн не будет учитывать при своем выборе то, как эта трансформация повлияет на существующие сейчас системы, такие как биология и люди. Этот ИскИн ни ненавидит вас, ни любит, но вы сделаны из атомов, которые он может использовать как-то по-другому. ИскИн работает на другой временной шкале, чем вы; к тому моменту, когда ваши нейроны закончат думать слова «надо что-то делать», вы уже проиграли.

Последнее семейство метафор связано с видами и основывается на межвидовых различиях интеллекта. Такой ИскИн обладает магией – не в смысле заклинаний или снадобий, но в том смысле, как волк не может понять, как работает ружье, или какого рода усилия требуются, чтобы изготовить ружья, или природу человеческой силы, которая позволяет нам придумывать ружья.

Вернор Виндж пишет:

«Сильное сверхчеловечество будет не просто разогнанным до большой скорости эквивалентом человеческого ума. Трудно сказать, чем именно сверхчеловечество будет, но разница, вероятно, будет глубокой. Представьте себе ум собаки, работающий на огромной скорости. Дадут ли тысячелетия собачей жизни хотя бы один человеческий инсайт?»

Перевод Алексея Турчина

© Артем Костюкевич, илл., 2015