Текст книги "Таинственные ответы на таинственные вопросы"

Автор книги: Элиезер Юдковский

сообщить о нарушении

Текущая страница: 2 (всего у книги 5 страниц)

Убеждение как одеяние

Элиезер Юдковский

Я уже разделил убеждения на контроллеры ожиданий, вера в убеждения, провозглашения и крики ободрения. Контроллеры ожиданий мы будем называть «полноценными убеждениями», остальные формы «неполноценными убеждениями». Полноценное убеждение может быть неверным или иррациональным (искреннее убеждение в том, что молитва исцелит больного ребёнка), но остальные формы иногда трудно вообще считать за убеждения.

Ещё один подвид неполноценных убеждений – убеждение как групповая идентификация, способ входить в сообщество. Робин Хансон использует великолепную метафору(English): люди, носящие необычную одежду в качестве своей униформы (например, риза священника или еврейская кипа), поэтому я буду называть это «убеждением как одеянием».

Зная человеческую психологию(English), можно сказать, что мусульмане, атаковавшие Всемирный торговый центр, без сомнения считали себя героями, защищающими истину, правосудие и Путь Ислама от ужасающих инопланетных чудовищ а-ля «День независимости». Нужно быть сильно не от мира сего – не иметь ни малейшего представления о том, как видят мир обычные люди – чтобы сказать это вслух в баре Алабамы. Американцы так не говорят. Американцы говорят, что террористы «ненавидят нашу свободу», а столкновение самолёта со зданием было «актом трусости». Нельзя говорить «героическое самопожертвование» и «террорист-смертник» в одном предложении, даже с целью правдиво показать, как видит мир Враг. Само понятие «отвага и альтруизм террориста» является одеянием Врага – поскольку об этом понятии говорит Враг. Понятие «трусость и социопатия террориста» является американским одеянием. Хочешь описать, как мир видит Враг, – забудь о кавычках; ты же не одеваешься на Хэллоуин фашистом, так?

Убеждение-как-одеяние может объяснить, почему люди могут придавать такой вес неполноценным убеждениям. Подозреваю, что вера в убеждения или религиозные провозглашения, сами по себе, с трудом порождают глубокие и мощные эмоциональные эффекты. Я не эксперт в этой области, но у меня сложилось следующее впечатление: люди, переставшие ожидать предсказанного религией будущего, пойдут на многое ради того, чтобы убедить себя в своей страстной вере, и эту отчаянность легко спутать с настоящим сильным чувством. Но всё же, это уже не тот огонь, который они носили в детстве.

С другой стороны, человеку очень легко искренне, пылко, на инстинктивном уровне принадлежать группе, болеть за любимую команду (Этот факт – фундамент надувательства под названием «Республиканцы против Демократов» и аналогичных лжедилемм(English) в других странах, но это уже другой разговор). Идентификация с племенем – очень мощная эмоциональная сила, люди готовы за неё умереть. И после того, как человек стал членом племени, он начинает вкладывать в убеждения, которые играют роль племенной униформы, всю ту страсть, с которой он принадлежит этому племени.

Перевод:

BT

http://lesswrong.com/lw/i7/belief_as_attire/

Лжеобъяснения

Элиезер Юдковский

Давным-давно жила-была в одном городе учительница физики. В один прекрасный день она пригласила в класс своих студентов и показала им широкую квадратную металлическую пластину рядом с обогревателем. Студенты прикладывали ладони к пластине и ощущали, что сторона пластины рядом с обогревателем кажется холодной, а дальняя от обогревателя сторона кажется тёплой. «В чём дело, как вы думаете?» – спросила учительница. Некоторые заговорили о конвекции воздушных потоков, остальные предположили наличие странных примесей в пластине. Студенты предложили много изобретательных объяснений, никто не снизошёл до фраз «Я не знаю» или «По-моему, это просто невозможно».

А разгадка была в том, что учительница развернула пластину ненагретой стороной к обогревателю перед тем, как студенты вошли в комнату.

Посмотрим на студента, растерянно бормочущего «Э… Ну, может быть, это из-за теплопроводности и всего такого?». Являются ли его слова полноценным убеждением? Слова достаточно легко произнести громким, убедительным голосом. Но контролируют ли они ожидание?

Подумаем о маленьком невинном предлоге «из-за», который стоит перед словом «теплопроводности». Подумаем о других вещах, которые он может предварять: например, можно сказать «из-за флогистона» или «из-за волшебства».

«Магия – не научное объяснение!» – можете закричать вы. Действительно, легко заметить, что эти две фразы – «из-за теплопроводности» и «из-за волшебства» – принадлежат различным литературным жанрам. Слово «теплопроводность» можно найти в лексиконе Спока из «Звёздного пути», а про «волшебство» может рассуждать Руперт Джайлз из «Баффи – истребительницы вампиров».

Но, будучи байесианцами, мы игнорируем жанры литературы. В наших глазах модель определяется через её воздействие на ожидания будущих событий. Ты сказал «теплопроводность»; на какие будущие переживания ты рассчитываешь, исходя из этой модели? В нормальных условиях эта модель подскажет тебе, что более тёплой на ощупь должна быть сторона пластины, которая ближе к обогревателю. Если фраза «из-за теплопроводности» может объяснить ещё и то, что ближняя к обогревателю сторона ощущается холоднее, то эта фраза может объяснить вообще всё что угодно.

Ну и, как все уже – я надеюсь – поняли к этому моменту: если ты одинаково хорошо объясняешь любой исход, то знаний у тебя – ноль. (В этом предложении автор ссылается на следующие материалы 1 – прим. пер.)

Если постоянно злоупотреблять фразой «из-за теплопроводности», то эта модель превратится в замаскированную гипотезу максимальной энтропии. В плане предсказаний такое предположение изоморфно фразе «это магия». Выглядит как объяснение, но им не является.

Представим, что мы измеряем температуру металлической пластины в различных точках и в разное время, вместо того, чтобы высказывать догадки вслух. Видя металлическую пластину рядом с нагревателем, обычно мы ожидаем увидеть, что температуры точек удовлетворяют равновесию диффузионного уравнения с учётом граничных условий, наложенных окружающей средой. У тебя может не получится правильно определить температуру в первой точке измерения, но после измерения нескольких первых точек – я не настолько физик, чтобы знать, сколько именно точек потребуется – уже можно с отличной точностью вычислить температуру остальных.

Истинный гуру искусства Ограничения Ожиданий По Поводу Материальных Явлений С Помощью Чисел – один из тех людей, которых мы называем «физиками» – сделает измерения и скажет «Эта пластина находилась в равновесии с окружением две с половиной минуты назад, потом её повернули на 180 градусов, и сейчас она снова к нему приближается»

Ошибка студентов не просто в том, что они не сумели ограничить свои ожидания. Их менее явная, и более глубокая ошибка заключалась в том, что они думали, что занимаются физикой. Они сказали «потому что», дополненное чем-то похожим на изречения Спока в «Звёздном пути», и решили, что тем самым они приобщились к магистерию науки.

Это не так. Они просто переместили магию из одного жанра литературы в другой.

1. Ссылки на материалы:

Сила рационалиста

Убеждение как одеяние

Провозглашения и крики ободрения

Вера в убеждения

Убеждения должны окупаться

Байесианское дзюдо

Religion’s Claim to be Non-Disprovable

Сфокусируй неуверенность

Отсутствие свидетельства

Знание задним числом обесценивает науку

Закон сохранения ожидаемых свидетельств

Перевод:

BT

http://lesswrong.com/lw/ip/fake_explanations/

Сфокусируй неуверенность

Элиезер Юдковский

Что случится с процентом по облигациям: он поднимется, опустится, или не изменится? Если ты работаешь экспертом в телепрограмме, где тебе нужно объяснить произошедшее постфактум, то тебе незачем волноваться. Какая бы из этих трёх возможностей ни реализовалась, ты всё равно сможешь объяснить, почему результат отлично вписывается в разработанную тобой теорию рынка. Нет смысла считать, что эти три возможности каким-то образом противопоставлены друг другу или несовместимы, поскольку ты в любом случае на сто процентов выполнишь свою работу в качестве эксперта.

Хотя подожди. Представь, что ты совсем недавно появился на телевидении и недостаточно опытен для того, чтобы придумывать правдоподобные объяснения на лету. Нужно заранее подготовить заметки для завтрашнего прямого эфира, а времени у тебя не так уж и много. Тогда было бы очень полезно знать, какой результат произойдёт на самом деле, – поднимется или опустится ли процент по облигациям – ведь тогда понадобится подготовить лишь один набор оправданий.

Увы, предвидеть будущее невозможно. Что ты собираешься делать? Ты определённо не будешь использовать «вероятности». Школа рассказала нам(English), что такое «вероятности»: так называются числа от нуля до единицы в тексте некоторых задач; сейчас же никто не сообщил тебе никаких чисел от нуля до единицы. Что ещё хуже, ты ощущаешь неуверенность, а – если тебе не изменяет память – во время вычисления ответа на такие задачи ты никогда не ощущал неуверенности. Лекции по математике читаются в чистых и знакомых аудиториях – разве уместно применять математику не в стенах института, а в запутанных и непонятных жизненных ситуациях? Использовать какой-либо стиль мышления в непригодной для него обстановке(English) – всегда плохая идея. Ясно, о «вероятностях» вспоминать не надо.

Тем не менее, у тебя есть всего лишь 100 минут для того, чтобы подготовить оправдания. Нельзя потратить все 100 минут, обдумывая сценарий «повышение», и ещё потратить все 100 минут, набрасывая реплики для сценария «понижение», и ещё потратить 100 минут на размышления о сценарии «неизменность».

Если какая-нибудь проверочная комиссия собирается исследовать твоё расходование времени, то лучше бы потратить равное количество времени на подготовку к каждому возможному исходу. Никто не сообщил тебе чисел от нуля до единицы, и поэтому у тебя на руках нет никакой документации, могущей обосновать неравные временные затраты. Ты легко можешь представить, что именно скажут тебе проверяющие: «И почему же вы работали над оправданием №3 ровно 42 минуты, мистер Финклдинджер? Почему не 41 или 43 минуты? Признайте свою необъективность! Вы отдаёте предпочтение своим субъективным любимчикам!»

Однако ты с облегчением вспоминаешь, что никакая проверочная комиссия и не собирается искать в твоих поступках повода для обвинений. Это замечательно, ведь завтра прозвучит важное объявление от Федерального Резерва Банка США, и кажется маловероятным, что цены на процент по облигациям не изменятся. У тебя нет ни малейшего желания тратить драгоценные 33 минуты на подготовку речи, которую ты не планируешь произносить.

В голове всплывают наброски объяснений: подробные рассказы о том, почему каждое событие правдоподобно вытекает из твоей теории рынка. Но почти сразу становится ясно, что сейчас правдоподобность не поможет: все исходы правдоподобны. Каждый сценарий вписывается в твою теорию рынка, но это не имеет никакого отношения к тому, как следует поделить время на подготовку. Между сотней минут и способностью вписывать события в теорию есть принципиальное отличие: первое – ограниченно, второе – нет.

И всё же… У тебя нет зацепок, но всё же ты, кажется, ожидаешь эти события с разной силой. Какие-то оправдания кажутся тебе более важными, какие-то – менее. И – восхитительная деталь – если представить что-то, делающее повышение процента более вероятным, то объяснения для сценариев понижения и неизменности кажутся уже менее нужными.

Кажется, что существует связь между тем, насколько ты ожидаешь увидеть каждый из исходов, и тем, как ты хочешь разделить время подготовки между их оправданиями. Разумеется, эту связь невозможно измерить. У тебя есть 100 минут на подготовку, но здесь и не пахнет сотней «единиц предвкушения», или чего-нибудь такого. (Хотя ты определил, как работает твоя функция полезности: она пропорциональна логарифму времени, потраченного на подготовку оправдания для того события, которое совершилось в действительности)

Но всё же… В мысли о том, что ожидание конечно, – и конечное ожидание подобно конечному времени на подготовку объяснений, а не бесконечной способности объяснять – явно что-то есть. Возможно, имеет смысл думать об ожидании, как о каких-нибудь ресурсах: например, как о деньгах. После такого сравнения сразу же тянет подумать о том, где можно достать ещё ожидания, но это бессмысленно: сколько ожидания бы ты не раздобыл, времени на подготовку от этого не прибавится. Нет, задача решается по-другому: нужно попытаться использовать свои ограниченные запасы ожидания наилучшим образом.

Ни о чём подобном на лекциях по статистике не говорилось. Никто не рассказал, что делать, когда это чёртово ощущение неопределённости так сильно давит на мысли. Никто не рассказал, что делать, когда неизвестно никаких чисел от нуля до единицы. Хотя при чём тут это? Если уж использовать числа, то с равным успехом можно использовать любые числа: нет никаких зацепок, указывающих на то, какой раздел математики следует использовать, если здесь стоит использовать вообще хоть какой-нибудь раздел математики. Может быть, пригодятся пары чисел: число слева, число справа. Такой подход можно будет назвать «теорией Декстера—Синистера», поскольку именно так «левый» и «правый» звучат на латыни. Или что-нибудь ещё, какой-нибудь другой метод и иная аксиоматика. (Во всяком случае, число «100» – 100 минут на подготовку – точно должно где-то участвовать, это понятно)

Почему никто не открыл правил фокусировки неопределённости? Правил, позволяющих распределить ожидание таким образом, чтобы большинство ожидания попало в тот исход, который произойдёт на самом деле?

Но как будет называться это искусство? И как будут выглядеть эти правила?

Перевод:

BT

http://lesswrong.com/lw/ia/focus_your_uncertainty/

Отсутствие свидетельства

Элиезер Юдковский

Запоздалое впихивание свидетельств в гипотезу сыграло свою роль в самой горестной главе истории Соединенных Штатов, интернировании японцев в начале Второй Мировой. 21 февраля 1 942 года Эрл Варрен, губернатор Калифорнии, в ответ на замечание об отсутствии случаев саботажа, шпионажа или иной подрывной деятельности живущих в Америке японцев, сказал:

«Я придерживаюсь мнения, что это отсутствие является самым зловещим во всей этой ситуации. Больше чем что-либо ещё, это убеждает меня в том, что будущие саботажи, будущие действия Пятой Колонны будут назначены на определённое время, точно так же, как на определённое время был назначен Перл Харбор… Я считаю, что нам внушают лживое ощущение безопасности.» – Робин Дэйвс, «Rational Choice in an Uncertain World».

Рассмотрим утверждение Варрена через призму теоремы Байеса. Когда мы видим свидетельство, приписавшая этому свидетельству большое правдоподобие гипотеза увеличивает вероятность своей истинности за счёт гипотезы, приписавшей этому свидетельству меньшее правдоподобие. На исход влияют лишь относительные отношения правдоподобия и вероятности: можно приписать свидетельству очень большое правдоподобие, но всё равно потерять вероятностную меру из-за того, что какая-то другая гипотеза приписала этому свидетельству ещё большее правдоподобие.

Варрен, похоже, утверждает, что отсутствие саботажа закрепляет его убеждение о существование Пятой Колонны. Да, возможно, Пятая Колонна совершит саботаж потом. Но вероятность того, что отсутствие саботажа совершила существующая Пятая Колонна ниже вероятности того, что отсутствие саботажа совершила несуществующая Пятая Колонна.

Пусть E – наблюдение саботажа, H1 – гипотеза о американо-японской Пятой Колонне и H2 – гипотеза о том, что её не существует. Чему бы не равнялась вероятность того, что Пятая Колонна не совершит саботажа (величина P(E|H1)), она не может быть больше вероятности того, что отсутствие Пятой Колонны не совершит саботажа (величины P(E|H2)). Поэтому наблюдение отсутствия саботажа увеличивает вероятность того, что Пятой Колонны не существует.

Отсутствие саботажа не доказывает, что Пятой Колонны не существует. Отсутствие доказательства – не доказательство отсутствия. В логике A→B, «из А следует B» не эквивалентно ~A→~B, «из не-А следует не-B».

Но в теории вероятности отсутствие свидетельства – свидетельство отсутствия. Если E – бинарное событие и P(H|E) больше P(H), «наблюдение E увеличивает вероятность H», то P(H|~E) меньше P(H), «неудачное наблюдение E уменьшает вероятность H». P(H) – это взвешенное среднее P(H|E) и P(H|~E), и поэтому она обязательно лежит между ними.

В большинстве случаев, которые встречаются в реальном мире, явление не обязано постоянно создавать свидетельства своего существования, но ждать этих свидетельств от отсутствия этого явления ещё более безнадёжно. Отсутствие наблюдений может быть как сильным свидетельством отсутствия, так и очень слабым свидетельством отсутствия – зависит от вероятности, с которой явление создаёт эти наблюдения. Отсутствие довольно слабо разрешённого события (пусть даже альтернативная гипотеза не разрешает его вообще) – довольно слабое свидетельство отсутствия (но всё же свидетельство). В этом заключается ошибка креационистов, ссылающихся на «пробелы в летописи окаменелостей»: окаменелости формируются редко, и поэтому бессмысленно праздновать отсутствие наблюдения, слабо разрешённого теорией, достоверность которой уже установлена множеством сильных положительных наблюдений. Однако, если не зафиксировано вообще ни одного положительного наблюдения – время беспокоиться; отсюда и парадокс Ферми.

Cила рационалиста состоит в способности быть озадаченным вымыслом больше, чем реальностью. Если ты одинаково хорошо объясняешь любой исход, то знаний у тебя – ноль. Сила модели измеряется не тем, что она может объяснить, а тем, что она объяснить не может – только запреты могут упорядочить ожидания будущего. Если ты не замечаешь, вероятность каких наблюдений твоя модель уменьшает, то ты с тем же успехом можешь выбросить эту модель, и с тем же успехом можешь жить без этих наблюдений; без мозга и без глаз.

Перевод:

BT

http://lesswrong.com/lw/ih/absence_of_evidence_is_evidence_of_absence/

Закон сохранения ожидаемых свидетельств

Элиезер Юдковский

Фридрих Шпее фон Лангенфельд, духовник присуждённых к смерти ведьм, в 1 631 году написал книгу «Cautio Criminalis» («Предосторожность касательно преступлений»), в которой он язвительно описал древо принятия решения о приговоре обвинённой в колдовстве: если ведьма вела злую и грешную жизнь, то это говорило о её вине; если она вела добрую и благочестивую жизнь, то это тоже было доказательством, поскольку ведьмы, скрываясь, пытаются притвориться образцами добродетели. После того, как женщину привели в тюрьму: если она была испугана, то она была виновной; если она не была испугана, то это подтверждало её вину, поскольку ведьмы, стараясь казаться невинными, натягивают храбрую мину. Услышав обвинение в колдовстве, женщина может попытаться спастись бегством: если она убегает, то она виновна; если она остаётся на месте, то её ноги сковал дьявол.

Шпее давал последние напутствия более двумстам осуждённым ведьмам. У него имелась возможность посмотреть на каждую ветвь дерева обвинений и увидеть, что абсолютно любые слова или действия обвинённой лишь укрепляли уверенность инквизиторов в её вине. Однако в каждом отдельном случае люди видели только одну ветвь дилеммы. Именно поэтому учёные формулируют свои экспериментальные предсказания заранее.

Но нельзя получить и то, и другое. «Нельзя» в смысле «математически невозможно», а не просто «нечестно». Правило «отсутствие свидетельства есть свидетельство отсутствия» – частный случай более общего утверждения, которое я называю законом сохранения ожидаемых свидетельств: математическое ожидание апостериорной вероятности с учётом будущего свидетельства должно равняться априорной вероятности. P(H) = P(H) P(H) = P(H,E) + P(H,~E) P(H) = P(H|E) ∙ P(E) + P(H|~E) ∙ P(~E)

Или, перенеся P(H) на другую сторону: (P(H|E) − P(H)) ∙ P(E) + (P(H|~E) – P(H)) ∙ P(~E) = 0, ожидаемое изменение вероятности – ноль.

Следовательно, для каждого ожидания свидетельства в пользу, существует равное и противоположно направленное ожидание свидетельства против.

Если имеется высокая вероятность получения слабого свидетельства в одну сторону, то она компенсируется низкой вероятностью получения сильного свидетельства в другую сторону. Если ты очень уверен в своей теории, и поэтому ожидаешь увидеть предсказанный результат, то исполнение предсказания лишь самую чуточку усиливает убеждённость в этой теории (эта убеждённость и без того близка к 1), однако неожиданная неудача нанесёт уверенности сильный удар, как и должно быть. В среднем, твоя убеждённость остаётся совершенно неизменной. Аналогично, одно лишь ожидание встретить свидетельство – до того, как ты увидел, в чём именно оно заключается – не должно сдвигать твоей априорной убеждённости.

Поэтому, заявляя, что отсутствие саботажа подтверждает существование японско-американской Пятой Колонны, человек должен подразумевать, что наличие саботажа опровергает существование Пятой Колонны. Если доброта и благочестие – свидетельство того, что женщина является ведьмой, то злоба и грех должны быть свидетельством её невиновности. Если Господь, проверяя нашу веру, отказывается явить Себя нашим глазам, то описанные в Библии чудеса должны разубеждать(English) нас в существовании Бога.

Звучит как-то неправильно, ведь так? Прислушивайся к ощущению натянутости, внимательно ищи это тихое напряжение на границе восприятия. Это важно.

Истинный байесианец не может искать свидетельства в пользу теории. Не может существовать ни чёткого плана, ни умной стратегии, ни хитрого приёма, с помощью которых можно проводить эксперименты, систематически убеждающие всех в каком-либо утверждении. Нельзя поставить эксперимент, который подтвердит теорию; эксперименты могут лишь испытывать теорию.

Осознав это, можно ощутить: дышится намного легче. Не надо мучиться, пытаясь интерпретировать каждый возможный исход эксперимента так, чтобы он подтверждал твою теорию. Не надо обдумывать, как заставить каждую йоту свидетельств подтверждать твою теорию, ведь для каждого ожидания свидетельства в пользу, существует равное и противоположно направленное ожидание свидетельства против. Можно ослабить силу укуса возможного «аномального» наблюдения, лишь ослабив поддержку от «нормального» наблюдения; сила среднего укуса всегда в точности равна силе средней поддержки. Это игра с нулевой суммой. Как бы ты ни спорил, как бы ты ни сотрудничал с Тёмной Стороной, как бы ты будущие стратегии ты бы ни вырабатывал, – ты не можешь рассчитывать, что будущее сдвинет твои взгляды в определённую сторону.

С тем же успехом ты можешь просто сесть, расслабиться, и ждать, пока твои свидетельства сами не придут к тебе.

…временами я ужасаюсь извращённости человеческой психики.

Перевод:

BT

http://lesswrong.com/lw/ii/conservation_of_expected_evidence/