Текст книги "Таинственные ответы на таинственные вопросы"

Автор книги: Элиезер Юдковский

сообщить о нарушении

Текущая страница: 3 (всего у книги 5 страниц)

Знание задним числом обесценивает науку

Элиезер Юдковский

Этот отрывок(English) из книги Дэвида Майерса «Изучаем социальную психологию», стоит того, чтобы прочитать его полностью. Каллен Мерфи, издатель журнала «Atlantic», заметил, что социальные науки не открывают ничего, что нельзя было бы «найти в цитатниках заранее… День за днем ученые-социологи выходят в мир. И день за днем они открывают, что поведение людей очень похоже на то, что они и ожидали увидеть».

Конечно же, всё это «ожидание увидеть» вытекает из эффекта знания задним числом (эффект знания задним числом: знающие ответ на вопрос люди считают его более очевидным, чем люди, пытающие угадать ответ, не зная его заранее; «разумеется, я додумался бы до этого!»).

Историк Артур Шлезингер-младший называл социологические исследования американских солдат времен второй мировой войны «нудной демонстрацией» здравого смысла. Например:

У солдат с более высоким уровнем образования возникало больше проблем с адаптацией, чем у менее образованных (интеллектуалы были менее готовы к стрессам войны, чем люди, выросшие на улицах).

Южане легче, чем северяне, переносили жару островов Южного моря (южане более привычны к жаркому климату).

Белые рядовые сильнее, чем чернокожие, стремились к продвижению по службе (годы угнетения посеяли в чернокожих желание «не высовываться»).

Чернокожие южане предпочитали белых офицеров с Юга офицерам с Севера (так как первые обладали большим опытом общения с чернокожими).

Когда война окончилась, солдаты скучали по дому не так сильно, как во время боевых действий (во время битвы солдаты знали, что находятся в смертельной опасности и могут больше не увидеть родных).

Сколько из этих наблюдений ты мог бы вывести заранее? 3 из 5? 4 из 5? Есть ли случаи, касательно которых ты предсказал бы противоположное; случаи, наносящие твоей модели мира удар? Прежде чем продолжить чтение, хорошо подумай над этим.

Все утверждения из этого списка прямо противоположны тому, что было обнаружено в действительности. Сколько раз твоя модель мира была испытана на прочность? Сколько раз ты признал, что ты бы ошибся? Теперь можно сделать вывод о том, насколько хороша твоя модель на самом деле: сила рационалиста состоит в способности удивляться вымыслу больше, чем реальности.

А ещё я мог, перепечатывая этот остроумный список за авторством Поля Лазарсфельда, перевернуть результаты ещё раз – тогда удары остаются ударами, а удачные предсказания удачными предсказаниями. Что скажешь?

Теперь ты действительно не знаешь ответа. Замечаешь ли ты, что процессы, идущие в твоей голове сейчас, чем-то отличаются от тех процессов, которые происходили там ранее? Чувствуешь ли ты, что поиск ответа ощущается по-другому, не так, как рационализация обеих сторон «известного» ответа?

Дафна Барац разделила студентов на две группы и сообщала одной результат социологического исследования (например, «Во время подъема экономики люди тратят большую часть своего дохода, чем во время спада» или «Люди, регулярно посещающие церковь, стремятся иметь больше детей, чем те, кто редко ходит в церковь»), а другой – перевёрнутый результат того же социологического исследования. Обе группы утверждали, что данный им результат они смогли бы предсказать заранее. Отличный пример эффекта знания задним числом.

Что приводит людей к мысли, что им не нужна наука, ведь всё «и так ясно».

(довольно очевидный вывод, не так ли?)

Знание задним числом заставляет нас систематически недооценивать неожиданность научных открытий, особенно тех открытий, которые мы можем понять; тех открытий, которые нам близки, и которые мы можем постфактум уместить в свою модель мира. Регулярно читающий новости человек, разбирающийся в неврологии или физике, скорее всего тоже недооценивает неожиданность открытий в этих дисциплинах. Этот эффект несправедливо обесценивает вклад исследователей, и, что ещё хуже, не даёт тебе заметить свидетельства, которые отличаются от того, что бы ты предсказал на самом деле.

Без сознательного усилия невозможно почувствовать должный уровень шока.

Перевод:

BT

http://lesswrong.com/lw/im/hindsight_devalues_science/

Угадай слово, задуманное учителем

Элиезер Юдковский

В юности я читал популярные книги по физике, например «КЭД – странная(English) теория света и вещества» Ричарда Фейнмана. Я знал: свет – это волны, звук – это волны, материя – это волны. Мне было девять лет и я гордился своей научной грамотностью.

Намного позже, когда я начал читать фейнмановские лекции по физике, я наткнулся на жемчужину под названием «волновое уравнение». Я мог проследить за его выводом, но у меня не выходило охватить это доказательство одним взглядом(English). В течении трёх дней, от случая к случаю, я думал об этом уравнении, и, наконец, понял, что оно до смешного очевидно. И после этого я осознал, что всё то время, когда я верил в честные заверения физиков о том, что свет – это волны, звук – это волны, материя – это волны, я не имел ни малейшего понятия о том, какой именно смысл вкладывают физики в слово «волна».

Вполне естественно думать, что если учёный говорит: «Свет – это волны», и учитель спрашивает, что такое свет, на что студент отвечает: «это волны», то студент произнёс истинное утверждение. По-другому ведь нечестно, правда? Если мы считаем фразу «свет – это волны» верной в устах физика, то она же должна быть верна и в устах студента? В самом деле, утверждение «свет – это волны» либо истинно, либо ложно, не так ли?

И это – ещё одна плохая привычка, которой нас учат в школе(English). У слов нет встроенных значений. Когда я слышу слоги «бо-бёр», в моём мозгу возникает образ большого грызуна; но это факт о состоянии моего разума, а не о слогах «бо-бёр». Последовательность слогов «это волны» (или «из-за теплопроводности») – это не гипотеза. Это набор колебаний воздуха, либо форма, принятая чернилами на бумаге. Внутри разума может быть связь между этой фразой и какой-нибудь гипотезой, но эта фраза, сама по себе, не является ни истинной, ни ложной.

Однако, если сказать школьному учителю «это волны», то ты получишь пятёрку с плюсом: учитель считает ответ «это волны» правильным, поскольку он наблюдал, как физик создаёт эти же колебания воздуха. А раз пятёрки с плюсом раздают за определённые фразы (написанные либо произнесённые), то студенты начинают думать, что у фраз есть истинностное значение. В конце концов, свет либо волны, либо не волны, так?

И это ведёт к ещё более ужасной привычке. Представим, что учитель ставит перед тобой странную задачу: ближняя сторона металлической пластины, лежащей рядом с обогревателем, ощущается менее тёплой, чем дальняя. Учитель спрашивает, в чём дело. Ответить «я не знаю» нельзя: тогда ты ни только не получишь пятёрку с плюсом, но даже не будешь считаться участвовавшим в уроке. Но в течение этого семестра учитель использовал фразы «из-за теплопроводности», «из-за конвекции» и «из-за теплового излучения». Видимо, одну из них учитель и желает услышать в ответ. Поэтому ты тянешь: «Нууу… может быть, из-за теплопроводности?».

Это не гипотеза о металлической пластине. Это даже не полноценное убеждение. Это попытка подобрать пароль.

Даже вспомнить уравнение диффузии (математическое описание процесса теплопроводности) – не то же самое, что и сформировать гипотезу о металлической пластине. Это не школа, и никто не собирается проверять, способен ли ты написать уравнение диффузии по памяти. Это байесоткачество, и мы начисляем очки за ожидания будущих переживаний. Если ты используешь уравнение диффузии – измерив температуру нескольких точек термометром, а затем пытаясь предсказать результат следующего измерения – то тогда это определённо привязано к переживаниям реального мира. Даже если студент просто представляет себе движение тепла, и поэтому подносит спичку к холодной стороне для того, чтобы измерить, куда течёт тепло, то этот мысленный образ движения привязан к переживаниям и контролирует ожидание будущего.

Если ты не используешь уравнение диффузии: не подставляешь в него числа и не получаешь данные, влияющие на твои ожидания определённых переживаний, то тогда твоя когнитивная карта полностью отрезана от местности. То, что осталось, даже нельзя назвать убеждением – это просто речевое поведение.

Школьная система построена вокруг речевого поведения, выражается ли оно через колебания воздуха, или через узор чернил на бумаге. От речевого поведения зависит, получишь ли ты пятёрку с плюсом, или двойку вместе с вызовом родителей. Осознавать различие между объяснением и паролем – первый шаг на пути избавления от этой вредной привычки.

Не слишком ли это жестоко? Ведь, когда человек пытается разрешить загадку металлической пластины, мысль «теплопроводность?» может быть первым шагом к нахождению ответа, верно? Может быть, но только в том случае, если этот человек старается разрешить загадку, а не подобрать пароль. Если нет учителя, готового указать на ошибку, то ловушка становится ещё страшнее. Тогда можно считать фразу «Свет – это вакаликс» хорошим объяснением, можно думать, что слово «вакаликс» – правильный пароль. Когда мне было 9 лет, это случилось и со мной: не потому что я был глуп, а потому, что это то, что случается обычно, по умолчанию. Это привычный для людей образ мыслей, и чтобы его избежать, нужно приучить себя не попадать в эту ловушку. Человечество падало в такие ямы и сидело в них тысячелетиями.

Возможно, если вдолбить студентам, что слова не считаются, а имеют значение лишь контроллеры ожиданий, то никто больше не застрянет в западне алгоритма «Теплопроводность? Нет? Тогда конвекция? Тоже не то?». Возможно, тогда мысль «может быть, теплопроводность?» будет началом действительно полезного пути, например:

«Теплопроводность?»

Но это только фраза – что она означает?

Уравнение диффузии?

Но это только символы – как мне их применить?

Будь уравнение диффузии справедливым, чего бы я рассчитывал почувствовать?

Я определенно не рассчитывал бы обнаружить, что отдаленная от обогревателя часть металлической пластины будет теплей.

Я замечаю своё замешательство. Возможно ближняя сторона всего лишь ощущается более холодной? Скажем, она изготовлена из какого-нибудь плохо проводящего тепло материала и поэтому передает меньше теплоты моей руке? Я попробую измерить температуру…

Ладно, не сработало. А если проверить, приложимо ли вообще уравнение диффузии к этой металлической пластине? Тепло течет как обычно, или происходит нечто иное?

Можно поднести спичку к пластине и попробовать измерить, как тепло распространяется с течением времени…

Если не выкорчевать сорняк лжеобъяснения «Эмм, может быть из-за теплопроводности?», то студент, скорее всего, застрянет на стадии паролей и вакаликса. Это происходит по умолчанию, это происходило со всем человечеством на протяжении тысяч лет.

Перевод:

BT

http://lesswrong.com/lw/iq/guessing_the_teachers_password/

Наука как одеяние

Элиезер Юдковский

В трейлере фильма «Люди Икс» голос за кадром говорит: «В каждом человеке… есть генетический код… вызывающий мутации». Несложно заметить, что, мутировав, можно приобрести разнообразные полезные способности. К примеру, мутант Шторм без труда метает молнии.

Прошу тебя, дорогой читатель, подумать о биологических приспособлениях, необходимых для производства электричества; о природной защите от собственного электричества; а также о структурах внутри мозга, отвечающих за тонкое управление разрядом молнии. Если мы бы и в самом деле обнаружили бы организм, который приобрёл такие способности за одно поколение, в результате мутации, то это бы одним махом вдребезги бы опровергло неодарвинистскую модель естественного отбора: это было бы ещё убийственнее, чем скелет кролика, датируемый докембрием. Если теорию эволюции действительно можно растянуть так, чтобы она не возражала против истории Шторм, то она станет способной объяснить всё, что угодно, и нам прекрасно известно, к чему такое ведёт.

Серия комиксом «Люди X» использует термины вроде «эволюция», «мутация» и «генетический код» лишь для создания атмосферы наукообразия; лишь для того, чтобы она относилась к науке как литературному жанру. И меня пугает то, как часто я встречаю людей (особенно в СМИ), воспринимающих науку исключительно как жанр литературы.

Я сталкиваюсь с людьми, которые твёрдо верят (English) в эволюцию и не воспринимают всерьёз креационистов. При этом они вообще не имеют представления о том, что запрещено законами эволюционной биологии, а что нет. Они могут говорить про «следующий шаг эволюции человечества», как если бы естественный отбор имел бы свой план действий. Хуже того, они могут говорить о явлениях, вообще находящихся за пределами эволюционной биологии, вроде улучшений дизайна компьютерных чипов, дробления корпораций, или загрузке человека в компьютер, называя всё это «эволюцией». Если это относится к эволюционной биологии, то эволюционная биология относится ко всем явлениям на Земле.

Вероятно, большинство людей, которые верят в эволюцию, используют фразу «вследствие эволюции», потому что они хотят чувствовать себя причастными к научной тусовке. Выражение становится деталью имиджа, символическим одеянием, навроде лабораторного халата. Если бы научная тусовка вместо «вследствие эволюции» говорила бы «вследствие разумного замысла», то такие люди вдохновенно повторяли бы и это – это совершенно бы не затронуло их ожидания того, что можно встретить в мире. Для них нет разницы, говорить ли «из-за эволюции» или «из-за разумного замысла». По их мнению, эволюция никоим образом не запрещает существования Шторм, а научные словечки имеют единственное назначение – возможность отождествлять себя с племенем.

Я регулярно встречаю людей, которые с распростёртыми объятиями ждут создания «более-глупого-чем-человек» искусственного интеллекта, или даже «чуточку-более-умного-чем-человек» ИИ. Стоит начать рассказывать им о разработке ИИ, намного превосходящего человеческие возможности, как они сразу относят это к «псевдонауке» (English). При этом, разумеется, ни у кого из них нет теории интеллекта (пусть и сомнительной), позволявшей бы рассчитывать верхний и нижний пределы мощи процессов оптимизации. Скорее, они просто ассоциируют сверхчеловеческий ИИ с литературным жанром беллетристики о конце света; а, услышав историю о небольшой компании под управлением ИИ, они вспоминают забавные заметки из «Компьюленты». Их утверждения не опираются на какую-либо модель разума. Они не понимают, что им нужна модель, чтобы делать такие утверждения. Они даже не понимают, что наука основана на моделях. Их уничижительная критика целиком построена на сравнениях с апокалиптическими сюжетами, а не на, скажем, существующих принципах, которые делают невозможными подобное развитие событий. Наука для них – лишь литературный жанр, или группа «своих», к которой стоит быть причастным. Одеяние, которое они носят, не похоже на лабораторный халат, и футбольная команда, за которую они болеют, – это не учёные.

Есть ли что-то такое в науке, верой во что вы гордитесь, но до сих пор не применяете вашу веру на практике? Вам лучше спросить себя сейчас, какие возможные варианты будущего ваша вера запрещает. Эта проверка покажет, что вы усвоили на самом деле, что вы сделали частью своей личности. Всё остальное – скорее всего, лишь пароли или одеяния.

Перевод:

santacloud, MacDelph, BT, kostyazen, 7yukari7, Dmitry Antonyuk

http://lesswrong.com/lw/ir/science_as_attire/

Лжепричинность

Элиезер Юдковский

Флогистон – это ответ Европы XVIII века на первоэлемент огня, введённый греческими алхимиками. Зажги древесину и позволь ей сгореть. Что представляет из себя эта яркая оранжевая штука? Почему древесина превратилась в пепел? На оба эти вопроса химики XVIII века отвечали – «флогистон».

…и больше ничего. Это всё, в этом и заключался их ответ: «флогистон».

Флогистон покидал горящие вещества как видимое пламя. В результате горящие вещества теряли свой флогистон и становились пеплом, своим «истинным материалом». Огонь, помещённый в герметичный сосуд, быстро гас потому, что воздух насыщался флогистоном и больше не мог его вместить. Уголь почти не оставлял никакого пепла, потому что он почти полностью состоял из флогистона.

Разумеется, никто не использовал теорию флогистона для того, чтобы предсказать результат химического превращения. Алхимик сначала смотрел на результат, а затем при помощи флогистона объяснял его. Не было и намёка на то, чтобы флогистонщики предсказали прекращение горения в замкнутом сосуде; они, скорее, зажгли огонь в сосуде, увидели его угасание и затем сказали: «Должно быть, воздух насытился флогистоном». Теорию флогистона нельзя применить для того, чтобы выяснить, чего ты точно не сможешь увидеть. Она может объяснить всё.

Наука ещё только начинала выходить на сцену. Очень долго никто не осознавал, что в этой теории что-то не так.

Встретив лжеобъяснение, очень легко не ощутить его фальшивость: потому они и опасны.

Современные специалисты предполагают, что люди думают о причино-следственных связях, используя нечто вроде направленных ациклических графов или байесовских сетей. Поскольку шел дождь, тротуар мокрый; поскольку тротуар мокрый, он скользкий:

[Дождь] → [Тротуар мокрый] → [Тротуар скользкий]

Из этого можно вывести (а, имея байесовскую сеть, можно даже точно вычислить эту вероятность), что, если тротуар скользкий, то, вероятно, шёл дождь. Однако, если уже известно о мокрости тротуара, то сообщение о его скользкости не несёт в себе никакой новой информации о дожде.

Почему огонь горячий и яркий?

[«Флогистон»] → [Огонь горячий и яркий]

Это выглядит как объяснение. И в мозгу эта информация хранится в том же формате и под тем же расширением, что и «настоящие» объяснения. Но человеческий разум неспособен автоматически определить, что стрелка, соединяющая гипотезу с её возможными следствиями, никак не ограничивает пути, которыми могут проявляться эти следствия. Эффект знания задним числом делает ситуацию ещё хуже: люди могут считать, что гипотеза действительно ограничивает происходящее, хотя на самом деле гипотеза подогнана под происходящее постфактум.

Современная трактовка вероятностных рассуждений о причинности(English) может точно описать, в чём именно состояла ошибка флогистонщиков. Байесовские сети были разработаны для того, чтобы, кроме всего прочего, не учитывать свидетельства дважды в том случае, когда логический вывод между причиной и следствием возможен в обе стороны. Например, я добыл кусочек ненадёжной информации о том, что тротуар мокрый. Это заставляет меня подумать: «возможно, идёт дождь». Но если идёт дождь, то, утверждение «тротуар мокрый» стало более правдоподобным, так? То же самое ведь касается и скользкости тротуара, верно? Но если тротуар скользкий, то он, скорее всего, мокрый – и тогда нужно опять повысить вероятность того, что идёт дождь.

Джуди Перл приводит в качестве метафоры алгоритм подсчёта солдат в линии. Представьте, что вы стоите в линии и видите рядом только двух солдат: одного спереди и одного сзади. Всего трое солдат. Вы спрашиваете своего соседа: «Сколько солдат ты видишь?» Он оглядывается и говорит: «Троих». Получается, всего солдат шесть. Очевидно, что так решать эту задачу не стоит.

Умнее будет спросить у стоящего впереди солдата: «Сколько солдат перед тобой?», и у стоящего позади: «Сколько солдат за тобой?». Сообщение с вопросом «сколько солдат перед тобой?» можно передать дальше без особых затруднений. Если я стою первым, то я передам назад «1 солдат впереди». Человек, стоящий прямо за мной, получит сообщение «1 солдат впереди» и скажет второму своему соседу «2 солдата впереди». В это же время кто-то получает сообщение «N солдат позади» и передаёт стоящему впереди солдату сообщение «N+1 солдат позади». Сколько же всего солдат? Сложите оба полученных числа и добавьте единицу для себя – это и есть общее число солдат в линии.

Ключевая идея состоит в том, что каждый солдат должен отдельно отслеживать эти два сообщения, прямое и обратное, и сложить их вместе только в конце. Нельзя добавлять солдат из обратного сообщения, которое ты получил, в прямое сообщение, которое ты передашь дальше. Разумеется, сообщение с общим числом солдат никогда не появляется в этой цепочке: никто не произносит этого числа вслух.

Аналогичный принцип применяется в строгих вероятностных рассуждениях о причинности. Получение из не связанного с мокрым тротуаром источника каких-либо свидетельств о дожде создаст прямое сообщение от узла [дождь] к узлу [мокрый тротуар], и тем самым усилит ожидание увидеть мокрый тротуар. Наблюдение мокрого тротуара создаст обратное сообщение, идущее к убеждению о дожде, а затем это сообщение распространится от узла [дождь] до всех его соседей, кроме узла [мокрый тротуар]. Каждый кусочек свидетельства учитывается ровно единожды; корректировки никогда не застревают между узлами, скача туда и обратно. Точный алгоритм можно найти в классической книге Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference(English) Джуди Перла.

Так что же было неправильно в теории флогистона? Когда мы наблюдаем, что огонь горячий, узел [огонь] посылает обратное сообщение со свидетельством узлу [флогистон], вынуждая нас обновить убеждения о флогистоне. Но тогда мы не можем считать это успешным предсказанием теории флогистона. Сообщение должно идти в единственном направлении, не отражаясь назад.

Увы, для обновления сетей убеждений люди используют не строгий алгоритм, а его грубое приближение. Мы изучаем родительские узлы, наблюдая за дочерними узлами, и предсказываем поведение дочерних узлов, используя убеждения о родительских узлах. Но ящик с документацией по прямым сообщениям не отделён от ящика с документацией по обратным сообщениям толстой непроницаемой стеной. Мы просто помним: «флогистон горячий, и из-за этого огонь тоже горячий». Всё это выглядит так, будто теория флогистона предсказывает «горячесть» огня. Или, что ещё хуже, нам кажется: «флогистон делает огонь горячим».

Лишь после того, как кто-нибудь заметит полное отсутствие предсказаний заранее, не ограничивающий ожиданий причинно-следственный узел получит ярлык «фальшивка». До этого момента он не будет отличаться от остальных узлов в сети убеждений. Утверждение «флогистон делает огонь горячим» ощущается фактом точно так же, как и все остальные известные тебе факты.

Правильно спроектированный ИИ заметит проблему мгновенно. Для этого не понадобится какой-нибудь особенной заплатки, нужен всего лишь правильный учёт происходящего в сети убеждений (к сожалению, в отличие от правильно спроектированных ИИ, люди не способны переписывать свой исходный код, чтобы исправить найденные ошибки)

Рассуждения об «эффекте знания задним числом» – это просто способ не привлекая технических терминов рассказать о том, что люди не разделяют прямые и обратные сообщения, из-за чего прямые сообщения могут загрязняться обратными.

Люди, пошедшие по пути флогистона, не намеревались стать дураками. Ни один учёный не желает застрять в тупике. Не скрываются ли лжеобъяснения в недрах твоего разума? Если они там есть, то к ним определённо не приклеен ярлык «лжеобъяснение», и поэтому поиска по ключевому слову «фальшивка» явно недостаточно для того, чтобы их обнаружить.

Проверить, насколько хорошо теория «предсказывает» уже известные тебе факты, также недостаточно: эффект знания задним числом обесценит все усилия. Предсказывать нужно на завтра, а не на вчера. Лишь так можно быть уверенным в том, что захламлённый человеческий разум действительно посылает чистое прямое сообщение.

Перевод:

BT

http://lesswrong.com/lw/is/fake_causality/