Текст книги "Лягушка в кипятке и еще 300 популярных инструментов мышления, которые сделают вас умнее"

Автор книги: Лорен Макканн

Соавторы: Габриэль Вайнберг
сообщить о нарушении

Текущая страница: 11 (всего у книги 22 страниц)

судьи были менее склонны предоставлять политические убежища, если уже одобрили предыдущие два дела. Это также объясняет то неприятное чувство на школьном экзамене, когда вы заметили, что выбрали ответ «б» четыре раза подряд.

В случайных данных часто обнаруживаются последовательности и кластеры. Вы удивитесь, если узнаете, что есть шанс 50/50 выбросить четыре «решки» подряд в любой серии из двадцати бросков? Такие последовательности часто неправильно интерпретируют как свидетельства неслучайного поведения, ошибки интуиции, которые называются иллюзией кластеров.

Посмотрите на пару картинок ниже. Какая из них сгенерирована случайным образом?

Иллюзия кластеров

Стивен Пинкер. Лучшие ангелы нашей природы. New York: Viking Books, 2011.

Эти картинки взяты из книги психолога Стивена Пинкера «Удачные ракурсы нашей натуры». Левая картинка, на которой очевидны кластеры, на самом деле случайная. Правая картинка, которая интуитивно кажется случайной, на самом деле такой не является. Это фотография светлячков на своде пещеры в Вайтомо, Новая Зеландия. Светлячки специально рассаживаются подальше друг от друга в борьбе за еду.

Во время Второй мировой войны лондонцы пытались найти закономерность в бомбардировках их города немецкими войсками. Некоторые считали, что целят в одни районы, а другие щадят. Появились теории заговоров о том, что немцы симпатизируют определенным районам, которые не подверглись обстрелу. Но статистический анализ показал, что нет никаких доказательств, подтверждающих неслучайную природу бомбардировок.

Невероятное не следует путать с невозможным. Если долго пытаться, можно получить даже редкий результат.

Некоторые люди выигрывают в лотерею, а некоторых ударяет молния. События с вероятностью «один на миллион» происходят довольно часто на планете, где живет 7 млрд человек.

В США чиновников из сферы здравоохранения просят расследовать больше тысячи подозрительных кластеров заболеваемости раком каждый год. Хотя история знает о заметных кластерах случаев рака, вызванного взаимодействием с промышленными токсинами, подавляющее большинство заявленных происшествий абсолютно случайны. Существует более 400 000 компаний, где числится 50 и более сотрудников. Очень велика вероятность того, что горстка людей получит один и тот же неутешительный диагноз.

Зная об ошибке игрока, не стоит ждать, что краткосрочный результат всегда будет совпадать с долгосрочными ожиданиями. Справедливо и обратное: не стоит основывать долгосрочные ожидания на маленьком наборе краткосрочных результатов.

Возможно, вам известно выражение проклятие второй попытки, которым описывается сценарий, когда группа получает восторженные отзывы на первый альбом, а второй публика принимает уже холоднее, или когда начинающий бейсболист блестяще выступает в первом сезоне, но на следующий год его средний результат уже не так впечатляет. Можно предположить, что этому есть какое-то психологическое объяснение, например они не выдерживают своего успеха. Но в большинстве случаев истинная причина этого явления – чисто математическая, и объясняется моделью, которая называется регрессией к норме.

Норма – это еще одно название среднего значения, и регрессия к норме объясняет, почему за экстремальными событиями обычно следует что-то более типичное: регрессия к ожидаемой норме. Например, никто не ждет, что бегун два раза подряд побьет рекорд в забеге на время. От него ждут менее впечатляющих результатов. Ведь редкий результат потому и редкий, что не стоит надеяться на него несколько раз подряд.

Не стоит думать, что результат, основанный на небольшой выборке, будет типичным. Он не отразит результат ни для любой другой маленькой выборки, ни для гораздо большей. Как и единичные случаи, небольшие выборки очень мало сообщают вам помимо того, что случившееся может произойти. Хотя первое впечатление и бывает точным, нужно относиться к нему скептически. Дополнительные данные помогут отличить вероятное событие от аномалии.

Кривая нормального распределения

Когда имеете дело с большим количеством данных, используйте графики и сводную статистику, чтобы бороться с информационной перегрузкой. Термином статистика на самом деле просто называют числа, которые используются для обобщения наборов данных (и математический процесс, с помощью которого генерируются эти числа). Графики и сводная статистика кратко излагают факты о наборе данных.

Вы постоянно используете сводную статистику, даже не понимая этого.

Если кто-то спросит вас: «Какова температура здорового человека?» – вы, скорее всего, ответите, что 98,6 °F или 37 °C. На самом деле это сводная статистика, которая называется нормой, что, как мы только что объяснили, является другим названием среднего значения.

Возможно, вы даже не помните, когда впервые узнали об этом факте, и еще вероятнее, что вы даже не знаете, откуда взялась эта цифра. Чтобы высчитать эту статистику, немецкий доктор Карл Вундерлих в XIX веке собрал и проанализировал больше миллиона температур, замеренных подмышкой у 25 000 пациентов (очень много подмышек).

И все же 98,6 °F – это не какая-то волшебная температура. Во-первых, более свежие данные отмечают более низкую норму, ближе к 98,2 °F (36,8 °C). Во-вторых, вы могли заметить, что «нормальная» температура у вас или члена вашей семьи отклоняется от этого среднего значения. На самом деле женщины в среднем немного теплее мужчин, и для них температура до 99,9 °F (37,7 °C) считается нормой. В-третьих, температура человеческого тела естественным образом меняется в течение дня, повышаясь в среднем на 0,9 °F (0,5 °C) с утра до вечера.

Если вы просто скажете, что 98,6 °F – это нормальная температура, вы не учтете всех этих нюансов. Вот почему ряд сводных статистик или графиков часто используется для каждого случая в отдельности, чтобы обобщить данные. Норма (среднее или ожидаемое значение) показывает центральную тенденцию, или место, где значения склоняются к центру. Также центральную тенденцию измеряют медиана (средняя величина, которая делит данные на две половины) и мода (наиболее частый результат). Эти статистические данные помогают описать, как будет выглядеть «типичное» число для выбранного набора данных.

Для температуры тела, простое указание центральной тенденции типа нормы временами бывает слишком простым. Это подводит нас ко второму распространенному набору сводных статистических данных, которые измеряют дисперсию, или степень рассредоточения данных.

Самая простая дисперсионная статистика показывает диапазоны. Для температуры тела это диапазоны нормальных значений, например от минимума до максимума температуры здоровых людей, как показано на графике ниже (такой график называется гистограммой).

Гистограмма

Филип А. Маковяк, Стивен С. Вассерман и Майрон М. Левин «Критическая оценка 98,6 °F, верхнего предела нормальной температуры тела и другого наследия Карла Рейнхолда Августа Вундерлиха». Journal of the American Medical Association 268, № 12 (сентябрь 1992 года), 1578–1580.

График выше отображает частоту 130 разных температур тела, измеренных у здоровых взрослых. Такая гистограмма – это простой способ визуально суммировать данные: сгруппировать значения в столбики, сосчитать, сколько точек данных в каждом столбике, и составить график из вертикальных столбиков – столбчатую гистограмму. Прежде чем сообщить о диапазоне, вначале нужно найти выбросы – те точки данных, которые не соотносятся с остальными показателями. Это точки данных, которые находятся за пределами гистограммы, например температура 100,8 °F (38,2 °С). Может быть, в выборку затесался больной человек. Иначе придется сказать, что нормальная температура варьируется от 96,3 до 100,0 °F. Конечно, чем больше у вас данных, тем четче будет диапазон.

В этом наборе данных статистика центральных тенденций довольно схожа, поскольку показатели распределяются достаточно симметрично, и единственный пик наблюдается посередине. В результате нормой здесь является 98,25 °F (36,8 °С), медианой – 98,3 °F (36,8 °С), а модой – 98 °F (36,7 °С). В других сценариях эти три сводные статистики могут существенно отличаться.

Чтобы проиллюстрировать это, ниже мы рассмотрим другую гистограмму, которая показывает распределение семейных доходов в США в 2016 году. Этот набор данных также имеет один пик, 20 000–24 999 долларов, но он асимметричен, смещен вправо. (Все доходы свыше 200 000 долларов сгруппированы в один столбик. Если этого не сделать, график будет иметь длинный хвост, уходящий далеко вправо.) В отличие от температуры тела, медианный доход в размере 59 039 долларов сильно отличается от среднего дохода в размере 83 143 доллара. Всякий раз, когда данные искажаются в одном направлении, как здесь, норма отодвигается от медианы в сторону смещения, так как ее сдвигают крайние значения.

Распределение семейных доходов в США (2016)

Бюро переписей США «HINC-06. Распределение дохода до 250 000 долларов США и более для домохозяйств», www.census.gov/data/tables/time-series/demo/income-poverty/cps-hinc/hinc-06.2016.html.

Минимальный и максимальный диапазон в данном случае менее информативны. Дисперсию лучше передает межквартильный диапазон, который определяет 25-й процентиль к 75-му процентилю данных, охватывающий средние 50 % доходов, от 27 300 до 102 350 долларов США.

Наиболее распространенными статистическими показателями дисперсии являются дисперсия случайной величины и стандартный разброс (последнее обычно обозначается греческой буквой σ – сигмой). Обе эти меры показывают, как далеко числа в наборе данных отклоняются от нормы. Следующий пример показывает, как рассчитать их для набора данных.

Дисперсия случайной величины и стандартный разброс

Поскольку стандартный разброс – это всего лишь квадратный корень дисперсии случайной величины, если вы знаете последнюю, то вам легко будет рассчитать его. Более высокие величины каждого из них означают, что точки данных часто сильно отклоняются от нормы, как показано на мишенях ниже.

Дисперсия случайной величины

Наборы данных о температуре тела, изображенные ранее, отклоняются от стандарта на 0,73 °F. Чуть более двух третей их значений находятся в пределах одного отклонения от нормы (97,52–98,8 °F), 95 % – в двух отклонения от нормы (96,79–99,71 °F). Как видите, эта закономерность является обычной для множества наборов измерительных данных (например, рост, артериальное давление, стандартизированные тесты).

Гистограммы такого типа имеют похожую форму колокола с кластером значений в центре ближе к норме и все меньшим и меньшим числом результатов по мере удаления от нормы. Когда набор данных имеет такую форму, предполагается, что он поступает из нормального распределения.

Нормальное распределение – это особый тип распределения вероятностей, математической функции, которая описывает, как распределены вероятности всех возможных исходов случайного явления.

Например, если вы измерите температуру случайного человека, любой конкретный результат будет иметь определенную вероятность, при этом наиболее вероятным результатом является норма – 98,2 °F, а величины, сильно отклоняющиеся от этой нормы, все менее вероятны. Учитывая, что распределение вероятностей описывает все возможные результаты, все вероятности в распределении сводятся к 100 % (или к единице).

Чтобы лучше это понять, давайте рассмотрим еще один пример. Как мы уже упоминали, рост людей также примерно соответствует нормальному распределению. На графике ниже представлено распределение роста мужчин и женщин на основании данных Центров США по контролю и профилактике заболеваний. Оба распределения имеют типичную форму колокола, несмотря на то что стандарты роста для мужчин и женщин отличаются.

Нормальное распределение

Центр по контролю за заболеваниями «Антропометрические справочные данные для детей и взрослых: Соединенные Штаты, 2011–2014 годы». Vital and Health Statistics серия 3, № 39 (август 2016 года).

В подобных нормальных распределениях (как мы уже видели на примере температуры тела) около 68 % всех значений должны попадать в одно отклонение от нормы, около 95 % – в два и почти все (99,7 %) в три. Таким образом, нормальное распределение можно однозначно описать только его нормой и стандартным разбросом. Знание этих фактов особенно полезно, так как очень много явлений можно описать нормальным распределением.

Стандартный разброс при нормальном распределении

Таким образом, если вы остановите на улице случайную женщину, можно использовать эти факты, чтобы довольно точно угадать ее рост. Вариант 5 футов 4 дюйма (162 сантиметра) подойдет лучше всего, потому что это норма. Кроме того, вы можете с вероятностью приблизительно 2: 1 угадать, что ее рост будет от 5 футов 1 дюйма (156 см) до 5 футов 7 дюймов (170 см). Это связано с тем, что стандартный разброс для женского роста составляет чуть меньше 3 дюймов (8 см), поэтому около двух третей женщин будут примерно такого роста (в пределах одного отклонения от стандарта). Напротив, женщины ниже 4 футов 10 дюймов (147 см) или выше 5 футов 10 дюймов (178 см) составляют менее 5 % всех женщин (за пределами двух отклонений от стандарта).

Распределение вероятностей

Распределение вероятностей, блог Cloudera Engineering, Шон Оуэн, 3 декабря 2015 года.

Существует много других распределений вероятности помимо нормального распределения, которые используются в различных обстоятельствах. Некоторые из них изображены выше.

Но мы назвали этот раздел «Кривая нормального распределения», поскольку нормальное распределение особенно полезно благодаря одному из самых практичных результатов во всей статистике, который называется центральной предельной теоремой. Эта теорема утверждает, что когда числа взяты из одного и того же распределения, а затем усреднены, полученный средний результат примерно соответствует нормальному распределению. Так получается даже тогда, когда изначальные числа взяты из совершенно иного распределения.

Чтобы понять эту теорему и ее пользу, вспомните известный опрос о рейтинге одобрения^[65]. Механика проведения таких опросов очень проста – человека спрашивают, одобряет он, например, политическую партию или нет. Это значит, что каждая точка данных сводится всего лишь к «да» и «нет».

Такой тип данных совершенно не похож на нормальное распределение, потому что каждая точка может иметь лишь одно из двух возможных значений. Подобные бинарные данные часто анализируются через другое распределение вероятностей, которое называется распределением Бернулли. Оно представляет собой результат одного эксперимента или вопроса типа да/нет, например в анкете. Такое распределение полезно в самых разных ситуациях, например при анализе рекламных кампаний (купили ли товар), в клинических испытаниях (подействовало ли лечение) и в А/В-тестировании (нажали ли кнопку).

Оценочный рейтинг одобрения – это среднее значение всех отдельных ответов (1 – одобрение, 0 – нет). Например, если было опрошено 1 000 человек и 240 ответили одобрительно, то рейтинг одобрения будет 24,0 %. Центральная предельная теорема сообщает, что это среднее статистическое значение (норма выборки) приблизительно нормально распределено (при условии, что в опросе приняло участие достаточно людей). График ниже наглядно показывает, как это работает с распределением Бернулли и двумя другими, которые тоже изначально совершенно не похожи на нормальное распределение.

Центральная предельная теорема

Марк Л. Беренсон, Дэвид М. Левин и Тимоти К. Кребиэль. Базовая бизнес-статистика: концепции и приложения. Upper Saddle River, N.J.: Prentice Hall, 2006.

Центральный столбец показывает, что распределение нормы выборки из распределения Бернулли представляет собой серию единиц и нулей и в конце концов принимает вид колокола. Первая строка показывает распределение с 75 % шансом неодобрения (пик на 0 слева) и 25 % шансом одобрения (пик на 1 справа). Этот 25 % шанс основан на рейтинге одобрения по всей стране, если бы опросили всех до единого. Каждый человек в опросе входит в распределение населения.

Принимая участие в опросе, вы получаете лишь приблизительную оценку общего рейтинга одобрения (как приблизительные 24 %, упомянутые ранее). Когда вы так делаете, вы берете выборку из всего населения (например, опрашиваете 1 000 человек) и находите средний результат, чтобы сделать приблизительный подсчет. Эта норма также имеет распределение, которое называется распределением выборки и описывает шансы получить каждый возможный рейтинг одобрения из нее. Представим это распределение в виде графиков разных рейтингов одобрения (норм выборки), полученных из большого количества опросов.

Во второй строке показан график примера этого распределения выборки для рейтинга одобрения на основании опроса двух случайно выбранных людей. График отличается от изначального распределения, но все же совершенно не похож на нормальное, поскольку у него может быть только три результата: два одобрения (пик на 1), два неодобрения (пик на 0) либо одно одобрение и одно неодобрение (пик на 0,5).

Если вы опросите 5 человек, распределение выборки станет уже больше похоже на колокол с шестью возможными результатами (третья строка). Если опросить тридцать человек (31 результат, 4 строка), график начнет приобретать характерную форму кривой нормального распределения.

Чем больше людей вы опросите, тем больше распределение выборки будет походить на нормальное распределение с нормой в 25 % – тем самым рейтингом одобрения из распределения населения. Как и в случае с температурой тела или ростом, пока эта величина остается самой вероятной по результатам опроса. Величины, близкие к ней, будут также оставаться вероятными, например 24 %. Величины дальше и дальше от нее будут все менее вероятны, и их вероятности будут распределяться нормально.

Но насколько точна эта меньшая вероятность? Зависит от того, сколько человек вы опросите.

Чем больше будет опрошенных, тем выше будет распределение. Чтобы передать эту информацию, такие опросы обычно указывают погрешность.

Статья, описывающая результаты опроса, может включать подобный текст: «Рейтинг одобрения Конгресса составляет 24 % с погрешностью ±3 %»^[66]. Эти «±3 %» и есть предел погрешности, но откуда берется эта погрешность и что это вообще такое, редко объясняют. Теперь вы знаете!

На самом деле допустимая погрешность – это тип доверительного интервала, приблизительного ряда чисел, которые, по вашему мнению, включают в себя истинное значение изучаемого параметра, например рейтинга одобрения. Этот диапазон обладает соответствующим уровнем доверия тому, что истинное значение параметра входит в интервал, который вы приблизительно вычислили. Например, уровень доверия 95 % подразумевает, что если вы проведете опрос много раз и подсчитаете много уровней доверия (по одному для каждого опроса), в среднем 95 % из них будет включать себя истинный рейтинг одобрения (то есть 25 %).

В большинстве сообщений СМИ не упоминают уровень доверия для вычисления погрешности, но обычно можно предположить 95 %. Напротив, в научных публикациях куда яснее пишут, какой уровень доверия был взят, чтобы показать неопределенность подсчетов (опять же, как правило, хоть и не всегда, это 95 %).

Для оценки рейтинга одобрения этот диапазон вычисляется с учетом центральной предельной теоремы: норма выборки приблизительно нормально распределена, поэтому следует ожидать, что 95 % возможных значений окажется в пределах двух отклонений от стандарта истинной нормы (то есть истинного рейтинга одобрения).

До сих пор мы не объяснили, что отклонение от стандарта в этом распределении, которое также называется стандартной ошибкой, не равно отклонению от стандарта выборки, о котором мы говорили ранее. Однако эти две величины напрямую связаны. В частности, стандартная ошибка равна отклонению от стандарта выборки, поделенному на квадратный корень размера выборки.

Это означает, что если вы хотите уменьшить погрешность в два раза, вам нужно увеличить размер выборки в четыре.

Для опроса «да/нет», как в рейтинге одобрения, погрешность 10 % при опросе 96 человек, 5 % – 384 человек, 3 % – 1067 человек и 2 % – 2401 человека. Поскольку предел погрешности выражает уверенность организаторов опроса в их подсчетах, логично, что он напрямую связан с размером выборки.

Иллюстрация ниже показывает, как доверительные интервалы работают для повторных экспериментов. На ней изображены 100 доверительных интервалов со значением 95 % для вероятности выбросить решку. Каждый был рассчитан из эксперимента, который включал симуляцию броска симметричной монеты сто раз. Эти доверительные интервалы графически представлены в виде «усов», которые визуально отображают показатель неопределенности при подсчетах.

«Усы» не всегда являются доверительными интервалами. Их можно получить и из других расчетов погрешности. Точка по центру «уса» – это приблизительное вычисление параметра, в данном случае норма выборки, а линии на его концах обозначают максимум и минимум числового диапазона, в данном случае доверительный интервал.

«Усы» на графике варьируются в зависимости от того, что показали разные эксперименты, но каждый охватывает диапазон около 20 %, что соответствует ±10 %, упомянутым выше (когда размер выборки – одна сотня бросков). Учитывая уровень доверия 50 %, можно ожидать, что 95 этих доверительных интервалов будут включать в себя истинную норму в размере 50 %. В данном случае 93 интервала включают в себя 50 % (7 интервалов, не включившие в себя эту величину, выделены черным).

Доверительный интервал со значением 95 % для 100 бросков симметричной монеты

Такие доверительные интервалы часто используются для вычисления разумных значений параметра, такого как вероятность выбросить решку. Но, как вы только что видели, истинная норма параметра (в данном случае 50 %) иногда выходит за рамки доверительного интервала. Нужно понимать, что доверительный интервал – это не диапазон всех возможных величин и истинная величина необязательно будет входить в него.

Нас очень беспокоит, когда статистические данные публикуются в СМИ без упоминания погрешностей или доверительных интервалов. Не забывайте искать их, когда читаете отчеты, и включайте их в собственную работу. Без оценки погрешности вы не поймете, насколько можно верить этому числу – будет ли истинная величина действительно близка к нему или, может быть, очень от него далека? Это вам подскажет доверительный интервал!

Все относительно

В предыдущем разделе мы написали, что средний рост женщины составляет 5 футов 4 дюйма. Если вам нужно угадать рост случайного незнакомца, но вы не знаете наверняка, что это женщина, не стоит называть 5 футов 4 дюйма, потому что средний мужской рост ближе к 5 футам 9 дюймам (175 см) и лучше брать число ближе к середине. Но если у вас есть дополнительная информация о том, что этот человек – женщина, то 5 футов 4 дюйма – это самая удачная догадка. Дополнительные данные влияют на вероятность.

Это пример модели, которая называется условной вероятностью – вероятностью наступления одного события при условии, что другое событие уже произошло. Условная вероятность помогает лучше оценивать вероятности, используя дополнительную информацию.

Условные вероятности широко распространены в повседневной жизни. Например, тарифы страхования жилья привязаны к различным условиям вероятности страховых требований (например, на побережье Флориды надбавки выше, так как и угроза разрушения от урагана там выше, чем в Пенсильвании).

Точно так же генетическое тестирование скажет вам, подвержены ли вы повышенному риску определенных заболеваний: женщины с аномалиями генов BRCA1 или BRCA2 имеют до 80 % больше риска развития рака груди в возрасте девяноста лет.

Условная вероятность обозначается символом |. Например, вероятность (Р), что у вас будет рак груди к девяноста годам при условии, что вы женщина с мутацией гена BRCA, будет обозначаться как Р (рак груди в 90 лет | женщина с мутацией BRCA).

Некоторых сбивает с толку условная вероятность. Они путают вероятность того, что событие А произойдет при условии, что произошло событие В – Р(А|В), – с вероятностью того, что событие В произойдет при условии, что произошло событие А – Р(В|А). Это называется обратной ошибкой. Вы только что видели, что Р (рак груди в 90 лет | женщина с мутацией BRCA) составляет около 80 %, но вероятность Р (женщина с мутацией BRCA | рак груди в 90 лет) составляет всего 5–10 %, поскольку рак груди развивается у многих других людей без этой мутации.

Разберем более длинный пример, чтобы посмотреть на эту ошибку в действии. Допустим, полиция останавливает произвольного водителя, чтобы проверить на алкоголь, и заставляет его подышать в трубочку. Кроме того, предположим, что тест выдает ошибку примерно в 5 % случаев, показывая, что трезвый человек пьян. Какова вероятность, что этого человека несправедливо обвинят за вождение в нетрезвом виде?

Скорее всего, вы первым делом назовете 5 %. Однако вам дана вероятность, что тест объявляет человека пьяным, даже если на самом деле он трезв, то есть Р (тест = пьян | человек = трезв) = 5 %. Но что, если вас спросят, какова вероятность того, что человек трезв, если тест говорит, что он пьян, или Р (человек = трезв | тест = пьян)? Это совсем другая вероятность!

Вы не учли зависимость результата от базового процента пьяных за рулем. Представьте сценарий, где все ведут себя правильно и никто никогда не садится за руль пьяным. В таком случае вероятность, что человек трезв, будет 100 %, независимо от того, что покажет алкотестер. Когда при расчете вероятности не учитывается базовый процент (например, базовый процент числа пьяных водителей), такая ошибка называется ошибкой базового процента.

Представим себе более реалистичный базовый процент, когда пьян 1 водитель из 1000. Значит, есть маленький шанс (0,1 %), что человек, которого случайно остановила полиция, пьян. А так как мы знаем, что один из 20 тестов выдает ошибку (ошибка возникает в 5 % случаев), полиция, скорее всего, сделает очень много ошибок, прежде чем действительно поймает пьяного за рулем.

На самом деле,

если полиция остановит тысячу человек, в среднем они проведут около 50 ошибочных тестов, пытаясь найти одного по-настоящему нетрезвого водителя. Таким образом, вероятность ошибки алкотестера составляет всего 2 %,

то есть аппарат ошибочно показывает, что человек пьян. Или можно заявить, что трезвые водители попадаются в 98 % случаев. А это намного, намного больше, чем 5 %!

Итак, Р(А|В) не равно Р(В|А), но как же они связаны? Существует очень полезная теорема Байеса, которая показывает взаимосвязь между этими двумя условными вероятностями. Вот как на примере нетрезвого вождения можно применить теорему Байеса, чтобы вычислить результат в 2 %.

Теорема Байеса

Ошибка базового процента

Теперь, когда вы знаете о теореме Байеса, вы также должны знать, что в статистике есть две школы, основанные на разных представлениях о вероятности: частотная и байесовская. Большинство исследований, о которых вы слышите в новостях, основаны на частотной статистике, которая требует и опирается на множество наблюдений за событием, прежде чем сделать надежные статистические выводы. Частотники считают, что вероятность фундаментально связана с частотой возникновения событий.

Наблюдая частоту результатов в большой выборке (например, спрашивая большое количество людей, одобряют ли они Конгресс), частотники вычисляют неизвестное количество. Но если точек ввода данных очень мало, они ничего не могут сказать по существу, потому что доверительные интервалы, которые они вычислят, будут очень большими. С их точки зрения, вероятность без наблюдений не имеет смысла.

Напротив, байесовцы позволяют себе вероятностные суждения о любой ситуации, независимо от того, были ли какие-либо наблюдения. Для этого они начинают с приведения соответствующих данных к статистическим определениям. Например, подбирая монетку на улице, изначально вы, вероятно, решите, что шансы выбросить решку составляют 50/50, даже если никогда раньше не видели, чтобы эту монетку подбрасывали. В байесовской статистике можно учесть в задаче такое знание базовых процентов. А в частотной статистике так сделать нельзя.

Многие люди считают байесовский взгляд на вероятность более интуитивным, потому что он похож на естественное развитие ваших убеждений. В повседневной жизни вы не начинаете каждый раз с нуля, как частотники. Например, в вопросах политики отправная точка – это ваши знания по определенному вопросу (байесовцы зовут это априори), но получив новые данные, вы (будем надеяться) обновите свое априори на их основании. То же самое верно для отношений, когда начальная точка для вас – это пережитый вами опыт с определенным человеком.

Сильное априори – это отношения на всю жизнь, а слабое – только первое впечатление.

В предыдущем разделе вы видели, как частотная статистика производит доверительные интервалы. Такая статистика говорит вам, что, если провести эксперимент множество раз (например, подбросить монетку сто раз), вычисленные доверительные интервалы будут содержать изучаемый параметр (например, 50 % вероятность выбросить решку) до указанного уровня доверия (например, 95 % раз). К большому разочарованию многих, доверительный интервал не сообщает, что есть 95 % вероятность получить истинное значение параметра в этом интервале. Напротив, байесовская статистика аналогичным образом производит байесовские доверительные интервалы, которые это сообщают. Они указывают текущий наилучший оценочный диапазон для вероятности параметра. Таким образом, байесовский подход снова оказывается более интуитивным.

На практике оба подхода дают очень похожие результаты и по мере поступления данных должны сходиться к одному и тому же выводу. Ведь они оба пытаются найти одну и ту же основную истину. Исторически точка зрения частотников была популярнее, во многом потому, что байесовский анализ часто бывает затруднительным из-за громадного объема вычислений. Хотя нынешние вычислительные машины легко с этим справляются.

Байесовцы уверены, что с сильным априори они начинают ближе к истине и быстрее достигают конечного результата с меньшим числом наблюдений. Поскольку наблюдения требуют денег и времени, это привлекательно. Но есть и обратная сторона: возможно, байесовские априори на самом деле делают обратное – заставляют начинать дальше от истины. Такое происходит, если это сильные убеждения на основе искажения подтверждения (см. главу 1) или другой когнитивной ошибки (например, неоправданно сильного априори). В таком случае байесовский подход будет искать истину дольше, так как точка зрения частотников (с нуля) ближе к истине с самого начала.