Текст книги "Лягушка в кипятке и еще 300 популярных инструментов мышления, которые сделают вас умнее"

Автор книги: Лорен Макканн

Соавторы: Габриэль Вайнберг
сообщить о нарушении

Текущая страница: 10 (всего у книги 22 страниц)

Другими словами, обычно переговоры касаются множества аспектов, и каждая сторона по-разному их оценивает. Это открывает возможность взаимных уступок, когда вы уступите то, что вам менее ценно, и получите то, что более ценно. В результате обе стороны окажутся в более благоприятной ситуации, чем раньше, получив то, чего хотели, и отдав то, что им не нужно.

На самом деле взаимные уступки лежат в основе большей части экономических сделок! В противном случае без дезинформации, недопонимания или принуждений люди не стали бы заключать их.

Нулевая сумма – это исключение, а не правило.

Черно-белое мышление и нулевая сумма просто не дают достаточного количества возможных вариантов. Во многих ситуациях, включая коммерческие сделки, следует признавать, что вариантов и измерений гораздо больше. Чем больше условий сделки вы рассмотрите, тем больше будет вариантов ее заключения. Если все будет сделано как надо, это повысит вероятность успеха для обеих сторон, то есть никто не проиграет.

Иногда можно зайти слишком далеко. Например, в сложных деловых переговорах нельзя обсуждать каждое слово контракта, иначе на это уйдет целая вечность, и вы никогда ни о чем не договоритесь. Нужно осознанно выбирать, что стоит обсудить, а что – нет.

В целом нужно постоянно пытаться поймать правильный баланс между порядком и хаосом, взаимодействуя со своим окружением. Если вы позволите хаосу поглотить вас, вы не продвинетесь ни в одном конкретном направлении. Но если вы слишком упорядочены, вам не удастся адаптироваться к изменяющимся обстоятельствам и вам не хватит площади поверхности удачи, чтобы повысить свои шансы на успех.

Вы должны стремиться к золотой середине между порядком и хаосом, когда намеренно повышаете свою энтропию настолько, чтобы открывать интересные возможности, и быть достаточно гибким и устойчивым, чтобы реагировать на новые условия и парадигмы.

Изучив биографии выдающихся людей, вы заметите закономерность: удача играет важную роль для успеха. Но если копнуть глубже, окажется, что у большинства была обширная площадь поверхности удачи. Да, они оказались в нужное время в нужном месте, но они приложили усилия, чтобы там оказаться. Может быть, в другом месте они бы не достигли такого же уровня, но, скорее всего, все равно стали бы успешными.

Вот еще одна закономерность: многие из самых влиятельных фигур (Билл Гейтс, Мартин Лютер Кинг-младший и т. д.) оказались в эпицентре масштабного принятия идей или технологий, которые достигли критической массы. В некоторых случаях они сами создали новую идею или технологию, но чаще лишь объяснили их людям. Они создали импульс и, в конечном счете, инерцию, направляя идеи и технологии через жизненный цикл принятия технологий.

С более глубоким пониманием этих моделей вы будете легче адаптироваться к масштабным переменам, которые выпадут на ваш век. Вы также должны уметь замечать их издалека и становиться их частью, как будто ловите волну и позволяете ей безопасно нести вас к берегу. Такая способность адаптироваться поможет вам в плохие и хорошие времена. С позитивной точки зрения, вы начнете принимать лучшие решения в жизни и карьере. С другой стороны, вы станете устойчивее к неудачам и неприятностям и даже ограничите их негативные последствия.

Основные идеи

• Начните думать экспериментально, отыскивая возможности, чтобы проводить эксперименты и применять научный метод там, где это возможно.

• Уважайте инерцию: создавайте или присоединяйтесь к здоровым маховикам, избегайте бремени стратегии и попыток менять ситуации с большой инерцией, если у вас нет тактического преимущества, например катализатора или большого количества потенциальной энергии.

• Пытаясь что-то изменить, хорошо подумайте, как достичь критической массы и как ориентироваться в жизненном цикле принятия технологий.

• Используйте вынуждающие функции, чтобы смазывать шестеренки перемен.

• Активно культивируйте площадь поверхности удачи и используйте ее против энтропии.

• Сталкиваясь с нулевой суммой или черно-белым мышлением, ищите дополнительные опции и в конечном итоге беспроигрышный вариант.

Глава 5

Ложь, наглая ложь и статистика

В наши дни данные, цифры и статистику ежедневно используют не только специалисты в области науки и техники, но и большинство профессионалов из разных отраслей. Бизнес все чаще принимает решения, основываясь на данных. В каждой сфере есть люди, которые изучают, как можно усовершенствовать то, чем они занимаются. Вспомните государственную систему образования: какой самый эффективный способ научить детей читать? Сколько домашних заданий должны получать ученики? В какое время дня лучше начинать занятия?

То же справедливо и для повседневной жизни: чем лучше питаться? Сколько упражнений следует делать? Насколько безопасен этот автомобиль по сравнению с другим?

К сожалению, на такие типы вопросов часто не бывает однозначного ответа. Вместо этого по любой теме существуют противоречивые утверждения: по поводу питания, медицины, государственной политики (в области экологии, здравоохранения и т. д.). Список можно продолжать бесконечно.

Люди занимают разные стороны баррикад по любому вопросу и подкрепляют свою позицию цифрами. Из-за этого многим кажется, что данными слишком легко манипулировать, чтобы доказать любую историю, – отсюда и название этой главы. Даже если люди не нарочно вводят вас в заблуждение, результаты исследований часто интерпретируются неверно, да и сами исследования обладают недостатками.

Однако нельзя считать бредом все свидетельства, основанные на статистике и данных, и принимать решения исключительно на основе предположений и догадок. Нужно использовать ментальные модели, чтобы понимать проблему, включая исследования, позволяющие определить, какая информация заслуживает доверия.

Можно также опираться на данные из жизни и работы, чтобы строить новые догадки.

Догадки на основании истинных закономерностей, например рыночных тенденций, поведения потребителей и природных явлений, могут стать базой для крупных компаний и научных прорывов.

Они также могут дать подсказку в повседневной жизни.

Например, представьте, что вы впервые стали родителем. Некоторым везунчикам достается младенец, который легко засыпает и всю ночь спит, даже будучи месяц от роду. Остальным приходится выслушивать уйму советов: используйте качалку, пеленайте, дайте выплакаться, не давайте плакать, спите вместе, поменяйте питание ребенка, поменяйте питание матери и т. д. и т. п.

Наш старший сын совершенно не желал ложиться спать, однако, педиатр все равно посоветовал укладывать его, когда он сонный, но еще не спит. Стоило сыну лечь, как он начинал вопить. Если он не спал глубоким сном, то плакал. Первые несколько ночей в таком режиме совершено измотали нас, бодрствовавших по очереди с ним на руках. В одиночку он мог спать только где-то час за ночь.

Надо было найти другой способ. Путем экспериментов и наблюдений в течение первых нескольких недель мы обнаружили, что сын любит, когда его крепко пеленают, и может уснуть в электрокачалке, желательно на самом мощном режиме. Когда он перерос качалку, мы боялись, что все начнется сначала. К счастью, он быстро адаптировался и еще до года стал легко укладываться и спать всю ночь.

Когда родился второй сын, мы уже считали себя профессионалами по уходу за детьми. У нас была наша волшебная качалка, и мы думали, что дело в шляпе. И тогда, прямо по закону Мерфи ребенок номер два возненавидел ее. Мы снова изучили все советы и через несколько дней попытались уложить его, когда он был сонный, но еще не спал (как изначально и советовал педиатр). И о чудо! Он уснул!

Как и детский режим сна, многие аспекты жизни настолько переменчивы, что их невозможно точно предсказать.

Пойдет ли сегодня дождь? Куда вложить пенсионные накопления? Из каких игроков составить футбольную команду вашей мечты?

Несмотря на эту неопределенность, вам все равно необходимо постоянно принимать решения – о своем здоровье, о кандидате на выборах, о новом рискованном проекте на работе. Эта глава посвящена преодолению такой неопределенности в контексте принятия решений. Чей совет вам стоит послушать и почему?

Вероятность и статистика – это разделы математики, которые дают самые полезные ментальные модели для этих задач. Как говорил французский математик Пьер-Симон Лаплас в книге 1812 года «Аналитическая теория вероятностей»^[60]:

«Самые важные вопросы жизни на самом деле являются лишь вопросами вероятности».

Мы обсудим эти полезные ментальные модели из области вероятности и статистики, а также распространенные ловушки, которых следует избегать. Хотя многие базовые понятия из области вероятности довольно интуитивны, интуиция часто подводит (в чем вы уже могли убедиться за четыре главы этой книги).

Да, в этой части будет довольно много математики. Но мы считаем, что понимание этих идей жизненно необходимо, если вы не хотите заблудиться в статистике, с которой сталкиваетесь каждый день. Мы постарались углубляться в тему лишь настолько, чтобы вы смогли оценить эти идеи по существу. И, как всегда, мы постарались привести больше примеров, чтобы было понятнее.

Верить или не верить

Человеческой природе присуще принимать решения, опираясь на опыт и наблюдения из прошлого. С точки зрения эволюции, это абсолютно логично.

Если вы видите, что кому-то стало плохо от еды или кого-то поранило животное, к которому человек подошел слишком близко, вы понимаете, что так делать не нужно. К сожалению, такой краткий путь не всегда приводит к хорошему мышлению. Например:

В этом году была сильная метель, а вы говорите, глобальное потепление.

Мой дед дожил почти до девяноста и всю жизнь выкуривал по пачке сигарет, так что я не верю, что курение вызывает рак.

Я несколько раз видела новости о том, что ребенку причинили вред.

Детям сейчас грозит больше опасности, чем раньше.

После прививки от гриппа у меня начался насморк и кашель, и я думаю, что виновата прививка.

Все это примеры неправильных выводов, основанных на единичных случаях – сведениях, собранных на основе личного опыта. Обобщения на основании единичных случаев или вера в то, что они вернее научных свидетельств, становится источником проблем. Как верно подметил Майкл Шермер, основатель Общества скептиков^[61], в книге «Тайны мозга: почему мы во все верим»^[62]: «Единичные случаи замечаешь невооруженным взглядом, а ради науки нужно стараться».

Одна из проблем, связанных с единичными случаями, заключается в том, что они не отражают весь спектр опыта. Люди склонны делиться неординарными историями – они скорее расскажут что-то очень ужасное или прекрасное, чем то, что вписывается в рамки нормы. Вспомните, что вы пишете в Facebook. В результате единственный вывод, который можно сделать о единичном случае, – то, что бывает и такое.

Если вы слышите, что какой-то человек курил и не заболел раком легких, это лишь подтверждает, что не у всех курильщиков бывает рак. Но на одной этой истории нельзя построить вывод о шансах среднего курильщика заболеть раком или о сравнительной вероятности рака легких у курящих и некурящих. Если бы у всех, кто когда-либо курил, находили рак легких, а у всех, кто никогда не курил, никогда не бывало рака легких, данные были бы намного убедительнее. К сожалению, реальный мир редко бывает настолько простым.

Возможно, вы слышали о людях, у которых возникали симптомы простуды и гриппа примерно в то же время, когда им поставили прививку от гриппа, и которые свалили свою болезнь на эту самую нее. Но одна эта последовательность событий, то есть корреляция, еще не значит, что первое действительно стало причиной второго. Статистики говорят о такой ошибке: корреляция не подразумевает причинно-следственную связь.

Рэндалл Манро «Корреляция». XKCD, https://xkcd.com/552.

Совершая такую ошибку, мы часто упускаем из виду смешанный фактор – третий, возможно, неочевидный фактор, который влияет как на предполагаемую причину, так и на наблюдаемый эффект, мешая делать правильный вывод. В случае с прививкой от гриппа этим смешивающим фактором будет сезон простуд и гриппа. Людям предлагают вакцинацию от гриппа в то время года, когда выше вероятность заболеть, независимо от того, поставили им прививку или нет. Скорее всего, эти симптомы вызывает обыкновенная простуда, от которой прививка от гриппа не защищает.

В других случаях корреляция возникает совершенно случайно.

Проверить ее между самыми разными фактами сейчас проще, чем когда-либо, поэтому обнаруживается масса ложных корреляций.

Есть уморительный сайт (и книга) под названием «Ложные корреляции»^[63], полный глупых результатов. На приведенном ниже графике показана такая корреляция между потреблением сыра и смертью по причине запутывания в простынях.

Корреляция не подразумевает причинно-следственную связь

Лицензия Creative Commons. Тайлер Виген «Ложные корреляции», www.tylervigen.com/spurious-correlations.

Как-то раз, когда Лорен училась в старших классах, она почувствовала, что заболевает простудой, и ее папа велел ей пить много жидкости. В тот день она выпила половину упаковки малинового напитка Snapple, и, к ее удивлению, на следующий день ей стало намного лучше! Доказывает ли это, что малиновый Snapple – чудодейственное средство от простуды? Нет. Наверное, она просто быстро поправилась, потому что у нее был крепкий организм, а еще она обпилась малиновым напитком.

А может быть, она вообще не заболела. Просто у нее был плохой день, а на следующий ей стало лучше. Многие поставщики гомеопатических «лекарств» рассказывают о таких единичных случаях выздоровления в рекламе своих продуктов. Но они не говорят, что случилось бы без их «лечения». В конце концов даже когда вы болеете, симптомы меняются день ото дня. Требуйте более достоверных данных, например тщательно проведенного научного эксперимента, прежде чем верить заявлениям производителей лекарств.

Чтобы собирать или оценивать экспериментальные научные свидетельства, первым делом нужно определить или понять их гипотезу – предполагаемое объяснение изучаемого эффекта (например, что Snapple быстро помогает от простуды). Определив гипотезу заранее, вы избежите ошибки меткого стрелка.

В одном анекдоте человек нашел амбар, где сбоку были нарисованы мишени, а в центре каждой была дырка от пули. Человека поразила меткость стрелка, но потом он понял, что мишени нарисовали вокруг дырок уже после того, как были сделаны выстрелы.

Аналогичная идея – это движущаяся мишень, где цель эксперимента изменяют, чтобы подтвердить желаемое уже после того, как станут известны результаты.

Один из методов, который часто называют золотым стандартом планирования экспериментов, – это рандомизированный контролируемый эксперимент, в котором участников случайным образом (рандомом) делят на две группы, а затем сравнивают результаты экспериментальной группы (которая получала лечение) с результатами контрольной группы (которая его не получала). Этот подход не ограничивается лишь медициной – его можно использовать в таких сферах, как реклама и разработка продуктов (в следующем разделе мы разберем подробный пример).

Популярная версия такого экспериментального проекта называется А/В-тестирование, где поведение пользователя сравнивают относительно версии А (экспериментальная группа) и версии В (контрольная группа) сайта или продукта, которые различаются потоком страниц, формулировкой текстов, изображениями, цветом и т. д. Такие эксперименты должны быть тщательно спланированы, чтобы выделить один фактор для изучения. Проще всего, если между группами есть только одно различие.

В идеале такие эксперименты проводят вслепую, чтобы участники не знали, в какой группе они оказались, и не смогли своей предвзятостью осознанно и неосознанно повлиять на результат. Классический пример – слепая проверка вкусов, которая гарантирует, что репутация бренда не повлияет на выбор людей.

Чтобы вывести идею слепого эксперимента на следующий уровень, люди, проводящие или анализирующие его, также не знают, к какой группе принадлежат участники. Этот дополнительный слепой фактор помогает исключить влияние эффекта ожиданий наблюдателя (также он называется искажением экспериментатора), где когнитивные искажения исследователей или наблюдателей заставляют их повлиять на результат, подталкивая его в том направлении, которого они ожидают.

К сожалению, такой слепой эксперимент не до конца предотвращает эффект ожиданий наблюдателя, поскольку исследователи все равно могут исказить результаты при подготовке и анализе исследования. Например, они читают только определенные статьи, выбирают гипотезы, основанные на заблаговременно придуманных идеях, и отчитываются о результатах лишь выборочно.

В медицине исследователи изо всех сил добиваются по-настоящему слепых испытаний. В 2014 году журнал British Medical Journal (BMJ) опубликовал пятьдесят три исследования, где сравнивались настоящие хирургические вмешательства с «фиктивными» операциями, «включая сценарий, когда пациенту ввели зонд и не провели никаких манипуляций, но он под действием успокоительных или общей анестезии не мог определить, проводилась ли операция».

Эти мнимые операции являются примером плацебо. Контрольные участники и экспериментальная группа получают одинаковые препараты или манипуляции, но на самом деле «лечение» контрольной группы не должно обладать никаким эффектом. Интересно, что сам факт получения того, от чего вы ждете положительного результата, может спровоцировать этот результат. Это называется эффектом плацебо.

В то время как само плацебо почти не влияет на некоторые вещи, например не может срастить сломанную кость, эффект плацебо вызывает заметные улучшения при множестве недугов. Обзор BMJ сообщил, что в 74 % испытаний пациенты, перенесшие мнимые операции, отметили некоторое облегчение своих симптомов, а в 51 % операций они выздоровели почти так же, как и настоящие пациенты.

При определенных условиях есть даже основания полагать, что эффект плацебо – не просто плод воображения.

Например, плацебо-«обезболивающее» провоцирует ту же мозговую активность, что и настоящие обезболивающие препараты. Все родители знают, что надо «подуть на больное место», и это поможет.

Точно так же ожидание побочного эффекта приводит к настоящим негативным последствиям даже при фальшивом лечении. Этот феномен называется эффектом ноцебо.

Одной из сложнейших вещей в планировании надежного эксперимента является определение конечной точки – метрики, которая используется для оценки гипотезы. В идеале конечная точка – это объективная метрика, которую можно легко измерить и последовательно интерпретировать. Вот примеры объективных метрик: жив ли человек, купивший продукт? Нажал ли пользователь кнопку на сайте?

Однако, когда идея, которая интересует исследователей, не является ясно просматриваемой или измеримой, они могут использовать прокси-конечную точку (еще ее называют суррогатной конечной точкой или маркером) – метрику, тесно связанную с конечной точкой, которую они измерили бы, если бы могли. Слово прокси означает замену кого-то или чего-то. Другие примеры использования этой ментальной модели включают в себя прокси-голосование (например, заочное голосование) и прокси-войну (например, текущие конфликты в Йемене и Сирии являются прокси-войной между Ираном и Саудовской Аравией).

Хотя качество университетов нельзя оценить одной объективной мерой, новостной журнал U.S. News and World Report пытается составить рейтинг учебных заведений с помощью прокси-меры, составленной из таких объективных факторов, как число выпускников и посещаемость, вместе с более субъективными мерами, такими как академическая репутация. Другие примеры распространенных прокси-мер включают в себя индекс массы тела (ИМТ) для оценки степени ожирения и IQ, которым измеряют интеллект. Прокси-меры более подвержены критике, потому что являются непрямыми мерами, и все эти три примера не исключение.

Чтобы понять, почему эта критика бывает обоснованной, рассмотрим аномальные сердечные ритмы (желудочковые аритмии), которые вызывают внезапную смерть. Были разработаны лекарства от желудочковой аритмии, и очевидно, что они должны защищать от внезапной смерти тех, кто их принимает. Но на самом деле использование этих препаратов приводит к значительному увеличению числа случаев внезапной смерти среди пациентов с бессимптомной желудочковой аритмией после сердечного приступа. Для этих пациентов снижение частоты желудочковых аритмий после лечения не является индикатором выживаемости, то есть хорошим показателем.

Несмотря на сложности при проведении хорошо организованных экспериментов, реальные научные доказательства надежнее единичных случаев, поскольку они позволяют делать правдоподобные выводы. Да, нужно остерегаться ложных корреляций и скрытых искажений (подробнее о них мы расскажем в следующем разделе), но в итоге вы получите результат, который сильно улучшит ваше мышление.

Скрытые искажения

В предыдущем разделе мы упомянули несколько вещей, на которые нужно обратить внимание при рассмотрении или проведении эксперимента, – таких как эффект ожиданий экспериментатора и смешанные факторы. Есть еще несколько скрытых явлений, которых следует опасаться.

Прежде всего, иногда неэтично и непрактично случайным образом делить людей на разные экспериментальные группы. Например, если исследователи хотят изучить, как курение влияет на беременность, будет неправильно заставлять некурящих беременных курить. Курильщиками в исследовании, таким образом, могут быть те, кто решит продолжать курить, что приводит к искажению под названием систематическая ошибка отбора.

При систематической ошибке отбора нет никакой гарантии, что курение будет единственным различием между этими группами. Поэтому, если исследование покажет разницу, будет трудно определить, какую роль в этом сыграло курение. Например, женщины, которые решили продолжать курить во время беременности вопреки советам врачей, могут принимать и другие спорные с точки зрения медицины решения, которые приводят к неблагоприятным последствиям.

Систематическая ошибка отбора также возникает, если выборка эксперимента не является типичной для основной массы населения, как это бывает с онлайн-опросами.

Если изучаемая группа не является типичной, то результаты нельзя применить для всех.

В общем, нужно очень осторожно делать выводы на основе нерандомизированных экспериментов. Комикс про Дилберта, приведенный ниже, высмеивает ошибку отбора, присущую множеству исследований, о которых говорят в новостях.

Дилберт © 2001 Скотт Адамс. Используется с разрешения Andrews McMeel Syndication. Все права защищены.

Похожую систематическую ошибку отбора делают родители, когда выбирают школу для своих детей. Понятно, что они хотят сделать все, что в их силах, и даже переезжают или доплачивают, чтобы дети учились в «лучших школах». Но почему эта школа считается лучше? Из-за учителей? Или детей там лучше готовят благодаря материальной обеспеченности родителей и интересу к образованию? Ошибка отбора, скорее всего, объясняет немалую долю высоких результатов экзаменов в этих школах и количество выпускников, поступивших в колледж.

Другой тип ошибки отбора, часто встречающийся в анкетах, – это искажение неответа, которое возникает, когда подгруппа людей не участвует в эксперименте после того, как была выбрана для него, то есть не отвечает на вопросы. Если причина отсутствия ответа связана с темой анкеты, конечный результат будет искаженным.

Например, ваша компания хочет понять, есть ли у сотрудников проблемы с мотивацией. Как и во многих компаниях, эту потенциальную проблему можно изучить с помощью опроса. Сотрудники, которые пропустили опрос из-за того, что по графику были в отпуске, будут случайными и вряд ли внесут искажение, а вот сотрудники, которые пропустят его из-за апатии, будут неслучайными и, скорее всего, исказят результат. Ведь эта группа состоит из сотрудников, которые не увлечены работой, и, если они откажутся участвовать, их апатия не будет зафиксирована.

Подобные опросы также редко учитывают мнение бывших сотрудников, а это тоже искажает результаты. Это искажение называется систематической ошибкой выжившего. Возможно, несчастные сотрудники уже уволились, но вы не учтете их мнение, если опросите только тех, кто остался в компании. Таким образом, результаты будут искажены, ведь вы опросили только «выживших».

Получается, что на опросы нельзя полагаться из-за этих искажений? Не всегда. Почти у каждого метода есть недостатки, и редко можно избежать искажений в том или ином виде. Нужно только знать потенциальные проблемы исследования и учитывать их в своих выводах. Например, если вы знаете о систематической ошибке выжившего, можно изучить данные собеседований перед увольнением, чтобы проверить, не было ли проблем с мотивацией у покинувших вас сотрудников. А можно попытаться опросить и их.

Еще несколько примеров демонстрируют, какой незаметной бывает ошибка выжившего. Во время Второй мировой войны исследователи военно-морского флота изучили повреждения самолетов, вернувшихся с операций, чтобы улучшить их оборону в будущих миссиях. Глядя на пробоины в самолетах, они решили оснастить дополнительной защитой места, которые пострадали сильнее всего.

Систематическая ошибка выжившего

Адаптировано из изображения Creative Commons. Макгеддон «Иллюстрация гипотетической картины повреждений бомбардировщика Второй мировой войны». Wikimedia Commons, 12 ноября 2016 года, https://commons.wikimedia.org/wiki/File: Survivorship-bias.png.

Но статистик Авраам Уолд заметил, что в исследовании участвовали только самолеты, вернувшиеся с операций, а не то множество самолетов, которые были сбиты. Таким образом, он сделал противоположный вывод, который оказался верным: пробоины были в тех местах, попадание в которые самолет может выдержать и вернуться невредимым, а вот попадание туда, где не было дырок, скорее всего, приводило к падению.

История жизни Билла Гейтса и Марка Цукерберга может подтолкнуть вас к выводу, что надо бросить учебу и погнаться за своей мечтой. Однако вы смотрите только на «выживших».

Вы не замечаете всех тех недоучек, которые не смогли выбиться в люди. Более повседневный пример можно увидеть в архитектуре: старые здания обычно кажутся красивее, чем их современные аналоги. Но эти здания пережили эпохи. В те времена была построена масса уродливых домов, которые уже снесли.

Когда вы критически оцениваете исследование (или проводите его самостоятельно), нужно спросить себя: кого не хватает в выборке? Почему ваша выборка может оказаться неслучайной по сравнению с остальным населением? Например, если вы хотите нарастить клиентскую базу компании, вы не должны проверять исключительно существующих клиентов. Скорее всего, в такую выборку вообще не войдет бо́льшая часть потенциальных клиентов. Они могут вести себя совершенно иначе, чем существующие (как ранние пользователи и раннее большинство). Еще одним типом незаметной ошибки является искажение ответа. Искажение ответа появляется, когда множественные когнитивные искажения мешают дать точный или правдивый ответ респондентам. Например, в опросе о мотивации сотрудников люди могут солгать (или умолчать о чем-то), опасаясь наказания.

В общем и целом искажение ответа влияет на результаты опросов множеством способов, включая следующие:

• формулировка вопросов (например, наводящие или провокационные вопросы);

• порядок вопросов, где один вопрос влияет на последующие ответы;

• плохая или неточная память респондентов;

• сложности с отображением чувств в виде чисел, например в рейтингах от 1 до 10;

• попытки респондентов выставить себя в лучшем свете.

Стоит попытаться учесть все эти скрытые искажения (систематическую ошибку отбора, искажение неответа, искажение ответа, систематическую ошибку выжившего), потому что после этого вы станете еще увереннее в своих выводах.

Остерегайтесь закона малых чисел

Интерпретируя данные, остерегайтесь распространенной ошибки, которая приводит к самым разным проблемам: завышения результатов, полученных от слишком маленькой выборки.

Даже в хорошо проведенном эксперименте (типа политического голосования) нельзя рассчитывать, что ваша оценка, основанная на небольшой выборке, будет верна.

Такая ошибка иногда называется законом малых чисел, и в этом разделе мы подробно ее рассмотрим. Название происходит от настоящей статистической концепции под названием закон больших чисел, которая гласит, что чем больше выборка, тем ближе ваш средний результат к истинному среднему значению.

График ниже демонстрирует это в действии. Каждая линия представляет собой серию бросков монетки и показывает, как процент выброшенных «решек» меняется с первого до пятисотого броска в каждой серии. Обратите внимание, что кривые могут довольно сильно отклоняться от отметки 50 % в начале, но приближаются к этому числу все сильнее и сильнее по мере увеличения числа бросков. И даже после пятисотого броска некоторые числовые данные все еще далеки от 50 %.

Закон больших чисел

Скорость сходимости для данного эксперимента зависит от ситуации. В следующем разделе мы объясним, как определить достаточный размер выборки. А сейчас мы хотим сосредоточиться на том, что пойдет не так, если ваша выборка слишком мала.

Для начала рассмотрим ошибку игрока, названную в честь игроков в рулетку, которые считают, что последовательность черных и красных результатов на колесе рулетки в следующий раз скорее закончится, чем продолжится. Допустим, вам десять раз подряд выпадало черное. Жертвы этой ошибки ждут, что в следующий раз выше вероятность получить красное, тогда как на самом деле вероятность для каждого вращения не меняется. Чтобы эта идея перестала быть ошибочной, рулеткой должна управлять некая корректирующая сила, уравновешивающая результаты. Но это не тот случай.

Иногда это также называют ложным выводом Монте-Карло, потому что в широко известном случае 18 августа 1913 года в казино в Монте-Карло выпала невероятная череда из 26 черных! Вероятность такого результата составляет всего 1 на 137 млн для любой последовательности из 26 вращений. Но все остальные последовательности из 26 результатов точно так же редки. Просто они не такие крутые. Ошибка игрока действует для любой последовательности решений, включая судебные, кредитные и даже решения бейсбольных рефери. В обзоре Чикагского университета для «Ежеквартального экономического журнала»^[64], посвященном рассмотрению дел о предоставлении политического убежища с 1985 по 2013 год, отмечается, что