Текст книги "Как измерить все, что угодно [Оценка стоимости нематериального в бизнесе]"

Автор книги: Дуглас Хаббард

сообщить о нарушении

Текущая страница: 9 (всего у книги 20 страниц)

Инженер: О’кей. Думаю, что они будут тратить меньше времени на поиск нужных документов. Но это только одна статья.

Фасилитатор: Хорошо. Начало положено. Сколько времени в неделю уходит на такие поиски сейчас и как, по вашему мнению, сократятся временные затраты? Пока что нам подойдут и калиброванные оценки.

Инженер: Ну, думаю, я на 90 % уверен, что средний инженер тратит на поиски нужных бумаг от одного до шести часов в неделю. Все технические условия на оборудование, чертежи, руководства и прочее хранятся в разных местах, при этом большинство не в электронном виде.

Фасилитатор: Хорошо. Сколько времени удастся сэкономить, если они будут сидеть за своими столами и просто делать запросы?

Инженер: Даже я, когда пользуюсь такими поисковыми машинами, как Google, все равно трачу много времени, отбрасывая ненужную информацию, поэтому компьютеризация уменьшит временные затраты вовсе не на 100 %. Но я уверен, что они сократятся, по крайней мере, вдвое.

Фасилитатор: Зависит ли это от вида деятельности инженеров?

Инженер: Конечно. Инженеры, выполняющие руководящие функции, тратят на это меньше времени. За них поиск документов выполняют подчиненные. А инженерам, занимающимся вопросами соблюдения законодательных и иных требований, постоянно приходится искать разные документы. Программой будут пользоваться и техники.

Фасилитатор: Отлично. Сколько инженеров и техников относятся к каждой из этих категорий и сколько времени каждый из них тратит на подобную деятельность?..

Так мы продолжали до тех пор, пока не выявили разные категории персонала, каждой из которых соответствовали свои временные затраты на поиск документов и свой потенциал снижения этих затрат. Сотрудники компании могут отличаться друг от друга и по темпам освоения новой технологии, и по другим признакам.

Приведенный выше диалог фактически является реконструкцией реального разговора, состоявшегося у меня с инженерами одной крупной американской АЭС. На нашей встрече мы определили и другие функции, такие как дистрибуция, контроль качества и т. д., затраты времени на выполнение которых могут сократиться с внедрением автоматизированной системы управления документооборотом. Время выполнения этих функций также зависело от служебных обязанностей инженера или техника.

Короче говоря, причиной такого широкого интервала значений возможного роста эффективности труда, который указали инженеры АЭС, частично оказалось то, что они знали обо всех этих различиях между инженерами, выполняющими разные обязанности, но не смогли разбить их по категориям. Когда это было сделано, обнаружилось, что некоторые величины (например, число инженеров в каждой группе или разное время поиска документов инженерами разных категорий) были известны и что неопределенность исходного значения объяснялась в основном незнанием всего одного или двух показателей. Если бы мы обнаружили, что в затратах времени на копирование или поиск потерянных документов они сомневаются больше, чем в том, в какие группы нужно объединить инженеров, то начали бы свои измерения с выяснения информации о затратах, а не с распределения работников по категориям.

ЭФФЕКТ разложения на составляющие

Эффект разложения на составляющие состоит в том, что сам процесс нередко обеспечивает такое значительное снижение неопределенности, что дальнейшие наблюдения становятся ненужными.

За последние 10 лет мне довелось 55 раз анализировать соотношение риска и доходности, при котором приходилось учитывать в общей сложности более 3300 переменных, то есть в среднем примерно по 60 переменных на один проект. Из них лишь около 120 (всего по две на один проект) потребовали дополнительного уточнения после определения стоимости информации. Большинство из этих 120 величин (около сотни) пришлось разложить на более легкие для оценки составляющие. Прочие переменные поддавались оценке более прямыми и очевидными методами. Например, чтобы определить расход топлива у грузовика при движении по дороге, покрытой гравием, было достаточно просто проехать на нем с включенным расходомером, а оценить число вирусов в программном обеспечении можно было, выборочно проверив коды.

Почти треть из тех переменных, что были разложены на составляющие (около 30), не потребовали после разложения дальнейшего уточнения. Иными словами, около 25 % всех измерений с высокой стоимостью были произведены с помощью одного только разложения. Калиброванные эксперты уже знали о данной переменной вполне достаточно, они просто нуждались в более развернутой модели, точнее выражавшей имевшиеся у них знания.

Нам пришлось оценить одну или более составляющих примерно двух третей всех разложенных на элементы переменных. Например, разрабатывая прогноз роста эффективности труда, мы попросили группу работников оценить время, затрачиваемое ими на определенный вид деятельности. Для таких величин разложение на составляющие стало важным шагом вперед к пониманию способа, каким их можно оценить. Весь процесс разложения сам по себе – процесс постепенного прозрения скептиков, считающих объекты и явления не поддающимися измерению. Используя разложение, мы, подобно инженеру, перед которым поставили непростую задачу построить подвесной мост совершенно новым способом, методично решаем все проблемы измерения, разлагая их на элементы. Как и этому инженеру-мостострои-телю, анализ составляющих на каждом этапе позволяет нам заново сформулировать и уточнить стоящую задачу. Разложение на составляющие переменной, «не поддающейся оценке», – важный этап, иногда он и сам по себе достаточно снижает неопределенность.

Вторичные исследования: предположим, что до вас этот объект уже измеряли

Похоже, что, приступая к измерениям в бизнесе, некоторые толковые предприниматели обычно исходят из того, что им, раз уж они так умны, придется самим придумывать метод количественной оценки интересующего объекта. Однако на самом деле в большинстве случаев подобные инновации вовсе не требуются.

Ни одно научное исследование не начинается с первой случайной выборки или экспериментального наблюдения. Не начинается оно и с разработки метода выборки или способа проведения эксперимента. Исследование начинается с вторичных исследований, то есть с анализа результатов, полученных до вас. Вторичные исследования отличаются от первичных, во время которых исследователи сами делают свои наблюдения. Несмотря на название, вторичные исследования всегда предшествуют первичным. Все исследователи считают само собой разумеющимся, что проблемой уже кто-то занимался. Об этом говорит и первое из четырех сформулированных нами «рабочих предпосылок» измерения (см. главу 3): «Ваша проблема совсем не так уникальна, как вы думаете. Предположите, что кто-то уже решил ее до вас или, по крайней мере, уточнил». Эта предпосылка почти всегда оказывается правильной.

Анализ имеющейся литературы, похоже, еще не вошел у менеджеров в привычку. Но проводить его стало намного легче. Сегодня почти все мои исследования начинаются с поиска информации в Интернете. Какую бы задачу по измерению я ни пытался решить, обязательным этапом является «домашнее задание» в Google или Yahoo. Потом я, конечно, все равно отправляюсь в библиотеку, но уже лучше представляю, что мне нужно.

Даю несколько советов по использованию Интернета для вторичных исследований. Быстро найти нужную вам информацию по методам измерения вы сможете только при условии, что укажете в строке «Поиск» нужные слова. Умение эффективно пользоваться Интернетом приходит с практикой, но, возможно, вам пригодятся следующие советы:

• Если предмет мне совершенно незнаком, то я начинаю вовсе не с Google, а с онлайновой энциклопедии Wikipedia.org. Она содержит свыше миллиона статей, многие из которых посвящены проблемам бизнеса и техники, кажущимся слишком спорными для освещения в традиционных энциклопедиях. В хорошей статье обычно имеются ссылки на другие сайты, а по спорным вопросам приводятся несколько точек зрения, чтобы вы могли сами выбрать наиболее подходящую.

• Ищите по словам, которые ассоциируются с исследованиями и количественным анализом. Если вам необходимо оценить качество программного обеспечения или мнение потребителя, ищите не только по этим словам – найдете только общие рассуждения. Ищите по таким словам, как «таблица», «опрос», «контрольная группа», «корреляция» и «стандартное отклонение», которые обычно фигурируют в более содержательных исследованиях. Кроме того, в серьезных поисках обычно используют такие слова и словосочетания, как «университет», «доктор наук» и «общенациональные исследования».

• Помните, что в Интернете есть не только поисковые машины, но и хранилища специальной информации. Недостатком таких мощных поисковиков, как Google, является то, что вы, получив тысячи совпадений, можете все же не найти необходимой информации. Но попытайтесь заходить на сайты отраслевых или научных журналов. Если меня интересует национальная или мировая экономическая статистика, то я отправляюсь прямиком на такие сайты, как сайт Бюро переписи населения США, Министерства торговли и даже ЦРУ («World Fact Book» – «Всемирная книга фактов ЦРУ» – место, где я всегда нахожу самые разнообразные данные международной статистики). Совпадений окажется меньше, а нужных данных будет больше.

• Используйте несколько поисковых машин. Даже всесильный на первый взгляд Google пропускает статьи, которые быстро находят другие машины. Лично я помимо Google пользуюсь clusty. com и yahoo.com.

• Найдя исследования не совсем по своей теме, в которых, тем не менее, упоминается интересующий вас вопрос, обязательно посмотрите библиографию. Иногда ее изучение – лучший способ отыскать нужные данные.

Основные методы наблюдения: не работает один – попробуйте другой

Подробное описание того, как вы представляете себе или распознаете предполагаемый объект измерения, – полезный прием при выборе метода его количественной оценки. Наличие любых оснований считать, что объект вообще существует, означает: вы его так или иначе наблюдаете. Когда кто-то утверждает, что удовлетворенность потребителей значительно повысится в случае сокращения времени ожидания ответа у телефона, он делает это, основываясь на каких-то аргументах: возможно, поступали жалобы от клиентов; возможно, с ростом компании наметилась тенденция к сокращению числа довольных покупателей. Измерения почти всегда проводятся для проверки достоверности какой-то идеи, а эти идеи возникают не на пустом месте.

Выявив неопределенность, установив соответствующие пороги и рассчитав стоимость информации, вы уже обнаружили нечто, в принципе поддающееся наблюдению. Обдумайте несколько этапов, связанных с характером наблюдений, – своеобразный каскад эмпирических методов. Если вам не подойдет первый подход, попробуйте следующий и т. д. Вопросы приведены в произвольном порядке, но, возможно, в некоторых ситуациях вам будет удобнее начать с первого, а потом перейти к другим.

1. Оставляет ли интересующий вас объект какие-либо следы после себя? Практически все явления, какие только можно вообразить, оставляют после себя некое доказательство своего осуществления. Рассуждайте, как следователь. Приводит ли объект, событие или вид деятельности, который вы хотите измерить (оценить), к последствиям, оставляющим после себя какие-нибудь следы? Пример: длительное ожидание ответа у телефона заставляет некоторых клиентов, позвонивших в службу поддержки, дать отбой. Это должно приводить, по меньшей мере, к убыткам в бизнесе, но каким именно? Почему люди не дожидаются ответа – по каким-то своим причинам или из-за раздражения от проволочки? В первом случае они перезвонят, а во втором – нет. Выявив хотя бы несколько человек из тех, кто повесил трубку, и связав это с сокращением объемов их покупок, вы получите подсказку. Сумеете ли вы установить корреляцию между числом клиентов, не дождавшихся ответа, и снижением продаж своей продукции? (См. пример «Оставшийся след».)

2. Если явление не оставило следов, попробуйте понаблюдать за ним или какой-то его составляющей непосредственно. Вы наверняка не подсчитывали, сколько машин с номерами других штатов скапливается на парковке у магазина, – теперь можете сделать это. Конечно, дежурить на парковке целый день нецелесообразно, но вполне приемлемо подсчитать такие автомобили в какие-то произвольно выбранные часы работы магазина.

3. Если объект измерения, по всей видимости, не оставил после себя никаких определяемых следов, а непосредственное его наблюдение без дополнительных инструментов кажется невозможным, можете ли вы придумать способ обнаружить последствия сейчас? Если до сих пор объект никаких следов не оставил, его можно «пометить», чтобы они проявились, по крайней мере, теперь. Например, Amazon.com предоставляет бесплатную подарочную упаковку, чтобы следить за тем, сколько книг приобретается в подарок. Раньше создателей сайта эта информация не интересовала. Введение новой услуги «мешки» позволило им получить такие сведения. Другой пример – раздача купонов покупателям, давшая владельцам магазинов возможность следить в том числе и за тем, какие газеты читают их клиенты.

4. Если наблюдение в существующих условиях не дает нужных результатов (когда имевшейся или вновь собранной информации недостаточно), то нельзя ли «заставить» интересующий вас феномен проявиться в других условиях, в которых наблюдать за ним будет проще? Пример: владелец сети магазинов хочет узнать, как новые правила возврата бракованных товаров повлияют на удовлетворенность покупателей и объемы продажи. Он должен опробовать их сначала в одном магазине, оставив в других все по-прежнему, и сравнить результаты.

НЕКОТОРЫЕ ОСНОВНЫЕ ПРАВИЛА НАБЛЮДЕНИЯ

1. Идите по следу, как заправский детектив. Проводите «криминалистический анализ» уже имеющейся у вас информации.

2. Используйте непосредственное наблюдение. Начните смотреть, подсчитывать и по возможности делайте выборочные оценки.

3. Если до сих пор объект не оставлял после себя следов, «пометьте» его, чтобы следы наконец появились.

4. Если выйти на след никак не удается, создайте условия, в которых появится возможность наблюдать за объектом (проведите эксперимент).

Перечисленные методы применимы и тогда, когда требуется оценить происходящее в настоящее время (например, текущие продажи, обусловленные положительными отзывами покупателей), и тогда, когда нужно сделать прогноз (ожидаемого совершенствования рекламы, базирующейся на отзывах потребителей о новой характеристике товара, повышения качества обслуживания и т. д.). Когда возникает необходимость оценить текущее состояние, вся необходимая для этого информация уже имеется. Но когда составляется прогноз, приходится решать, что из уже наблюдаемого дает основания ожидать улучшения. Если же в прошлом нельзя найти ничего, что позволяет надеяться на прогресс, то на чем вообще базировались подобные ожидания?

И помните: чтобы обнаружить след, «пометить» объект или провести эксперимент, нужно понаблюдать всего за несколькими явлениями из случайной выборки. Не забывайте и о том, что выявленные составляющие объекта порой измеряются разными способами. И не стоит сразу беспокоиться из-за проблем, которые часто возникают в ходе применения приведенных выше методов. Просто решите, какой из них проще и практичнее применить именно сейчас.

ПРИМЕР «ОСТАВШИЙСЯ СЛЕД»: ЦЕННОСТЬ СКОРОСТИ ОТВЕТА НА ЗВОНКИ КЛИЕНТОВ

Один крупный европейский дистрибьютор лакокрасочной продукции попросил меня оценить влияние скорости работы сети на объемы продаж, так как от этого показателя зависела быстрота ответов на входящие звонки клиентов. Поскольку офисная АТС вела учет всех звонков, в том числе и прерванных абонентами в период ожидания, а торговый персонал хранил данные о степени занятости (а следовательно, о времени отклика) за прошлые периоды, я порекомендовал провести перекрестный анализ обоих массивов данных. В результате оказалось, что когда нагрузка на сбытовую сеть возросла, клиенты стали обрывать звонки чаще. Изучались также ситуации прошлых периодов, когда сеть работала медленнее по другим причинам, а не из-за того, что ею активно пользовалась служба поддержки, а также динамика продаж. В результате компания сумела выявить ту разницу в продажах, которая объяснялась исключительно более медленной работой сети.

Не измеряйте точнее, чем нужно

В главе 7 мы рассказали о том, как рассчитать стоимость информации, необходимой для принятия решения. Определенная вами исходная неопределенность, стоимость информации и пороги дают достаточно данных о методе измерения, который действительно подходит для поставленной задачи. Если информация о том, заметили ли покупатели улучшение качества вашей продукции после перехода на новый метод производства (например, после изменения рецептуры изготавливаемого вами напитка), стоит пару тысяч долларов, то вам не удастся экономически обосновать ни небольшое маркетинговое исследование, ни даже дегустацию вслепую. Но когда эта информация стоит миллионы долларов (что более вероятно, если ваша компания крупная или хотя бы средняя), вас не запугает исследование, которое обойдется в 100 тыс. дол. и продлится несколько недель. Знание стоимости информации, порога, текущей неопределенности и решения, которое придется принять, – необходимое условие правильного выбора цели и условий измерения.

Стоимость информации определяет верхний предел затрат на проведение измерений. Но, как правило, такие затраты оказываются намного ниже. Обычно я рассчитываю, что они приблизительно составят 10 % EVPI, хотя порой они не превышают и 2 % EVPI (это минимум, из которого вы должны исходить). Я ориентируюсь на эти показатели по трем причинам. Во-первых, EVPI – это стоимость полной информации. Но все эмпирические методы дают какую-то погрешность, а наша цель – снизить неопределенность, а вовсе не получить точные сведения. Поэтому стоимость результатов наших измерений будет, по всей видимости, намного меньше EVPI. Во-вторых, начальные измерения нередко меняют стоимость результатов дальнейших измерений. Если первые итоги оказываются неожиданными, то затраты на продолжение оценки могут упасть до нуля. Это означает одно: измерения следует проводить итеративно. А поскольку у нас всегда есть возможность продолжить измерения, если нужен более точный результат, то обычно в недооценке результатов начальных оценок присутствует управляемый риск. Наконец, не забывайте о том, что кривая стоимости информации обычно круче всего идет вверх в самом начале: первая сотня изученных образцов снижает неопределенность намного больше, чем вторая.

Способ измерения объекта подсказывает порог. Если возникает необходимость оценить возможный спрос, чтобы определить объем производства, или производительность труда (для расчета премиальных выплат), то фактически порога у вас не будет. Каждое повышение точности будет иметь свою стоимость, хотя с приближением к EVPI стоимость информации будет инкрементально расти все медленнее. Но предположим, что требуется рассчитать размер рынка, так как сделанные вашей компанией инвестиции окажутся безубыточными только в случае роста рынка не менее чем на 12 % по сравнению с прошлым годом. Выбирая метод измерения, вам следует учесть, что ошибка не выше 1 % не так важна, главное – узнать, на какой стороне порога вы окажетесь. Если вы можете с достоверностью установить, что рынок вырастет менее чем на 5 %, то какова погрешность этого показателя – 1 % или 5 % – вам неважно. В этом случае главное, чтобы прогноз не показал, что рост рынка составит больше (или меньше) 12 %, когда на самом деле правильно обратное.

Наконец, о том, какой метод измерения вам потребуется, говорит и исходная неопределенность. Помните: чем выше неопределенность, тем больше информации дадут первые наблюдения. Если сначала неопределенность была очень высока, то даже методы, имеющие большую неустранимую погрешность, дадут больше сведений, чем имелось раньше.

Учитывать погрешность

Все измерения дают погрешность. Чтобы решить эту проблему, ее, как и любую другую, необходимо, прежде всего, признать. После этого мы сможем выработать стратегию, позволяющую, по крайней мере, частично компенсировать ошибки. Однако те, кто быстро пасует перед трудностями измерения, нередко исходят из того, что наличие любой погрешности означает невозможность оценки. Будь это так, измерения были бы невозможны ни в одной области науки. Но, к счастью для научного сообщества и для всех остальных, это заблуждение. Энрико Ферми может покоиться с миром.

Ученые, статистики, экономисты и большинство других специалистов, занимающихся эмпирическими измерениями, делят ошибки на две большие категории – систематические и случайные. Систематические ошибки – это постоянные, а не случайные отклонения результатов одного наблюдения от итогов другого. Например, если прогнозы доходов следующего квартала, составляемые менеджерами по продажам, постоянно оказываются завышенными в среднем на 50 %, то это ошибка систематическая. То, что завышение не всегда составляет ровно 50 %, – ошибка случайная. Случайная ошибка одного наблюдения, по определению, не поддается предсказанию, но случайные ошибки ряда наблюдений подчиняются определенной закономерности и могут быть рассчитаны с помощью теории вероятности.

Термины «систематическая» и «случайная ошибки» связаны с такими понятиями, как достоверность и точность. Достоверность отражает воспроизводимость и повторяемость результатов измерений, в то время как точность показывает, насколько результат измерения близок к «истинному» значению. Большинство считает понятия «точность» и «достоверность» синонимичными, но специалисты по измерению их определенно различают.

Показания домашних весов, специально настроенных, чтобы занижать или завышать вес, могут быть достоверными, но неточными. Они достоверны, так как будут показывать один и тот же вес каждый раз, когда один и тот же человек будет вставать на них несколько раз в течение часа (за который его вес не успеет измениться). И все же они неточны, потому что всякий раз будут показывать вес, специально заниженный, например на 3 кг. Представим себе теперь, что идеально настроенные весы находятся в движущемся автофургоне. Ухабы, ускорение или спуски и подъемы заставят их давать каждый раз иные показания, даже если взвешиваться будет один и тот же человек (становясь на них по два раза в минуту). И все же окажется, что средний ответ очень близок к его реальному весу. Вот пример довольно хорошей точности, но низкой достоверности. Это характерно и для калиброванных экспертов: они могут быть непоследовательными в своих суждениях, постоянно что-то пере– или недооценивая.

КРАТКИЙ ГЛОССАРИЙ ПОГРЕШНОСТИ

Систематическая ошибка, или систематическое отклонение (смещение) – неотъемлемое свойство процесса измерения давать определенный результат; постоянное отклонение.

Случайная ошибка – ошибка, непредсказуемая для отдельного наблюдения, непостоянная и не зависящая от известных величин (хотя в своей массе такие ошибки подчиняются законам вероятности).

Точность – характеристика измерений, дающих низкую систематическую ошибку, то есть таких, когда искомое значение не занижается и не завышается на постоянной основе.

Достоверность – характеристика измерений, дающих низкую случайную ошибку, то есть таких, которые дают аналогичные результаты, пусть и далекие от истинного значения.

Иными словами, достоверность – это низкая случайная ошибка при любой систематической ошибке, а точность – это низкая систематическая ошибка при любой случайной ошибке. Каждый вид ошибки можно учесть и компенсировать. Зная, что весы всегда показывают на 3 кг больше, мы можем скорректировать их показания. Если весы настроены точно, но дают разноречивые показания, то мы можем устранить случайную ошибку, проведя несколько измерений и рассчитать средний результат. Любое снижение того или иного вида ошибки называется контролем точности.

Случайная выборка представляет собой тип контроля точности в случае правильного ее использования. Непредсказуемые по отдельности, взятые в целом, случайные эффекты подчиняются определенным, вполне прогнозируемым закономерностям. Например, я не знаю, как упадет одна подброшенная монета, но могу сказать, что при подбрасывании 1000 монет решка выпадет 500±26 раз (способ определения этой ошибки мы еще обсудим позже). Намного сложнее оценить, даже приблизительно, систематическую ошибку. Систематические ошибки (допускаемые необъективно настроенными экспертами, определяющими качество продукции, или приборами, постоянно дающими завышенные показания) не обязательно порождают случайные ошибки, не поддающиеся количественной оценке с помощью теории вероятности.

Будь у вас выбор, что бы вы предпочли: взвеситься на разрегулированных, но достоверных весах с неизвестной погрешностью или на настроенных, но находящихся на движущейся платформе и дающих всякий раз разные показания? Я обнаружил, что в бизнесе люди нередко предпочитают достоверность с неизвестной систематической ошибкой недостоверному значению со случайной ошибкой. Например, чтобы определить, сколько времени торговые представители тратят на встречи с клиентами по сравнению с выполнением других административных задач, менеджеры, скорее всего, проанализируют все ведомости учета рабочего времени. Идея провести случайную выборку торговых представителей и изучить структуру их временных затрат вряд ли придет им в голову. Но ведомости учета рабочего времени не дают точной картины, особенно если заполняются в пятницу в 5 часов вечера перед самым уходом с работы за всю неделю сразу. Люди недооценивают время, затраченное на выполнение одних задач, переоценивают продолжительность выполнения других и непоследовательны в классификации этих задач.

Поэтому даже если анализ всех пяти тысяч ведомостей учета рабочего времени (по 50 недельных ведомостей на каждого из 100 торговых представителей) и скажет нам, что они тратят на непосредственное общение с клиентами 34 % своего времени, мы не будем знать, правда ли это. И все же эта «точная» цифра, похоже, кажется многим менеджерам вполне убедительной. Предположим теперь, что прямое наблюдение за случайно выбранными торговыми представителями в случайно выбранные моменты времени показало, что они находились на встречах с клиентами или разговаривали с ними по телефону только в 13 из 100 случаев (в этом можно убедиться, и не отвлекая торговых представителей от их занятия, а опросив их, когда они освободятся). Как показано в главе 9, для последнего измерения мы можем статистическими методами рассчитать, что 90-процентный доверительный интервал этого показателя составляет 7,5–18,5 %. Хотя метод случайной выборки и даст нам только интервал, его результат будет представлять больший интерес, чем результат анализа ведомостей учета рабочего времени. Последний способ предоставляет точное число, но мы не имеем возможности узнать, как велика погрешность и в какую сторону полученное значение отклоняется от истинного.

МАЛЫЕ СЛУЧАЙНЫЕ ВЫБОРКИ ИЛИ КРУПНЫЕ НЕСЛУЧАЙНЫЕ: ИССЛЕДОВАНИЯ ЧЕЛОВЕЧЕСКОЙ СЕКСУАЛЬНОСТИ, ПРОВЕДЕННЫЕ КИНСИ

В 1940-х и 1950-х годах исследования Альфреда Кинси о сексуальном поведении человека дали толчок оживленным дискуссиям о сравнительных достоинствах малых случайных выборок и крупных неслучайных. Книги Кинси вызвали и большой интерес, и много споров. Получив грант от фонда Рокфеллера, Кинси сумел опросить 18 тыс. мужчин и женщин. Но его выборки были не совсем случайными. Он стремился встретиться с рекомендованными ему людьми и побеседовать с каждым представителем какой-либо группы (команды по боулингу, студенческих сообществ, книжного клуба и т. д.). По-видимому, он исходил из того, что при достаточно большой выборке погрешность компенсируется. Но в случае большинства систематических ошибок это не срабатывает – они не исключаются методом усреднения. Знаменитый статистик Джон Тьюки, которому тот же фонд Рокфеллера не позволил проверить работу Кинси, якобы сказал, что случайный выбор трех человек дал бы лучшие результаты, чем выбранная мистером Кинси группа из 300 человек. По другой версии, он сказал, что предпочитает случайную выборку из 400 респондентов отобранным Кинси 18 тыс. человек. Возможно, первое высказывание Тьюки и преувеличение, но небольшое. Он имел в виду, что выбиравшиеся Кинси группы были нередко очень близки к однородным. Поэтому, с точки зрения статистики, их можно приравнять к одному случайно выбранному человеку. Во второй версии своего высказывания Тьюки был абсолютно прав: ошибка при случайном выборе 400 человек вполне поддается количественной оценке и может быть намного меньше систематической ошибки при неправильном выборе 18 тыс. человек.

Почему люди предпочитают ложное впечатление точности ошибке случайной выборки, поддающейся количественной оценке? Как я обнаружил, нередко это происходит потому, что они путают ошибку одной выборки с ошибкой всего исследования. Да, в нашем примере с торговыми представителями в какие-то моменты вы могли обнаружить, что кто-то занят нетипичной, нерепрезентативной деятельностью, вовсе не характерной для всей группы, например готовится к командировке, хотя обычно почти никуда не ездит. Если бы мы выбрали именно этого человека и опросили его всего один раз, то вряд ли узнали бы что-то полезное о том, на что он тратит свое рабочее время. Но если 25 из 100 торговых представителей, опрошенных неоднократно, действительно готовятся к командировке, то можно не сомневаться, что весь торговый персонал тратит на это, в среднем, 25 % своего времени, и простейшие расчеты из главы 9 показывают, что 90-процентный доверительный интервал для этого показателя составляет 18–32 %. Из ненадежности результата одной выборки люди делают вывод, что в случае нескольких случайных выборок их ошибки не устраняются путем компенсации, а суммируются.

Ошибку, не исключаемую путем усреднения (систематическую ошибку), называют также отклонением, или смещением. Исследования в области психологии принятия решений и эмпирических наук в целом расширяют перечень возможных типов отклонения чуть ли не каждый год. Но есть три основных типа, которые можно ожидать при проведении измерений: отклонение ожидания, отклонение выбора и отклонение наблюдателя.

ВИДЫ ОТКЛОНЕНИЙ ПРИ НАБЛЮДЕНИЯХ

Смещение ожидания – принятие желаемого за действительное. Наблюдатели и испытуемые порой намеренно или ненамеренно видят именно то, что хотят. Люди доверчивы и склонны к самообману. Когда проводятся клинические испытания лекарств, пациенты не знают, кто принимает лекарство, а кто – плацебо. Это упомянутое выше испытание вслепую. Если принимающие лекарство не известны ни пациентам, ни врачам, то это двойное испытание вслепую. Еще один пример испытания вслепую – подход, предложенный мною Mitre Corporation (см. главу 3).