Текст книги "Как измерить все, что угодно [Оценка стоимости нематериального в бизнесе]"

Автор книги: Дуглас Хаббард

сообщить о нарушении

Текущая страница: 15 (всего у книги 20 страниц)

Применяя инвестиционные границы для оценки инвестиционных проектов, мы обнаруживаем, что требуемая скорректированная на риск ROI должна быть значительно выше типичных «пороговых ставок» (требуемой минимальной доходности), используемых иногда руководителями, санкционирующими вложение средств в информационные технологии (нередко эти пороговые ставки составляют 15–30 %). С ростом объемов предполагаемых инвестиций этот эффект быстро усиливается. Доходность самых крупных проектов разработки программного обеспечения должна намного превышать 100 %. Риск замораживания проекта, неопределенность в связи с выгодами и риск возникновения неожиданных препятствий – все это увеличивает рискованность таких проектов, а значит, и их требуемую доходность. Для руководителей, санкционирующих инвестиции в информационные технологии, этот вывод важен по целому ряду причин.

Не будет преувеличением сказать, что инвестиции в разработку программного обеспечения обычно входят в число самых рискованных проектов вложения средств, которые реализуют компании. Например, вероятность того, что крупный проект такого рода будет заморожен, прямо пропорциональна продолжительности его осуществления. В 1990-х годах закончились ничем около четверти всех существовавших более двух лет проектов разработки программного обеспечения (для сравнения: показатель невыполнения обязательств по мусорным облигациям был ниже 25 %).

Тем не менее большинство организаций, применяющих анализ ROI, не принимают во внимание такие риски. Типичные пороговые ставки не корректируются на разные риски, связанные с ИТ-проектами, хотя именно риски должны в основном учитываться при принятии подобных решений. Если бы руководители компаний анализировали инвестиции в разработку программного обеспечения с точки зрения соотношения «риск/доходность», то наверняка принимали бы решения более обоснованные, чем сделанные только на основе фиксированных пороговых ставок.

Количественное определение субъективных компромиссов: решение проблемы нескольких взаимоисключающих предпочтений

Кривая инвестиционной границы – пример тех кривых полезности, с которыми будущие менеджеры компаний знакомятся на первом курсе университета. К сожалению, большинство из них, по-видимому, считают полученные знания чисто теоретическими и не имеющими никакого практического значения. Но кривые полезности – идеальный инструмент, позволяющий определять, какой частью одного стоит пожертвовать ради получения другого. Разнообразные виды кривых полезности помогают тем, кто принимает решения, детально выяснять, какой компромисс для них приемлем.

Один из самых распространенных компромиссов, которые приходится делать менеджеру, – это выбор между эффективностью и качеством. Он очень полезен при попытках оценить предпочтения и стоимость. Термины «эффективность» и «качество» толкуются настолько по-разному, что с уверенностью о них можно сказать только одно: высокая эффективность и высокое качество лучше, чем низкая эффективность и низкое качество. Но, как мы уже говорили, причин для такой неоднозначной трактовки не существует, и объяснить содержание этих слов так же легко, как и любых других «нематериальных» понятий.

Когда клиенты просят меня помочь им оценить эффективность, я всегда спрашиваю их: «А что вы подразумеваете под эффективностью?» В ответ они, как правило, предоставляют мне перечень разрозненных наблюдений, которые ассоциируются у них с эффективностью, например: «Этот человек всегда все делает вовремя» или «О ней заказчики всегда отзываются положительно». Могут упоминаться и такие факторы, как небольшое число допускаемых ошибок или высокая производительность труда, например: «За три месяца этот сотрудник сумел собрать целых три модуля без брака». Иными словами, проблема в том, что никто не представляет, как наблюдать эффективность. Один мой клиент высказался: «Я знаю, что должен искать, но как мне суммировать все это? Могу ли я считать, что тот, кто делает всю работу вовремя и почти без ошибок, работает эффективнее того, кто постоянно получает больше положительных отзывов клиентов?»

На самом деле это не проблема измерения, а вопрос документального оформления субъективных компромиссов. Это проблема отражения множества разнородных наблюдений в едином «индексе». И здесь, чтобы такое обобщение оказалось логичным, мы можем воспользоваться кривыми полезности. С их помощью достаточно просто показать, как сформулировать компромиссы по аналогии со следующими примерами:

• Кто работает эффективнее: программист, который 99 % заданий выполняет вовремя и в 95 % случаев безошибочно, или тот, кто только 92 % заданий выполняет вовремя, но в 99 % случаев безошибочно?

• Стало ли качество товара выше, если процент брака снизился на 15 %, а возврат товара покупателями увеличился на 10 %?

• Стала ли «стратегическая согласованность» полнее, если прибыль повысилась на 10 %, но «общий показатель качества» упал на 5 %?

Для каждого из этих случаев можно составить график, отражающий все возможные компромиссы, по аналогии с определением желаемого соотношения «риск/доходность». Точки на кривой представляют комбинации, одинаково ценные для лица, принимающего решение. В предыдущем примере с инвестиционной границей каждая точка на кривой имела нулевое значение и представляла такое сочетание риска и доходности, что тому, кто принимал решения, было безразлично, принять или отвергнуть данный инвестиционный проект (так как при данной доходности риск был не ниже самого высокого из приемлемых).

Мы могли бы начертить на том же графике и другие кривые полезности для инвестиционных проектов с ненулевой ценностью, каждая из которых соответствовала бы некоей полезности. Иногда экономисты называют эти графики кривыми изополезности, подразумевая, что полезность фиксированна, или постоянна. Поскольку человеку безразлично, какую из двух точек на такой кривой выбрать, экономисты также называют кривую полезности кривой безразличия^[38]. Аналогично тому, как замкнутые линии на картах рельефа показывают точки, расположенные на одинаковой высоте, кривая полезности – геометрическое место точек, отражающих одинаково ценные комбинации.

Рисунок 11.2 представляет собой график с несколькими кривыми полезности. Он иллюстрирует гипотетический пример оценки руководством компромиссов между качеством работы и пунктуальностью выполнения заказов. Рисунок помогает внести ясность в требования, предъявляемые программисту, инженеру, редактору и т. д. Вы видите, что если бы сотрудники А и Б выполняли в срок одинаковое число заданий, но А допускал меньше ошибок, то его считали бы лучшим работником. Кривая обосновывает предпочтения, когда выбор не очевиден, например когда качество работы А выше, но Б более пунктуален.

Эти кривые построены таким образом, чтобы любые две точки на каждой из них отражали одинаково ценные комбинации параметров. Так, верхняя кривая показывает, что, по мнению топ-менеджмента, работник, выполняющий на 96 % правильно и на 96 % в срок порученные ему задания, имеет для компании ту же ценность, как тот, кто на 93 % правильно и на 100 % в срок делает свою работу. Не забудьте, что это только гипотетическая оценка какого-то конкретного менеджеpa, а не общепринятая фиксированная норма. Вполне возможно, что ваши предпочтения оказались бы несколько иными.

Было построено семейство аналогичных кривых таким образом, что любая точка на верхней кривой считается более предпочтительной, чем любая точка на нижней. Для сравнения достаточно начертить лишь несколько кривых, хотя на самом деле между приведенными на рисунке линиями существует бесчисленное множество линий. Просто менеджеры строят их ровно столько, сколько нужно для интерполяции.

Кривая полезности, обеспечиваемой любыми двумя факторами (например, качеством работы и ее своевременным выполнением или низким риском и высокой доходностью), позволяет упростить выражение ценности комбинации факторов, представленной точкой на графике. Поскольку каждую точку можно перемещать вдоль кривой так, что ее ценность не изменится, можно рассматривать все точки эквивалентными одной, расположенной на единой стандартизированной линии. В этом случае мы стандартизируем качество и выражаем сравнительную ценность любой точки на графике через коэффициент своевременности выполнения работ, скорректированный на качество. Заявив, что «сотрудник, выполняющий безошибочно Х% работ и завершающий в срок Y% заданий, не уступает тому, кто выполняет безошибочно 95 % заданий и в срок ___% заданий», мы фактически свернули две переменные в одну.

То же обычно делается с риском и доходностью. С помощью семейства кривых «риск/доходность» мы, взяв эти параметры любых инвестиционных проектов, можем выразить их как доходность, скорректированную на риск. Этот метод свертывания двух разных показателей в один применяют независимо от числа переменных. Если, например, я построил кривые полезности для факторов X и Y, а затем кривые полезности для факторов Y и Z, то каждый сможет построить на их основе кривую полезности для X и Z. Таким путем можно свернуть в единый стандартизированный показатель несколько разнородных факторов, влияющих на такие проблемы, как эффективность деятельности, оценка местоположения нового офиса, выбор линейки новых продуктов и т. п.

Более того, если в одной из комбинаций участвуют деньги, то все остальные факторы можно выразить в деньгах. Когда оценивают инвестиции разной степени рискованности (например, при возможности отрицательной доходности, низкой доходности в случае неблагоприятного развития событий и т. д.) и при этом используют разные показатели доходности (например, внутренняя норма доходности за семь лет, доходность за первый год и т. д.), то иногда полезно объединить все показатели в особый денежный эквивалент (certain monetary equivalent, CME). CME инвестиций – это фиксированная особая сумма в долларах, получить которую инвестор счел бы столь же выгодным, как сделать такое вложение.

Предположим, например, что я хочу приобрести вашу долю в капитале девелоперской компании. За эту долю я предлагаю вам пустующий участок в окрестностях Чикаго стоимостью 200 тыс. дол., с которым вы сможете сделать все, что захотите, или же 100 тыс. дол. наличными немедленно. Будь вам безразлично, какой из вариантов выбрать, стало бы ясно: вы считаете, что CME инвестиций в участок составляет 100 тыс. дол. Если же вы решите, что покупка участка по цене 200 тыс. дол. – очень выгодная сделка, значит, особый денежный эквивалент для этих инвестиций вы оцениваете, скажем, в 300 тыс. дол. Иными словами, вы убеждены, что вариант с покупкой участка выгоден не менее, чем немедленное получение 300 тыс. дол. Можно было строить десятки компромиссных сочетаний, чтобы прийти к такому выводу, но результат остался бы тем же. Сколько бы переменных у вас ни было и какие бы их сочетания ни рассматривались, вы всегда предпочтете 300-тысячный CME сотне тысяч наличными.

Именно так я помогаю многим своим клиентам определить приоритетность инвестиций в информационные технологии, когда существуют разные риски и возможны разные подходы к оценке доходности. Мы сводим все переменные в один CME, определяя желательное соотношение между каждой переменной и неким особым денежным эквивалентом. Это очень мощный инструмент, позволяющий, например, решить, как свернуть в единый денежный показатель 12 разных параметров качества. Хотя ваш выбор и субъективен, вы, тем не менее, получаете количественное представление о компромиссах между разными факторами.

Далее мы рассмотрим ситуации, в которых предпочтительные соотношения между факторами необязательно субъективно определяются лицами, принимающими решения.

Не забывать о главной цели: максимизация прибыли и субъективные компромиссы

Очень часто субъективное определение желаемого соотношения факторов не является обязательным. Иногда имеет смысл свести проблему к задаче максимизации прибыли или стоимости для акционеров. Грамотный аналитик должен уметь составлять статистически достоверную модель электронной таблицы, показывающей зависимость прибыли от процента допускаемых ошибок, пунктуальности и т. д. Все это сводится к одному аргументу: есть главная преференция – прибыль, и значение прочих факторов, таких как производительность труда и качество, целиком определяется тем, как они влияют на нее. При таком подходе необходимость в субъективном определении желаемого компромисса между такими параметрами, как эффективность и удовлетворенность потребителей, качество и количество или образ бренда и доход, полностью отпадает.

Это и есть суть обоснования любых проектов. В ходе процесса на основе нескольких переменных затрат и выгод рассчитывается некий окончательный показатель, например чистая приведенная стоимость или доходность инвестиций. Место для субъективного выбора по-прежнему остается, но сделать его теперь проще, поскольку он касается конечной цели, к достижению которой должна стремиться компания. Если вы придете к единому мнению по поводу этой конечной цели, то выбор желаемых соотношений между разными показателями деятельности (в данном случае качеством, стоимостью, эффективностью и т. д.) может оказаться и несубъективным. Например, факт, что снижение затрат на 1 млн дол. в одной области деятельности столь же предпочтительно, как сокращение издержек на 1 млн дол. в другой, не означает субъективности решения, поскольку и то и другое одинаково влияет на прибыль. Приведем еще три примера того, как специалисты из разных отраслей количественно оценивали вклад некоей формы «эффективности» в достижение конечной цели.

1. Том Бейкуэлл из Сент-Луиса, штат Миссури, – консультант по управлению, специализирующийся на оценке эффективности работы колледжей и университетов. Бейкуэлл замечает: «Люди десятилетиями говорили, что эффективность измерить невозможно». Он считает, что конечная цель работы учебного заведения – его финансовое благополучие или, по крайней мере, предотвращение финансового краха. Он рассчитывает финансовые коэффициенты для каждой программы, факультета или профессора, сравнивает результаты с коэффициентами других учебных заведений и таким образом их ранжирует. Кое-кто сказал бы, что этот расчет упускает из виду качественные аспекты эффективности труда преподавателей. Но Бейкуэлл считает, что его подход к измерению продиктован обстоятельствами: «Обычно меня зовут тогда, когда все другие возможности уже исчерпаны и колледж переживает финансовые трудности. Они объясняют мне, почему не могут измениться. Они экономят на всем, на чем можно, но не трогают основную статью расходов – затраты на оплату труда». Его прагматичный подход позволяет выяснить много интересного. Бейкуэлл замечает: «Как правило, люди знают, кто работает плохо, но иногда это становится для них сюрпризом».

2. Гуру менеджмента в области информационных технологий Пол Страссман рассчитывает «доходность управления» путем деления «стоимости, добавленной управлением», на зарплату, бонусы и льготы управляющих^[39]. Стоимость, добавленную управлением, он определяет, вычитая из дохода затраты на закупки, налоги, привлечение капитала и другие расходы, не зависящие, по его мнению, от качества управления. Страссман утверждает, что стоимость, добавленная управлением, – это годовая сумма в долларах, величина которой напрямую зависит от политики менеджмента. Даже если не согласиться с тем, какие статьи расходов следует вычитать из дохода компании, чтобы получить данный показатель, этот подход кажется вполне логичным: качество руководства должно проявляться в финансовых показателях компании.

3. Билли Бин, менеджер бейсбольной команды Окленда, решил отказаться от традиционных показателей результативности игроков в бейсбол. Наиболее важным показателем нападающих стала просто вероятность не получить «аут». А показателем результативности игроков обороны стало «генерирование аутов» противника. Улучшение и тех и других показателей способствовало улучшению конечного показателя – вклада игрока в повышение вероятности выигрыша команды, соотнесенного с его зарплатой. На уровне всей команды данный показатель превращается просто в затраты на одну победу. Команда Окленда тратила на одну победу всего 500 тыс. дол., в то время как другие команды – более 3 млн дол.^[40]

Во всех описанных случаях тем, кто принимал решение, пришлось изменить свое представление о смысле слова «эффективность». Методы, предложенные Бейкуэллом, Страссманом и Бином, наверное, натолкнулись на сопротивление всех, кто хотел, чтобы эффективность была более качественным показателем. Должно быть, их критики утверждали, что некоторые предложенные методы чересчур упрощены и упускают из виду слишком много важных факторов. Но что означает эффективность, как не поддающийся количественному определению вклад в достижение конечных целей организации? Как эффективность может быть высокой, если этот вклад по сравнению с затратами невелик? Мы уже неоднократно видели: ключ ко всему – уточнение объекта измерения. Поэтому, что бы вы ни имели в виду под «эффективностью», любая детализация ее истинного значения может, как и в этих трех примерах, подсказать нечто очень важное.

Глава 12. Решающий инструмент измерения: людские суждения

У человеческого разума действительно есть ряд замечательных преимуществ над обычными механическими инструментами измерения. Он обладает уникальной способностью оценивать сложные и неоднозначные ситуации, в которых другие средства бесполезны. Любой пятилетний ребенок справится с задачей распознавания лица или голоса человека в толпе, но разработчикам никак не удается научить этому программное обеспечение (хотя определенный прогресс в этом направлении уже и достигнут). И мы еще очень далеки от создания искусственного интеллекта, способного написать рецензию на кинофильм или бизнес-план. Человеческий разум – действительно непревзойденный инструмент истинно объективного измерения. Точнее, он был бы таковым, если бы не многочисленные допускаемые человеком систематические ошибки и заблуждения.

Не секрет, что человеческий мозг не просто машина для вычисления. Это сложная система, познающая окружающую среду и приспосабливающаяся к ней путем выработки разнообразных упрощающих правил. Практически все эти правила приносят правду в жертву простоте, а многие даже противоречат друг другу. Те, что не вполне обоснованны, но, тем не менее, полезны на практике, называются эвристикой. А те из них, что явно противоречат здравому смыслу, называются заблуждениями.

Если мы все же надеемся использовать человеческий разум в качестве инструмента измерения, то должны придумать, как усилить присущие ему преимущества и в то же время нейтрализовать погрешности. Последствия излишней самоуверенности экспертов устраняет калибровка вероятностей; другие характерные для людских суждений виды систематических ошибок и искажений устраняют специальные методы, особенно эффективные, когда необходимо высказать много мнений по аналогичным вопросам. Примерами могут служить оценка затрат на реализацию новых проектов по информационным технологиям, определение рыночного потенциала новых продуктов либо аттестация работников. Только человеческие суждения позволяют учесть все качественные факторы при проведении этих измерений, однако людям всегда нужна помощь.

Хомо абсурдус: странные мотивы наших решений

Упомянутые в главе 8 отклонения – лишь отдельные разновидности ошибок измерения. Отклонения связаны с погрешностями наблюдения, возникающими при проведении случайной выборки или управляемого эксперимента. Но когда измерение пытаются осуществить с привлечением экспертов-оценщиков, то возникает другая проблема – проблема когнитивного искажения. Мы уже видели пример такого искажения, когда говорили о присущей экспертам излишней самоуверенности, но есть и другие – некоторые из них перечислены ниже.

• Зацикленность. Это когнитивное искажение, уже обсуждавшееся в главе 5 по калибровке, но заслуживающее более детального рассмотрения. Оказывается, что если просто думать о какой-то цифре, пусть и не имеющей отношения к вопросу, то это может повлиять на ваш ответ. В одном эксперименте Амос Тверски и лауреат Нобелевской премии по экономике 2002 г. Дэниел Канеман спросили у испытуемых, какой процент стран – членов ООН составляют африканские государства. Одну группу респондентов спросили, превышает ли этот показатель 10 %, а вторую – 65 %. И тем и другим сообщили, что число, предложенное в вопросе, было выбрано наугад (хотя на самом деле это было не так). Затем каждую группу попросили дать свой ответ. Представители первой (10 %) в среднем дали ответ 25 %, а члены второй группы (65 %) – 45 %. Несмотря на уверенность респондентов в случайности предложенных им значений, эти числа все же повлияли на ответы. В своем более позднем эксперименте Канеман показал, что число, на котором зацикливаются участники, может не иметь к делу вообще никакого отношения. Он попросил каждого испытуемого написать на бумаге четыре последние цифры номера своего полиса социального страхования, а затем оценить количество врачей в Нью-Йорке. Как ни странно, Канеман обнаружил корреляцию в 0,4 между оценкой числа врачей и цифрами полиса социального страхования. Эта корреляция была умеренной, но намного превышала объясняемую чистой случайностью.

• Эффекты ореола. Если люди сначала замечают некий факт, который настраивает их за или против какого-то варианта решения, то, получив в дальнейшем новую информацию, каким бы ни было ее содержание, они обычно воспринимают ее как аргумент в пользу сделанного ими первого заключения. Например, если при первом контакте у вас сразу же сложилось положительное мнение о человеке, то вы, скорее всего, истолкуете в позитивном свете и любые новые сведения, которые получите о нем позже (эффект ореола святости). А в случае отрицательного впечатления истолкуете эти сведения негативно (эффект дурной славы). Подобные эффекты возникают даже тогда, когда первоначальное ощущение, казалось бы, не должно влиять на оценки, сделанные впоследствии. В эксперименте, проведенном Робертом Капланом из Университета штата Сан-Диего, привлекательная внешность авторов статей заставляла рецензентов давать об их работах лучшие отзывы^[41]. Испытуемых просили оценить статьи, написанные студентами, причем к каждому экземпляру прилагалась фотография автора. Присвоенные работам оценки сильно коррелировали с баллами внешней привлекательности, определенными особой группой экспертов. Интересно, что всем испытуемым предложили на рецензию статью, написанную одним и тем же человеком, но с приложением разных фотографий.

• Стадный эффект, или эффект группового давления. Оказывается, что если вы хотите выяснить мнение экспертов, то лучше опрашивать их по отдельности, а не всех вместе, поскольку в последнем случае возникает дополнительная погрешность. В 1951 г. психолог Соломон Эш предложил группе испытуемых (студентов) проверить их зрение (см. рис. 12.1). Когда он спрашивал каждого в отдельности, длина какой линии ближе всего к контрольному отрезку, то правильный выбор (отрезок С) сделали 99 % испытуемых. Одновременно Эш провел опыт: в комнате находились несколько человек, и каждого из них по очереди просили сделать этот выбор. Однако испытуемые не знали, что несколько первых опрашиваемых сами были участниками эксперимента и их проинструктировали выбрать линию А вместо С. После первого, заведомо неверного, ответа наступала очередь реального испытуемого. Если он слышал перед этим один ложный ответ, то только в 97 % случаев делал правильный выбор. Когда перед испытуемым ложный ответ давали двое или трое, действительные участники делали правильный выбор в 87 и 67 % случаев соответственно. Если же к неверным первым ответам добавлялось некое групповое поощрение (усиливая тем самым давление к проявлению конформизма) на случай, что все участники ответят правильно, только 53 % реальных респондентов выбирали нужную линию С.

• Изменение предпочтений. Как только люди начинают склоняться к одному варианту, они фактически меняют свои предпочтения по поводу дополнительной информации. Они настраиваются на те сведения, которые поддерживают их первоначальное решение. Это похоже на эффекты ореола святости и дурной славы, но в данном случае связано со сменой предпочтений в процессе принятия решения. Например, если менеджеры решили предпочесть проект А проекту В, а вы скажете им после того, как этот выбор сделан, что первый проект менее рискован, но на его реализацию уйдет больше времени, чем на второй, то вам ответят, что снизить риск для них всегда было важнее, чем сократить сроки реализации. А если вы доложите, что проект А более рискован, но на его реализацию уйдет меньше времени, то получите реплику: всегда считалось, что сократить сроки реализации важнее, чем снизить риск.

К счастью, подобные иррациональные эффекты человеческой способности к оценке всегда можно как-то нейтрализовать. Ряд решений этой проблемы предложил ведущий специалист по когнитивному искажению Джей Эдвард Руссо из Корнелльского университета. Например, для устранения эффекта изменения предпочтений Руссо предложил простую форму слепого перебора: прежде, чем приступить к оценке предлагаемых вариантов, эксперты должны были сформулировать и ранжировать свои предпочтения. Тогда никто уже не смог бы сказать позже, что всегда считал какой-то критерий важнейшим только для того, чтобы не менять свое первое решение.

Как и в случаях уже обсуждавшихся ранее ошибок эксперимента и смещений выборок, первое, что необходимо сделать, – признать само существование проблемы. Только подумайте о том, как перечисленные выше эффекты могут сказаться на экспертных оценках затрат на реализацию проекта, объемов будущих продаж, возможного роста производительности труда и т. п. Специалисты обычно не ощущают, что на их мнение повлияла не имеющая к делу информация, – ведь люди вообще редко осознают, что повинны в искажении. Всем нам хотелось бы думать, что мы не так интеллектуально лабильны, как объекты этих исследований, но лично я обнаружил, что наиболее внушаемы как раз те, кто уверен в непоколебимости своих суждений.

Значение систематизации: пример оценки эффективности деятельности

Казалось бы, декан факультета информатики и принятия решений Университета штата Иллинойс (Чикаго) должен предпочитать сложные количественные методы для оценки буквально любого объекта. И все же когда доктору Аркалгуду Рамапрасаду потребовалось измерить эффективность деятельности преподавателей факультета, он придумал довольно простой подход. «Раньше аттестационные комиссии копались в кучах бумаг, – говорит доктор Рам (он предпочитает, чтобы его называли так). – Члены комиссии усаживались за столом, заваленным личными делами преподавателей, и обсуждали их работу». Публикации, полученные гранты, сделанные каждым сотрудником предложения, присвоение профессиональных званий и степеней обсуждались в произвольном порядке и оценивались по пятибалльной шкале. Подобный бессистемный подход использовался для принятия таких важных решений, как повышение заработной платы профессорско-преподавательскому составу.

Доктор Рам понимал, что главным недостатком этой процедуры является неупорядоченность представляемой информации и что любое усовершенствование данного процесса, даже простая систематизация данных, может дать большой положительный эффект. Чтобы исправить положение, он проанализировал подаваемые на аттестацию сведения о работе преподавателей и представил их в виде большой матрицы. Каждая ее строка содержала данные об одном преподавателе, а каждый столбец показывал отдельную категорию профессиональных достижений (публикации, награды и т. д.).

Ученый даже не пытался далее формализовать анализ этих данных, он по-прежнему пользовался пятибалльной шкалой. Оценки эффективности в баллах основаны на консенсусе мнений членов аттестационной комиссии, а новый метод просто гарантирует, что они изучают одни и те же сведения. Мне этот метод показался слишком простым, и когда я предложил рассчитывать на основе этих данных какие-нибудь показатели, Рам ответил: «Когда информация представлена в таком явном виде, люди сразу обращают внимание на разницу между собой и своими коллегами, а это совсем не одно и то же, что попытка разобраться в неких условных показателях. Комиссия спорит о присваиваемых баллах, но не о предложенных к рассмотрению данных». Когда ранее ее членам приходилось анализировать разнородную информацию, в их оценки вкрадывалось больше ошибок.

Это еще один полезный пример конструктивного разностороннего подхода к измерению. Наверное, нашлись бы возражения против самой идеи оценивать результаты деятельности преподавателей на основании того, что новый метод принесет с собой новые ошибки и не решит проблему исключений. Не менее вероятно и то, что на самом деле критиков данного подхода беспокоит вероятность оказаться на последнем месте в случае использования подобного подхода. Но доктор Рам знает, что при всех своих недостатках новый метод измерения все же лучше того, что делалось до сих пор. Ведь неопределенность снижается, а значит, то, что он делает, – это измерение. Сегодня доктор Рам в соответствии с таксономией Стивенса (см. главу 3) может, по крайней мере, с определенной уверенностью сказать, что преподаватель А работает лучше преподавателя В. А если учесть, что эти оценки используются для принятия решений о продвижении по службе или повышении зарплаты, то большего и не требуется.

Моя единственная претензия к этому подходу – возможность (и это было бы нетрудно) использовать более аналитический метод расчета и тем самым усовершенствовать процедуру оценки. Доктор Рам не решил ни одну из обсуждавшихся нами проблем когнитивного искажения; он только устранил потенциальный информационный «шум» и погрешность, связанную с анализом разнородной информации о преподавателях. Вот почему я считаю, что систематизация данных – всего лишь необходимое условие применения других способов решения этих проблем.

На удивление простые линейные модели

Существует еще один метод, не самый теоретически обоснованный и даже не самый эффективный, но простой. Когда приходится формулировать суждения по аналогичным вопросам, рассчитывают взвешенные значения. Если сравнивают «деловые возможности», например варианты инвестиций в недвижимость, то можно определить несколько наиболее важных для вас факторов, оценить эти факторы для каждого варианта в баллах и объединить полученные результаты в некую агрегированную величину. Для инвестиций в недвижимость такими критериями могут быть желательное местоположение, затраты, возможный рост спроса на этот вид недвижимости, наличие залогов и т. д. Затем следует «взвесить» каждый фактор путем умножения его баллов на определенный весовой коэффициент и суммировать все результаты, чтобы получить общее значение.