Текст книги "Как измерить все, что угодно [Оценка стоимости нематериального в бизнесе]"

Автор книги: Дуглас Хаббард

сообщить о нарушении

Текущая страница: 20 (всего у книги 20 страниц)

Полезно вспомнить и о различии между заявленными и выявленными предпочтениями. Участвуя в опросе, потребители указывают свои предпочтения. Делая (или не делая) покупки, они тоже демонстрируют свои предпочтения. При этом лучшим выражением их мнения о качестве товара является премия, которую они готовы заплатить за это высочайшее качество. Этот «премиум-доход» можно сравнить с сэкономленными расходами на рекламу – ведь обычно люди готовы заплатить больше за товары, считающиеся высококачественными или остромодными даже без той дополнительной рекламы, которая потребовалась бы в ином случае. Качественные товары чаще покупают повторно, и потребители сами делают им хорошую рекламу. Все упомянутое до сих пор поддается, по крайней мере, выявлению путем проведения опроса, а толковый аналитик всегда может рассчитать нечто вроде подразумеваемой ценовой премии на основе покупательского поведения потребителей.

Определение стоимости процесса, отдела или службы

Смысловая нагрузка вопроса «Какова стоимость X?» почти так же сложна, как измерения, позволяющие на него ответить. Обычно определение стоимости кажется трудным делом из-за отсутствия четкого понимания того, для чего это делается. Иногда руководители информационных служб спрашивают меня, как определить стоимость какой-нибудь информационной технологии. Тогда я, в свою очередь, задаю им ответный вопрос: «А вы что же, собираетесь от нее отказаться?» Ведь все проблемы, связанные с оценкой, будь то в бизнесе или правительственных учреждениях, представляют собой сравнение имеющихся альтернатив. Собираетесь попробовать рассчитать стоимость информационной технологии для компании? По-видимому, вам придется сопоставить затраты и выгоды от ее внедрения и затраты и выгоды работы без нее. Поэтому задаваться подобным вопросом стоит только в том случае, если вы действительно собираетесь обойтись без данной ИТ (или того, чью стоимость вы хотели узнать).

Бывает, однако, что директору информационной службы на самом деле нужно узнать, возросла ли стоимость ИТ с тех пор, как он получил это назначение. В таком случае следует сосредоточиться на расчете чистых выгод от конкретных решений и программ, принятых и реализованных за этот период. К задаче можно также подойти как к оценке эффективности в денежном выражении, о чем мы говорили в предыдущих главах. Если директор информационной службы интересуется стоимостью информационной технологии, потому что хочет найти аргументы против передачи ее функций на сторону, то его на самом деле интересует не стоимость ИТ, а стоимость сохранения отдела по сравнению со стоимостью аутсорсинга.

Обычно вопрос о стоимости возникает только тогда, когда появляются альтернативы. При правильной формулировке альтернатив и решения, которое надо принять, ответ на вопрос о стоимости будет для вас намного более очевиден.

Инновации

Как и все остальное, инновации, если только они реальны, всегда можно наблюдать. По аналогии с многими другими задачами измерения, главная проблема здесь, скорее, в определении решения, которое принимается. Что бы вы сделали иначе, знай заранее результаты оценки инноваций? Если вы можете назвать какое-нибудь реальное решение (например, при оценке работы команды или отдела исследований и разработок для того, чтобы премировать или уволить сотрудников), то читайте дальше. В противном случае никакого экономического смысла в оценке инноваций нет.

Если вам удалось сформулировать, по крайней мере, одно решение, которое будет принято по результатам этой оценки, я советую воспользоваться одним из трех возможных методов. Во-первых, всегда можно получить чисто субъективные, но контролируемые оценки. Привлеките независимых экспертов и используйте для коррекции ошибок модели Раша и другие имеющиеся инструменты. Один из них – испытание вслепую, когда специалист не знает, чье творчество (рекламу, логотипы, научную работу, архитектурный проект и т. п.) он оценивает. Этот прием полезен, когда необходимо оценить качество исследований и разработок на основе портфеля генерированных идей. Некоторое представление о том, как это делается, мы дали в примере с компанией Mitre (см. главу 2).

Другой способ – использовать известные на тот момент, когда научная работа готовится к публикации, показатели качества инноваций, например число полученных патентов или опубликованных научных статей. В области библиометрии (изучения текстов, в том числе научных работ) применяется такой метод, как подсчет числа прямых и перекрестных упоминаний. Если человек пишет в статье о чем-то действительно революционном, то на его работу обычно ссылаются другие исследователи. В этом случае индекс цитируемости данного автора часто более информативен, чем число опубликованных им работ. Тот же метод используют при выдаче патентов, поскольку в заявке положено ссылаться на существующие аналогичные патенты, чтобы можно было выявить сходства и различия между ними и предлагаемым изобретением. Специалисты в области, называемой наукометрией, пытаются оценить научную эффективность^[57]. Правда, обычно они сравнивают целые компании или страны, но данный подход может пригодиться и вам.

Последний заслуживающий упоминания метод похож на обсуждавшийся нами в предыдущих главах метод оценки результатов деятельности в денежном выражении. Как сказал гуру с Мэдисон-авеню Дэвид Огилви, «если что-то не продается, значит, оно не креативно». Вещи могут казаться креативными, но не являться таковыми с точки зрения бизнеса. Если цель состояла в том, чтобы модернизировать решение бизнес-проблемы, то каковым оказался экономический (то есть, в конечном счете, финансовый) результат этого решения? Почему бы не оценивать эффективность ученых так, как Том Бейквелл оценивал производительность труда преподавателей или как Билли Бин измерял эффективность бейсболистов (см. главу 11)?

Доступность информации

Мне довелось, по крайней мере, четырежды моделировать доступность информации, и в конце концов в каждой модели оказывались одни и те же переменные. Более высокая доступность информации означает, что вы тратите меньше времени на ее поиск и реже теряете ее. Когда информация потеряна, вы либо обходитесь без нее, либо пытаетесь генерировать ее заново. Поиски документа либо попытки его повторного создания легко измерить через затраты времени на выполнение этой совершенно лишней и нежелательной работы. Если восстановить утерянную информацию невозможно, то вы расплачиваетесь за это менее обоснованными и взвешенными решениями, которые чаще оказываются ошибочными. Для начала калиброванные эксперты могут указать интервалы для средних значений затрат времени на поиск документов, составление их заново или вообще на работу без утерянной информации.

Гибкость

Термин «гибкость» очень широк, неоднозначен и передает суть множества вещей. Здесь я просто расскажу о том, как определяли и оценивали гибкость три моих клиента. Каждый высказал совершенно отличное от других мнение, поэтому стоит привести кое-какие подробности.

Пример 1. Гибкость – это процент сокращения среднего времени реагирования на неожиданные проблемы с доступом к компьютерной сети (например, быстрее устранить вирус или решить задачу неожиданного роста числа запросов на вход в сеть).

Пример 2. Гибкость – это процент сокращения времени разработки нового продукта.

Пример 3. Гибкость – это способность при необходимости добавить новый пакет программ (в предыдущей информационной системе использовались собственные программы, несовместимые с приложениями на базе Oracle).

Все три определения гибкости относились к предполагаемым инвестициям в ИТ – либо в доработку инфраструктуры, либо в модернизацию программного обеспечения. Оценивая три соответствующих инвестиционных проекта, мы должны были, как обычно, рассчитать их годовую денежную стоимость в виде денежного потока, а затем чистую приведенную стоимость и доходность инвестиций.

Пример 1. Годовая денежная стоимость пятилетнего проекта для расчета ROI = Текущее время простоя (ч/год) × Средняя стоимость одного часа простоя × Сокращение простоев в результате внедрения новой системы.

Пример 2. Годовая денежная стоимость семилетнего проекта для расчета ROI = [Число новых продуктов, разработанных за год × Процент новых продуктов, выходящих на рынок × Текущее время разработки нового продукта (месяцы) × Дополнительная валовая прибыль от нового продукта, выведенного на рынок в предыдущем месяце + Рост себестоимости] × Снижение затрат времени.

Пример 3. Годовая денежная стоимость пятилетнего проекта для расчета NPV = Число новых приложений за год × NPV дополнительного обслуживания собственных приложений в течение среднего срока их службы по сравнению со стандартным пакетом программ + Дополнительные краткосрочные затраты на разработку собственного приложения по сравнению со стандартным пакетом программ.

Поскольку все предлагаемые решения были крупными, а неопределенность – высокой, значения ожидаемой стоимости полной информации (EVPI) в данном случае составляли от сотен тысяч до миллионов долларов. Но, как это часто бывает, важнее всего оказалось измерить совсем не то, что выбрал бы сам клиент. Мы решили эти задачи измерения следующим образом.

Пример 1. Мы разработали для клиента опрос о последствиях простоя сети, который проводили после каждого из пяти сбоев с участием 30 респондентов. Клиент смог определить, повлияли ли сбои на производительность труда его сотрудников вообще, и если да, то сколько времени они не могли работать.

Пример 2. Мы разложили затраты времени на разработку нового продукта на девять конкретных составляющих, соответствующих видам деятельности, попросили калиброванных экспертов оценить затраты времени на каждое из них в процентах от общих временных издержек. Затем мы дали задание калиброванным экспертам, которые получили информацию о результатах дополнительных исследований, оценить сокращение по каждому виду деятельности.

Пример 3. Мы определили конкретные программные приложения, которые будут рассматриваться в ближайшие годы, и рассчитали рост себестоимости и эксплуатационные расходы на каждое из них по сравнению с аналогичным пакетом собственных программ.

В каждом случае затраты на измерение составляли менее 20 тыс. дол., что соответствовало 0,5–0,1 % рассчитанной ожидаемой стоимости полной информации. В каждом случае первоначальная неопределенность была снижена на 40 % или более. Дополнительный анализ стоимости информации показал, что дальнейшие измерения не будут иметь смысла. Измерения, проведенные для примеров 1 и 3, выявили необходимость дальнейших инвестиций. В случае же примера 2 была установлена высокая рискованность осуществления инвестиций. Доказать обоснованность реализации этого проекта удалось только после сокращения его масштабов и расходов в ходе апробации пилотного варианта.

Гибкость и теория опционов

В 1997 г. Нобелевская премия по экономике была присуждена Роберту Мертону и Майрону Скоулзу за разработку теории опционов и, в частности, формулы Блэка – Скоулза для оценки стоимости финансовых опционов. (Нобелевская премия присуждается только ныне живущим ученым; еще один автор формулы, Фишер Блэк, умер до ее присуждения.) В финансах опцион «колл» дает своему владельцу право, но не обязанность купить другой финансовый инструмент (акции, товар и т. д.) в какой-то момент в будущем по оговоренной цене. Аналогично, опцион «пут» дает своему владельцу право продать его по оговоренной цене. Если, например, у вас есть опцион «колл» на покупку акций по цене 100 дол. через месяц, а к тому времени акции будут продаваться уже по 130 дол., то, исполнив опцион и продав свои акции, вы немедленно заработаете 30 дол. Проблема состоит в том, что вы не знаете стоимости этих акций через месяц и будет ли данный опцион вообще что-то стоить. Лишь после появления формулы Блэка – Скоулза стало ясно, как осуществлять ценообразование подобных опционов.

Пресса подняла из-за этой теории намного больше шума, чем по поводу большинства экономических теорий, и ее стало модно применять не только для оценки опционов «колл» и «пут», но и для принятия решений в компаниях. Появилась так называемая теория реальных опционов, и многие менеджеры попытались представить процесс принятия решений в компаниях как решение задач по оценке опциона. В некоторых случаях (но далеко не всегда) этот подход действительно эффективен. Так, далеко не каждую проблему оценки преимуществ новой технологии можно представить в виде оценки опциона. На практике такой анализ в большинстве случаев сводится к применению не модели Блэка – Скоулза, а более традиционной теории принятия решений. Предположим, вы моделируете с помощью метода Монте-Карло новую программную платформу, позволяющую вносить изменения, если в будущем такие корректировки окажутся выгодными. Тогда модель продемонстрирует, что в среднем иметь эту возможность лучше, чем не иметь. Формула Блэка – Скоулза при этом не используется, но таковы в большинстве своем проблемы оценки реальных опционов. Использование формулы определения цены опциона на акцию оправдано только в случае, если вы можете объяснить, какое значение каждая переменная в формуле Блэка – Скоулза имеет в контексте вашей задачи. В этой формуле фигурируют цена исполнения, цена-страйк^[58] и волатильность курса акций. Если непонятно, какие переменные вашей модели принятия решений соответствуют этим показателям, то формула Блэка – Скоулза, скорее всего, не годится (на дополнительном веб-сайте приводятся примеры оценки опционов с помощью и без помощи формулы Блэка – Скоулза).

Подведем итоги

Если вы считаете, что столкнулись с чем-то, что «невозможно измерить», то вспомните примеры SDWIS и USMC. На самом деле решить любую задачу по количественной оценке не так уж сложно, если серьезно обдумать ее.

1. Если нечто действительно важно, значит, вы можете это определить. Если нечто, по вашему мнению, вообще существует, значит, вы это уже каким-то образом наблюдали.

2. Если нечто является и важной, и неизвестной величиной, то существует вероятность ошибки в ее оценке и понесения затрат в случае такой ошибки.

3. Текущую неопределенность вы можете выразить количественно с помощью калиброванных оценок.

4. Рассчитать стоимость дополнительной информации можно, определив пороговое значение интересующего вас показателя, то есть такое его значение, при котором принимаемое решение будет отличаться от решения, возможного в отсутствие этих сведений.

5. Установив, что параметр заслуживает количественной оценки, вы сможете выбрать метод измерения и решить, сколько времени и сил следует потратить на его проведение.

6. Даже поверхностное знакомство с несколькими методами случайной выборки, управляемыми экспериментами или даже просто способами уточнения экспертных оценок позволяет существенно снизить неопределенность.

Оглядываясь назад, я спрашиваю себя: неужели какая-нибудь из обсуждавшихся нами «нерешаемых» задач измерения поставила бы в тупик Эратосфена, Энрико или Эмили? Лично мне сделанное ими демонстрирует, что они, по крайней мере, интуитивно понимали все положения теории измерения, которым в этой книге придается особое значение. Наверное, способы количественного определения текущей неопределенности, методы расчета стоимости информации и ее влияние на выбор приемов измерения оказались бы для них в новинку. Наши учителя в сфере измерения просто не могли быть знакомы с некоторыми обсуждавшимися нами методами, но я подозреваю, что они все равно нашли бы способ сделать наблюдения, способные снизить неопределенность.

Надеюсь, если не что-то другое, так, по крайней мере, примеры Эратосфена, Энрико и Эмили, а также описанные в книге практические примеры заставят вас усомниться в правоте утверждения: нечто, критически важное для вашей компании, измерить невозможно.

Приложение

Тесты на калибровку (и ответы на них)

Другие тесты на калибровку вы найдете на следующих страницах.

Ответы см. на следующей странице

Ответы см. на следующей странице

Все еще не калиброваны? Дополнительные калибровочные тесты можно найти на сайте: www.howtomeasureanything.com

Ответы см. на следующей странице

Ответы см. на следующей странице

Все еще не калиброваны? Дополнительные калибровочные тесты можно найти на сайте: www.howtomeasureanything.com

notes

Примечания

1

М. Lial, C. Miller. Trigonometry. 3^rd ed. Chicago: Scott, Foresman, 1988.

2

Два француза, Пьер-Франсуа-Андре Мешен и Жан-Батист Жозеф, рассчитали длину окружности Земли за семь лет, пришедшихся на период Французской революции, преследуя цель определить стандартную длину метра (метр сначала был принят равным одной десятимиллионной расстояния от экватора до полюса).

3

Letter to the Editor // New York Times, 1998, April 7.

4

Therapeutic Touch: Fact or Fiction? // Nurse Week, 1998, June 7.

5

Внесение случайности. – Примеч. редактора.

6

Скотт Адамс. Принцип Дилберта. Взгляд из офисной кабинки на начальство, совещания, причуды дирекции и прочие бедствия. Минск: Попурри, 1999; 2003.

7

Являясь некоммерческой организацией, Mitre все равно должна получать доходы от консалтинговых услуг, оказываемых федеральным органам власти, чтобы продолжать свою деятельность.

8

Doug Hubbard. Critical Analysis column in: An Audit Trail // CIO Magazine, 2000, May 1.

9

Эксперты-статистики страховых учреждений. – Примеч. редактора.

10

George W Cobb. Reconsidering Statistics Education: A National Science Foundation Conference // Journal of Statistics Education, 1993, 1, p. 63–83.

11

Это утверждение часто неправильно приписывают Марку Твену, который, безусловно, помог его популяризировать. Твен позаимствовал его у двух британских политиков XIX века – Бенджамина Дизраэли и Генри Лабушера.

12

Katharine Q. Seelye, John Tierney. Senior Death Discount’ Assailed: Critics Decry Making Regulations Based on Devaluing Elderly Lives // New York Times, 2003, May 8.

13

Stephen Jay Gould. The Mismeasure of Man. New York: W. W. Norton & Company, 1981.

14

Размышления о книге Стивена Джея Гулда «The Mismeasure of Man»: John B. Carroll. A Retrospective Review // Intelligence, 1995, 21, p. 121–134.

15

K. Tambs, J. M. Sundet, P. Magnus, K Berg. Genetic and Environmental Contributions to the Covariance between Occupational Status, Educational Attainment, and IQ: A Study of Twins // Behavior Genetics, 1989, March 19, № 2, p. 209–222.

16

С августа 1995 г. по август 2006 г. я выполнил 30 договоров с 15 компаниями или государственными агентствами, в том числе ряд договоров, предусматривавших анализ важных решений.

17

Фрэнк Найт. Риск, неопределенность и прибыль / Пер. с англ. М.: Дело, 2003.

18

2080 часов в год – стандарт, используемый Службой управления и бюджета (Office of Management and Budget) и Главным бюджетно-контрольным управлением (Government Accountability Office) для пересчета годовой зарплаты и премий в почасовые ставки.

19

B. Fischhoff, L. Phillips, S. Lichtenstein. Calibration of Probabilities: The State of the Art to 1980 // Judgement under Uncertainty: Heuristics and Biases / Eds. D. Kahneman, A. Tversky. New York: Cambridge University Press, 1982.

20

Ibid.

21

Ibid.

22

Станислав Улам. Приключения математика / Пер. с англ. М.: Регулярная и хаотическая динамика, 2001, 288 с.

23

Английский теоретик менеджмента (род. в 1932 г.). – Примеч. переводчика.

24

Douglas W. Hubbard. The IT Measurement Inversion // CIO Enterprise Magazine, 1999, April 15.

25

Goodman. Serial Number Analysis // Journal of the American Statistical Asso-ciasion, 1952, 47, p. 622–634.

26

Нестереотипной. – Примеч. редактора.

27

Kramer Stephen P. How to Think Like a Scientist. New York: HarperCollins, 1987.

28

В то время увидеть обложку книги на этом сайте еще было нельзя.

29

FYP – first year profit, прибыль первого года. – Примеч. переводчика.

30

David M. Grether, Mahmoud A. El-Gamal. Are People Bayesian? Uncovering Behavioral Strategies // Social Science Working Paper 919, 1995, California Institute of Technology.

31

Неточность: рисунок доли генеральной совокупности приведен в главе 9 (см. рис. 9.2). – Примеч. редактора.

32

Andrew Oswald. Happiness and Economic Performance // Economic Journal, 1997, vol. 107, p. 1815–1831.

33

James Hammitt. Valuing Health: Quality-Adjusted Life Years or Willingness to Pay? // Risk in Perspective, Harvard Center for Risk Analysis; J. K. Hammitt, J. D. Graham. Willingness to Pay for Health Protection: Inadequate Sensitivity to Probability? // Journal of Risk and Uncertainty, 1999, vol. 18, № l, p. 33–62.

34

Douglas Hubbard. Risk vs. Return // Information Week, 1997, June 30.

35

Уровень риска, приемлемый для компании. В материальном выражении склонность к риску представляет собой сумму, которую предприятие может себе позволить безболезненно потерять. – Примеч. редактора.

36

В литературе встречаются названия «современная теория портфеля», «теория современного портфеля» и др. – Примеч. редактора.

37

Douglas Hubbard. Hurdling Risk // CIO Magazine, 1998, June 15.

38

Кривая безразличия – геометрическое место точек, каждая из которых представляет такую комбинацию двух свойств, что пользователю безразлично, какую ему выбрать. Другими словами, кривая безразличия показывает альтернативные сочетания этих свойств, обеспечивающие одинаковый уровень полезности. Двиагясь от одной комбинации к другой, пльзователь увеличивает полезность, обеспечиваемую одним свойством, но уменьшает полезность, обеспечиваемую другим свойством. – Примеч. переводчика.

39

Paul A. Strassmann. The Business Value of Computers: An Executive Guide, 1990.

40

Michael Lewis. MoneyBall. New York: W. W. Norton & Company, 2003.

41

Robert Kaplan. Is Beauty Talent? Sex Interaction in the Attractiveness Halo Effect. Paper presented at the Annual Meeting of the Western Psychological Association. Los Angeles, California, 1976, April 8–11.

42

Robyn M. Dawes. The Robust Beauty of Improper Linear Models in Decision Making // American Psychologist, 1979, 34, p. 571–582.

43

G. Rasch. On General Laws and the Meaning of Measurement in Psychology. Proceedings of the Fourth Berkeley Symposium on Mathematical Statistics and Probability. Berkeley: University of California Press, 1980, p. 321–334.

44

Egon Brunswik. Representative Design and Probabilistic Theory in a Functional Psychology // Psychological Review, 1955, 62, p. 193–217.

45

Robyn M. Dawes, Bernard Corrigan. Linear Models in Decision Making // Psychological Bulletin, 1974, Vol. 81, № 2, p. 93–106.

46

По крайней мере, в одном из четырех примеров «экспертами» были студенты. В двух остальных примерах эксперты предсказывали мнения других специалистов (патологи предсказывали диагнозы других врачей, а преподаватели предсказывали оценки приемной комиссии). Кроме того, большинству экспертов, на основе оценок которых была построена первая модель, удалось предсказать результаты несколько лучше, чем это было сделано с помощью баллов Доуза.

47

M. Parker, R. Benson, H. E. Trainor. Information Economics: Linking Business Performance to Information Technology. Englewood Cliffs, NJ: Prentice-Hall, 1988.

48

Barbara McNurlin. Uncovering the Information Technology Payoff. United Communications Group, Rockville, MD, 1992.

49

Paul Gray. Book review of «Information Economics: Linking Business Performance to Information Technology» // Journal of Information Systems Management, 1989, Fall.

50

A. Stam, A. Silva. Stochastic Judgments in the AHP: The Measurement of Rank Reversal Probabilities // Decision Sciences Journal, 1997, Summer, vol. 28, № 3.

51

Вставка автора. – Примеч. редактора.

52

P. E. Meehl. Clinical versus Statistical Prediction. Minneapolis: University of Minnesota Press, 1954, p. 372–373.

53

Мэшап (от англ. to mash up – смешивать) – программное приложение, интегрирующее данные из нескольких источников и представляющее его на одной странице. – Примеч. переводчика.

54

Книга выпущена в 2007 г. издательством «Вильямс». – Примеч. редактора.

55

Телевизионный певческий конкурс «American Idol». – Примеч. редактора.

56

Emile Servan-Schreiber et al. Prediction Markets: Does Money Matter? // Electronic Markets, 2004, September, № 14, p. 3.

57

Paul Stoneman et al. Handbook of the Economics of Innovation and Technological Change. Malden, MA: Basil Blackwell Ltd., 1995.

58

Фиксированная цена, по которой покупатель опциона может использовать свое право купить или продать. – Примеч. редактора.