Текст книги "Проект «Феникс». Роман о том, как DevOps меняет бизнес к лучшему"
Автор книги: Джордж Спаффорд
Соавторы: Кевин Бер,Джин Ким
сообщить о нарушении
Текущая страница: 2 (всего у книги 7 страниц)
Глава 2
Трудно быть лидером
Вторник, 2 сентября
«Как все прошло?» – ласково спрашивает Стейси, поднимая глаза от клавиатуры. Я качаю головой. «Я не могу в это поверить. Он только что уговорил меня принять должность, которой я не хочу. Как это вообще произошло?»
«Он может быть очень убедительным, – говорит она. – Он уникален. Я работаю на него около десяти лет, и я бы за ним и на край света пошла. Я могу чем-нибудь помочь тебе с твоей работой?»
Немного подумав, я отвечаю: «Есть одна срочная проблема с программой расчета зарплаты, которую нужно решить. Дик Лондри на третьем этаже, правильно?»
«Вот, держи», – говорит она, еще до того как я успеваю закончить предложение, протягивая мне стикер со всей контактной информацией Дика. Расположение офиса, телефонные номера и все остальное.
Я благодарно улыбаюсь ей. «Спасибо огромное – ты просто чудо!»
Я набираю номер Дика по дороге к лифту. «Дик на проводе», – отвечает он резко, на заднем фоне слышно, как он продолжает печатать.
«Это Билл Палмер. Стив только что назначил меня вице-президентом отдела IT-сопровождения и он попросил меня…»
«Поздравляю, – прерывает он. – Теперь смотри, мои люди обнаружили огромную ошибку в системе расчета зарплаты. Когда ты сможешь ко мне прийти?»
«Прямо сейчас», – отвечаю я. Он кладет трубку. Бывали в моей жизни и более теплые поздравления.
На третьем этаже я попадаю в бухгалтерию, проходя через ряды полосатых рубашек и крахмальных воротничков. Я нахожу Дика за его столом, он говорит с кем-то по телефону. Когда он видит меня, он, прикрывая трубку рукой, резко говорит: «Ты из IT?»
Когда я киваю, он говорит в трубку: «Слушай, мне нужно бежать. Тот, кто должен был нам помочь, наконец-то здесь. Я тебе позвоню». Не дожидаясь ответа, он кладет трубку.
Я никогда на самом деле не видел человека, для которого обычным делом является бросание трубок. Я настраиваю себя на разговор, который вряд ли будет комфортной беседой вроде: «А давай-ка сначала узнаем друг друга».
Как заложник, я медленно поднимаю руки, показывая Дику распечатанный e-mail. «Стив только что рассказал мне о сбое системы. Как мне лучше всего узнать подробности ситуации?»
«Мы влипли, – отвечает Дик. – Во вчерашнем прогоне программы расчета зарплаты все записи о работниках с почасовой оплатой отсутствовали. Мы практически уверены, что проблема в IT. Этот сбой не даст нам возможности заплатить сотрудникам, что нарушит бесконечное количество статей трудового законодательства, и, без сомнения, профсоюз будет орать как резаный».
Он останавливается на секунду, чтобы набрать воздуха. «Пойдем поговорим с Энн, моим заместителем. Она рвет волосы на голове со вчерашнего дня».
Пытаясь за ним угнаться, я практически врезаюсь в него, когда Дик останавливается и вглядывается в стекло переговорной. Он открывает дверь. «Как продвигаются дела, Энн?»
Внутри комнаты две хорошо одетые женщины: одна, около сорока пяти лет, изучает доску, исписанную графиками и таблицами с числами, другая, ей около тридцати, печатает на компьютере. Расчетные документы валяются по всему столу. Старшая женщина маркером указывает на лист, на котором, похоже, перечислены возможные причины ошибки.
Что-то в том, как они одеты, в их озабоченном виде и раздраженных лицах заставляет меня думать, что они, скорее всего, были наняты в компанию из местных бухгалтерских фирм. Экс-аудиторы. «Хорошо иметь их на своей стороне», – думаю я.
Энн качает головой, измученная и разочарованная. «Без особого прогресса, боюсь. Мы практически уверены, что это сбой в одной из IT-систем хронометрирования. Все записи о почасовой работе фабричных рабочих пропали после последней выгрузки…»
Дик прерывает ее. «Это Билл из IT-отдела. Он здесь, чтобы разобраться с беспорядком или умереть, пытаясь, вроде так он сам сказал».
Я говорю: «Привет всем. Меня только что назначили новым главой отдела IT-сопровождения. Можете начать с начала и рассказать, как вы узнали о проблеме?»
Энн подходит к графику информационных потоков, изображенному на доске. «Давайте начнем с потока данных. Наша финансовая система получает данные о расходах по заработной плате со всех наших отделений разными способами. Мы сводим данные по персоналу с почасовой и месячной оплатой, которые включают в себя сам оклад и налоги. Звучит просто, но это невероятно сложный процесс, потому что в каждом штате свои налоговые ставки, трудовое законодательство и т. д.
Чтобы убедиться, что все идет правильно, – продолжает она, – мы каждый раз проверяем, чтобы общая сумма сходилась с детализированными цифрами от каждого отделения».
Я быстро делаю себе пометки, она продолжает: «Это довольно затратный ручной процесс. Он работает в большинстве случаев, но вчера мы выяснили, что счета по учету для почасового персонала выпали из общего отчета. У всех этих людей нули в строках отработанных часов и необходимых платежей.
У нас было довольно много проблем конкретно с этой выгрузкой, – говорит она, очевидно расстроенная, – поэтому IT-отдел выдал нам программу, которая позволяет вносить изменения вручную, чтобы мы их больше не беспокоили».
Я вздрагиваю. Мне совсем не нравится финансовый персонал, который меняет данные о заработной плате, минуя специальное приложение. Это очень опасно и ведет к ошибкам в системе. К тому же кто-нибудь может скопировать эти данные на флешку или отослать по почте за стены организации, и компания потеряет важные данные.
«Я правильно понял, что все данные для служащих с фиксированным окладом в порядке?» – спрашиваю я.
«Все верно», – отвечает она.
«Но у всех сотрудников с почасовой оплатой одни нули?» – говорю я.
«Да», – снова отвечает она.
Интересно. Я спрашиваю: «Почему вы считаете, что проблема именно в прогоне программы расчета, если раньше она работала? У вас случились подобные проблемы в прошлом?» Она пожимает плечами. «Ничего подобного раньше не происходило. Я понятия не имею, что привело к этому сбою, – никаких особо крупных изменений в записях за этот период нет. Я задавала себе те же самые вопросы, но до тех пор, пока народ из IT молчит, мы просто топчемся на месте».
«Какой у нас запасной план, – спрашиваю я, – если все будет настолько плохо, что мы не сможем вернуть данные вовремя?»
«Громко рыдать, – отвечает Дик. – Это, кстати, было в том письме, которое у тебя в руке. Дедлайн по электронным платежам – до пяти вечера сегодня. Если мы не успеем запрыгнуть в этот поезд, нам придется отсылать по почте бумажные чеки в каждое из отделений компании, чтобы там их выдали сотрудникам!»
Я хмурюсь от мысли о таком развитии дел, как, собственно, и вся команда.
«Это не сработает, – говорит Анна, постукивая себе по зубам маркером. – Расчет заработной платы у нас на аутсорсе. В каждый платежный период мы загружаем для них платежные данные, которые они затем обрабатывают. В худшем случае, возможно, мы сможем загрузить прошлые платежные данные, модифицировать их в расчетные документы и затем перезагрузить?
Но так как мы не знаем, сколько именно часов отработал каждый из сотрудников, мы не знаем, сколько им заплатить, – продолжает она. – Мы не хотим переплатить никому, но это, конечно, лучше, чем недоплатить».
Очевидно, что план Б полон проблем. Мы просто-напросто будем гадать по чекам людей, а также заплатим тем людям, которые уже уволены, и не заплатим тем, кто только нанят.
Чтобы добыть у бухгалтерии необходимые данные, нам, возможно, нужно на скорую руку собрать индивидуальные отчеты, а это значит, нужно будет подключить к делу разработчиков или программистов, работающих с базами данных.
Но это как подливать масла в огонь. Разработчики ужасны. Покажите мне разработчика, который не разрушает производственные системы, и, спорю, он просто мертв. Или скорее в отпуске.
Дик говорит: «Это два равно паршивых пути. Мы могли бы отложить выплату до того времени, пока не получим верные данные. Но мы не можем этого сделать – даже если мы на день опоздаем, в игру вступит профсоюз. Итак, давайте остановимся на предложении Энн заплатить сотрудникам хоть что-то, пусть даже и неправильную сумму. Нам нужно будет выровнять все выплаты в следующем платежном периоде. Но сейчас перед нами ошибка в финансовой отчетности, и нужно срочно ее исправить».
Он сжимает переносицу и продолжает: «Нам придется совершить несколько правок в журнале учета, и именно тогда, когда аудиторы SOX-404 уже здесь. Когда они увидят все это, они никогда не уйдут.
Ох, боже мой. Ошибка в финансовой отчетности? – бормочет Дик. – Нам нужно будет подтверждение от Стива. Аудиторы расположатся здесь на ПМЖ, пока все не разрешится. Никто больше не сможет заниматься делом».
SOX-404 – это сокращение от закона Сарбейнза-Оксли от 2002 года, который принял Конгресс в ответ на бухгалтерское мошенничество в Enron, WorldCom и Tyco. Один из пунктов этого закона гласит, что генеральный директор и финансовые директора должны ставить личные подписи на финансовых документах своей компании.
Все сейчас с тоской вспоминают те дни, когда не нужно было половину времени проводить разговаривая с аудиторами, выполняя все новые и новые, принимаемые практически каждый день, регулятивные требования.
Я смотрю на свои записи и затем на часы. Время идет.
«Дик, исходя из того что я услышал, я посоветовал бы вам продолжать готовиться к худшему и полностью продумать план Б, чтобы мы могли им оперативно воспользоваться в случае возникновения осложнений. Я предлагаю подождать до 15:00 прежде, чем принимать решение. Возможно, нам удастся восстановить систему и все данные».
Когда Энн кивает, Дик говорит: «О’кей, у тебя есть четыре часа».
Я отвечаю: «Уверяю вас, мы пониманием всю срочность ситуации, и я оповещу вас, как только разберусь во всем сам». «Спасибо, Билл», – говорит Энн. Дик молчит, пока я выхожу из кабинета.
Я чувствую себя чуть более уверенно, посмотрев на проблему с точки зрения бизнес-перспективы. Пришло время разобраться с тем, что повредило сложный механизм расчета зарплаты.
Спускаясь по лестнице, я достаю телефон и просматриваю почту. Ощущение спокойной сосредоточенности исчезает, когда я вижу, что Стив так и не разослал официальное оповещение о моем повышении. Вэс Дэвис и Патти МакКи, которые до сегодняшнего дня были моими коллегами, до сих пор понятия не имеют, что теперь я их новый босс.
Спасибо, Стив.
Когда я захожу в здание № 7, оно поражает меня. Это натуральное гетто на территории компании Parts Unlimited.
Здание было построено в 1950-х, а последний ремонт делали в 1970-х. По этому зданию сразу видно, что строили его под конкретные производственные цели, а не для эстетического наслаждения. Здание № 7 использовалось как огромная фабрика по производству тормозных дисков, пока не превратилось в центр обработки данных и офисное пространство.
Охранник приветствует меня своим радостным: «Здравствуйте, мистер Палмер. Как ваше утро?»
На секунду мне хочется попросить его пожелать мне удачи, чтобы он сам получил свою зарплату на этой неделе. Но я, конечно, спокойно приветствую его и все.
Я останавливаюсь перед сетевым операционным центром (NOC), где сейчас, скорее всего, находятся Вэс и Патти. Теперь они мои ведущие менеджеры.
Вэс – начальник отдела распределенных операций. Он несет ответственность больше чем за тысячу Windows-серверов, а также за команды, отвечающие за базы данных и работу сети. Патти – начальник отдела сервисной поддержки. Она заведует сотрудниками служб поддержки 1-й и 2-й линии, которые круглосуточно отвечают на звонки, устраняя срочные проблемы и обрабатывая запросы от внутренних клиентов. Она также руководит некоторыми ключевыми процессами и инструментами, от которых зависит весь отдел IT-сопровождения, вроде регистрирования абонентских запросов, мониторинга и проведения встреч по управлению изменениями.
Я прохожу мимо рядов одинаковых коридоров, таких же, как во всех остальных зданиях. Однако в отличие от зданий № 2 и 5 на ковре я вижу протертые места и темные пятна, усыпающие ковер.
Эта часть здания была построена на крыше того, что использовалось как главный сборочный цех. Когда его переоборудовали, все машинные пятна отчистить просто не смогли. Вне зависимости от того, какое количество новых покрытий клали поверх полов, масло все равно в конце концов просачивалось сквозь ковры.
Я делаю себе пометку, чтобы не забыть включить в запрос бюджета замену ковров и покраску стен. Когда я служил, содержание бараков чистыми и аккуратными было требованием не только эстетическим, но и необходимым для безопасности.
Трудно отказаться от старых привычек.
Я вижу NOC прежде, чем слышу его. Это огромная зона со столами вдоль одной стены, на которых расположены мониторы, отражающие состояние всех видов IT-сервисов компании. Сотрудники служб поддержки 1-й и 2-й линии занимают три уровня рабочих зон.
Это не просто похоже на станцию контроля из фильма «Аполлон 13», когда я объясняю что-то своим сотрудникам, то ссылаюсь именно на этот фильм.
Когда что-то повреждает несущую часть корабля, необходима совместная работа всех ключевых игроков и технологических менеджеров для решения проблемы. Вот, например, как сейчас. За круглым столом пятнадцать человек ведут бурную громкую дискуссию, расположившись вокруг одного из классических серых телефонов с громкой связью, похожих на НЛО.
Вэс и Патти сидят рядом друг с другом за столом, поэтому я подхожу к ним сзади и прислушиваюсь. Вэс откидывается на стуле, скрестив руки на груди. Будучи 6 футов 3 дюйма ростом и при весе больше 250 фунтов, он отбрасывает тень на большую часть людей в комнате. Кажется, что он находится в постоянном движении и всегда говорит все, что думает.
Патти – его абсолютная противоположность. Вэс – громкий, кричащий и всегда рубит с плеча, Патти же очень задумчива, имеет аналитический склад ума и жестко придерживается принятых процедур и процессов. Вэс – огромный, воинственный и вздорный, Патти же миниатюрная, логичная и очень последовательная. Она имеет репутацию женщины, которая любит правила больше, чем людей, и занимает позицию человека, который пытается привнести хоть немного порядка в хаос IT-отдела.
Она – лицо всего IT-отдела. Когда что-то идет не так с IT, люди звонят Патти. Она – наш профессиональный извиняльщик, когда сервисы рушатся, Интернет слишком медленно работает, или, как сегодня, когда утеряны или разрушены какие-то данные.
Также все звонят Патти, когда необходимо сделать какую-то простую работу – вроде обновить Windows на компьютере, поменять номер телефона или установить новое приложение. Она составляет все графики сроков сдачи дел, поэтому люди всегда пытаются к ней подмазаться, чтобы их проблемы были решены первыми. Она может передать эти задания сотрудникам, которые, собственно, и выполняют работу. Чаще всего они попадают в мою старую группу или группу Вэса.
Вэс обрушивается на стол, говоря: «Просто позвоните производителям и скажите им, что если они не доставят сюда новое оборудование, мы уйдем к их конкурентам. Мы одни из их самых крупных клиентов! Мы вообще уже должны были отказаться от этого дерьма, подумайте об этом».
Он смотрит по сторонам и шутит: «Вы знаете, как это говорится, да? Как определить, что производитель врет? Если у него губы шевелятся».
Один из инженеров напротив Вэса говорит: «Они сейчас на телефоне. Говорят, что минимум через часа четыре они смогут предоставить нам своего инженера SAN».
Я хмурюсь. Почему они говорят о SAN? Сеть хранения данных (SAN) предоставляет собой централизованное хранилище для большинства критических систем, поэтому ее обвалы носят обычно глобальный характер – практически не может быть такого, чтобы обвалился только один сервер, чаще всего в таких случаях одновременно выходят из строя сотни серверов.
Пока Вэс спорит с инженером, я пытаюсь подумать. Ничто в провале зарплатной системы не похоже на проблему из области SAN. Энн предположила, что что-то случилось с хронометрическими приложениями, поддерживающими каждый из наших заводов.
«Но после того, как мы попытались откатить SAN, система прекратила обслуживать данные вовсе, – говорит другой инженер. – Затем на мониторе стали выскакивать надписи на кандзи! Ну, мы подумали, что это кандзи. Что бы это ни было, мы ничего не могли разобрать в этих каракулях. В этот самый момент мы решили, что было бы неплохо привлечь собственно производителей к этому делу».
Хотя я слышу разговор не с самого начала, я абсолютно уверен, что мы на ложном пути.
Я наклоняюсь и шепчу на ухо Вэсу и Патти: «Можно вас на минутку, ребята?»
Вэс оборачивается и громко говорит: «Это не может подождать? Если вдруг ты не заметил, у нас здесь небольшая проблемка».
Я кладу руку ему на плечо. «Вэс, это действительно важно. Это о сбое системы расчета зарплаты и касается разговора, который у меня только что состоялся со Стивом Мастерсом и Диком Лондри».
Он выглядит удивленным. Патти уже вскочила с кресла. «Пойдемте в мой кабинет», – говорит она, ведя нас за собой.
Войдя за Патти в ее кабинет, я вижу на стене фотографию ее дочери, которой, по моим прикидкам, около одиннадцати лет. Я поражен тем, как сильно она похожа на Патти – бесстрашная, невероятно умная и обворожительная, – и, если честно, это немного пугает в такой милой маленькой девочке.
Резко Вэс говорит: «Итак, Билл, что такого важного случилось, что ты счел необходимым прервать обсуждение восстановления системы после сбоя первой степени?»
Это неплохой вопрос. Отказ первого уровня – это серьезная угроза для компании, и она настолько разрушительна для бизнес-процессов, что обычно мы бросаем все дела, чтобы решить возникшую проблему. Я делаю глубокий вдох. «Не знаю, слышали ли вы, но Люк и Дэймон больше не работают в компании. Официальная причина – они решили немного отдохнуть от дел. Больше я ничего не знаю».
Их удивленные лица подтверждают мои опасения. Они не знали. Я кратко пересказываю утренние события. Патти качает головой.
Вэс выглядит сердитым. Он работал с Дэймоном долгие годы. Его лицо краснеет. «Теперь предполагается, что мы должны получать приказы от тебя? Слушай, без обид, друг, но разве ты немного не… ммм… не того уровня? Ты руководил внутренними операциями среднего уровня, абсолютно древними, годами. Ты создал милую небольшую группу. И знаешь что? Ты абсолютно никакого представления не имеешь, как работают современные распределительные системы – для тебя 1990-й, это до сих пор будущее!
Без обид, – говорит он, – но я думаю, у тебя голова взорвалась бы, если бы ты жил в том постоянном хаосе и сложностях, с которыми я сталкиваюсь каждый день».
Я выдыхаю, считая до трех. «Хочешь поговорить со Стивом о том, как ты мечтаешь о моей работе? Позволь мне тебя туда проводить. Или давай, может, сначала сделаем то, что требуется бизнес-отделу, и убедимся, что все получат плату вовремя?»
Патти быстро отвечает: «Я знаю, ты меня не спрашивал, но я тоже считаю, что инцидент с системой расчета зарплаты – это то, на чем сейчас нужно сосредоточиться. – Она делает паузу и затем продолжает: – Я думаю, что Стив сделал правильный выбор. Поздравляю, Билл. Когда мы можем поговорить об увеличении бюджета?»
Я благодарю ее кивком и улыбкой и пристально смотрю на Вэса.
Проходит пара мгновений, и на его лице появляется выражение, которое я не могу разобрать. В конце концов, он соглашается: «Да, хорошо. И я запомню твое предложение поговорить со Стивом. Ему есть что объяснить».
Я киваю. Думая о своем опыте общения со Стивом, я искренне желаю Вэсу удачи, если он действительно хочет с ним встретиться.
«Спасибо вам за поддержку, ребята. Я ценю это. Итак, теперь вопрос: что мы знаем о произошедшем сбое или сбоях? Говорят, виноват сбой во вчерашнем обновлении SAN? Эти события связаны?».
«Мы не знаем, – Вэс качает головой. – Мы пытались выяснить это, как раз когда ты вошел. Мы были вчера посреди процесса обновления SAN, когда система расчета зарплаты обвалилась. Брент думал, что SAN повредил данные, поэтому он предложил откатить обновления. Мне это показалось осмысленным, но как ты знаешь, в итоге вся система превратилась в груду хлама».
Раньше я думал, что вот так вот «превратиться в хлам» может только что-нибудь небольшое, что типа когда обновления на мобильном телефоне установились неудачно. Использование этого выражения по отношению к оборудованию, которое стоит миллионы долларов и в котором хранятся все наши корпоративные данные, делает мне больно физически.
Брент работает на Вэса. Он всегда в центре важных IT-проектов. Я сталкивался с ним много раз. Он определенно очень умен, но из-за этого он порой бывает немного пугающим. Что хуже всего, так это то, что он абсолютно всегда прав.
«Ты слышал их, – говорит Вэс, указывая на людей за столом. – SAN не запускается, не обрабатывает данные, а наши ребята даже не могут прочитать сообщения об ошибке, потому что они отражаются на странном языке. То есть у нас на руках несколько обрушенных баз данных, включая, конечно же, и систему расчета заработной платы».
«Чтобы решить проблему SAN, нам пришлось оторвать Брента от работы над «Фениксом», которую мы обещали проделать для Сары, – говорит Пати зловеще. – Скоро здесь начнется настоящий ад».
«Так. Что конкретно мы ей обещали?» – спрашиваю я встревоженно.
Сара – старший вице-президент по розничным продажам, и она также работает на Стива. Она имеет неприятную привычку обвинять других людей в своих провалах, особенно коллег из IT-отдела. Годами она умудряется избегать любого вида реальной ответственности.
Хотя ходили слухи, что Стив растит ее как свою преемницу, я всегда был уверен, что это абсолютно невозможно. Я думаю, что Стив не может быть настолько слеп.
«Сара услышала от кого-то, что мы опоздали с созданием нескольких виртуальных машин для Криса, – отвечает она. – Мы бросили все, чтобы доделать ту работу. Ну, до тех пор пока мы не бросили все, чтобы восстановить SAN».
Крис Аллерс, наш старший вице-президент отдела разработок, ответственен за создание и развитие приложений под нужды бизнес-отделов, а после него эти приложения попадают к нам на поддержку и доработку. Жизнь Криса полностью подстроена под проект «Феникс».
Я чешу голову. Как компания мы вложили огромные средства в виртуализацию. Хотя это выглядит сверхъестественно, виртуализация изменила все правила игры в мире Вэса. Внезапно ему больше не пришлось управляться с тысячами физических серверов. Теперь они были лишь логическими инстансами внутри одного большого железного сервера, а могли и вовсе располагаться где-то в облаке.
Создание нового сервера теперь лишь дело клика мышкой внутри специальной программы.
Монтаж кабеля? Теперь это настройка конфигурации. Но, несмотря на обещания, что виртуализация решит все наши проблемы, вот они мы – все еще не можем предоставить Крису необходимые виртуальные машины вовремя.
«Если Брент нужен нам для работы над проблемой SAN, держите его там. Я справлюсь с Сарой, – говорю я. – Но если ошибка системы расчета зарплаты была вызвана SAN, почему мы не видим других столь же масштабных ошибок и обвалов?»
«Сара определенно будет не рада. Ты знаешь, я вдруг совершенно расхотел твою должность, – говорит Вэс, громко смеясь. – Смотри, как бы тебя не уволили в первый же день. Думаю, вслед за этим они придут за мной! – Вэс останавливается, чтобы подумать. – Ты знаешь, а тебе пришла неплохая идея. Брент работает над проблемой прямо сейчас. Пойдем к нему и узнаем, что он сам думает».
Мы с Патти киваем. Это хорошая идея. Мы должны построить полную и последовательную цепь событий. Пока же мы делаем предположения, исходя из слухов и догадок.
Это не работает при расследовании преступлений, и это определенно не работает при попытках разобраться в сбоях системы.
