Текст книги "Обман в науке"

Автор книги: Бен Голдакр

сообщить о нарушении

Текущая страница: 14 (всего у книги 23 страниц)

Подчистите данные

Посмотрите на ваши графики. Там наверняка найдутся аномалии, или точки, которые располагаются далеко от остальных. Если они не в вашу пользу, исключите их. Если они помогают поддержать имидж вашего лекарства, оставьте их на месте, даже если это выглядит неправдоподобно.

Пять… нет, семь… нет, девять!

Если разница между вашим лекарством и плацебо становится значительной через четыре с половиной месяца, а испытание запланировано на шесть, прекратите испытание досрочно и зафиксируйте результаты: они могут стать менее впечатляющими, если вы продолжите. И наоборот, если через шесть месяцев результаты будут «почти положительными», продолжите испытания еще на три месяца.

«Помучайте» данные

Если результаты совсем плохи, попробуйте вернуться назад и посмотреть: может быть, в какой-нибудь подгруппе они другие. Вдруг вы обнаружите, что лекарство хорошо работает на китайских женщинах в возрасте от 52 до 61 года? «Помучайте данные, и они во всем сознаются», – как говорят в тюрьме Гуантанамо.

Понажимайте все кнопки на компьютере

Если вы в отчаянии, и анализ данных тем способом, который вы планировали, не дает нужных вам результатов, попробуйте другие статистические анализы, даже если они сюда совершенно не подходят, просто наугад.

И когда вы закончили, самое главное – это напечатать ваши результаты с умом. Если испытания удались, смело печатайтесь в самом крупном журнале, какой только сможете найти. Если результаты положительные, но вы слегка слукавили и это может выйти наружу, тогда печатайте их в малоизвестном журнале (который пишется и издается исключительно промышленностью): помните, что все уловки, которые мы только что описали, ничего не скрывают, и станут явными для любого, кто прочитает вашу статью, но только при внимательном чтении, поэтому в ваших интересах, чтобы никто не читал дальше введения. И наконец, если ваши результаты действительно смущают, спрячьте их подальше и ссылайтесь на них как на «данные в файле». Никто не будет знать ваши методы, и их заметят, только если кто-нибудь начнет их искать для систематического обзора. Остается надеяться, что это произойдет нескоро.

Как это возможно?

Когда я объясняю эти манипуляции с результатами своим друзьям, которые не являются медиками или учеными, они очень удивляются. «Как же это возможно?» – спрашивают они. Во-первых, многие плохие исследования объясняются некомпетентностью. Но многие методологические ошибки, описанные выше, представляют собой намеренный обман. Можно ли разоблачить грязную игру?

На индивидуальном уровне иногда чрезвычайно трудно доказать, что испытание было намеренно подделано, чтобы продемонстрировать результаты, нужные спонсорам. Но в целом картина вырисовывается довольно ясно. Этот вопрос так часто изучался, что в 2003 году один систематический обзор обнаружил 30 исследований, целью которых было посмотреть, влияет ли финансирование в разных группах испытаний на их результаты. Исследования, финансируемые фармацевтическими компаниями, как было показано, в четыре раза чаще независимых давали результаты, благоприятные для компаний.

Один обзор тенденциозных исследований рассказывает историю, поистине достойную «Алисы в стране чудес». Было найдено 56 различных испытаний, сравнивающих обезболивающие препараты, такие как ибупрофен, диклофенак и т. д. Люди часто изобретают новые версии этих лекарств в надежде, что у них будет меньше побочных эффектов или они будут обладать более сильным действием (или что их можно будет запатентовать и заработать деньги). В каждом испытании лекарство, произведенное спонсором, оказывалось лучше или по крайней мере не хуже, чем остальные, участвовавшие в исследовании. Ни в одном случае оно не оказалось хуже остальных. Философы и математики говорят о «переходности»: если А лучше В, а В лучше С, то С не может быть лучше, чем А. Но обзор 56 испытаний показал полный абсурд: все эти лекарства были лучше друг друга.

Но за углом нас ждет еще один сюрприз. Как ни удивительно, когда исследовались методологические недостатки, оказалось, что испытания, которые финансировались фармацевтической индустрией, использовали лучшие исследовательские методы, чем независимые испытания. Самое большее, что можно было предъявить фармкомпаниям, это такие мелочи, как использование неадекватных доз лекарств-конкурентов (как говорилось выше) или заявления в разделе «Выводы», которые преувеличивали положительность результатов. Но это были легко обнаруживаемые недостатки: нужно было только прочитать отчет об испытании, чтобы увидеть, что исследователи давали маленькую дозу обезболивающего; всегда следует читать разделы «Методы» и «Результаты», чтобы судить о данных исследования, поскольку разделы «Обсуждение» и «Выводы» в конце похожи на комментарии в газетах. Из них вы не узнаете ничего нового.

Как же мы можем объяснить тот факт, что результаты испытаний, финансируемых фармкомпаниями, часто такие блестящие? Каким образом все их лекарства одновременно оказываются лучшими? Самое главное может произойти после окончания испытаний.

Тенденциозность публикаций и подавление отрицательных результатов

Тенденциозность публикаций – это очень интересный и очень человеческий феномен. По ряду причин положительные результаты с большей вероятностью будут опубликованы, чем отрицательные. Это легко понять, если вы поставите себя на место исследователей. Во-первых, если результат отрицательный, вы чувствуете, что зря потеряли время. Легко убедить себя в том, что вы ничего не нашли, хотя в действительности вы нашли очень полезную информацию: вы узнали, что вещь, которую вы тестируете, не работает.

Правильно это или нет, но получение данных о том, что что– то не работает, конечно, не принесет вам Нобелевской премии – нет на свете справедливости, – поэтому у вас могут пропасть мотивация работать над этим проектом и появиться новые приоритеты. Вы не захотите публиковать свои отрицательные результаты в академическом журнале, и ваши данные будут пылиться на дне ящика письменного стола. Пройдут месяцы. Вы получите новый грант. Чувство вины вас будет иногда беспокоить, но понедельник – ваш день в клинике, значит, неделя начинается во вторник, а в среду встреча в департаменте, поэтому четверг – это единственный день, когда вы можете поработать, а в пятницу вы читаете лекции, и так пройдет год, ваш шеф уйдет на пенсию, а новый даже не будет знать о том, что проводился эксперимент, и так отрицательные результаты будут забыты навсегда. Если вы улыбаетесь, читая этот абзац, потому что узнали себя, то вы очень плохой человек.

Даже если вы опубликуете свои отрицательные результаты, это не будет новостью. Вы, вероятно, не сможете опубликовать их в самом известном журнале, если только это не крупные испытания чего-то, что обещало сенсацию, пока ваш отрицательный эксперимент все не испортил. Это уважительная причина, чтобы вы особенно не суетились, и это также означает, что весь процесс отложится на неопределенное время: ленивым журналам может потребоваться год, чтобы отвергнуть вашу статью. Каждый раз, когда вы будете подавать статью в разные журналы, вам придется переформатировать ссылки (часы утомительного труда). Если вы замахиваетесь высоко и получаете несколько отказов, могут пройти годы, пока статья выйдет, даже если вы очень старались, и все эти годы люди не будут знать о ваших исследованиях.

Тенденциозность публикаций весьма распространена и в некоторых областях встречается чаще, чем в других. В 1995 году только 1 % всех статей, опубликованных в журналах альтернативной медицины, содержал отрицательные результаты. Самая последняя цифра – это 5 % отрицательных публикаций. Это очень низкий процент, хотя, если быть честным, могло быть и хуже. Обзор 1998 года охватил весь спектр исследований китайской медицины и не нашел ни одной публикации, описывающей отрицательные результаты. Ни одной. Вы видите, почему я использую нетрадиционную и альтернативную медицину (НиАМ) как учебное пособие для изучения доказательной медицины.

В целом тенденциозность публикаций не проявляется так откровенно, и вы можете получить представление о том, что она существует в данной области, сделав очень умную вещь под названием funnel plot (диаграмма в виде воронки). Это потребует на короткое время вашего внимания.

Если есть множество исследований на одну тему, они должны дать слегка отличные друг от друга результаты, но можно ожидать, что все они будут близки к правильному. Вы также можете ожидать, что результаты более крупных испытаний с большим количеством участников и лучшими методами будут сосредоточены вокруг правильного ответа и ближе к нему, чем результаты мелких испытаний, а они, в свою очередь, будут разбросаны дальше, положительные и отрицательные, поскольку для исследования, скажем, с двадцатью участниками достаточно трех фальшивых результатов, чтобы сделать неправильные выводы.

Диаграмма в виде воронки помогает представить это наглядно. Вы обозначаете эффект на оси X слева направо. Затем на оси Y (сверху вниз) вы показываете, насколько большим было исследование, или каким-нибудь другим способом измеряете его точность. Если в публикациях нет никакого уклона, вы увидите прелестную перевернутую воронку: крупные, точные испытания будут сосредоточены вокруг ее вершины, а затем, по мере движения вниз, мелкие и менее точные будут постепенно распространяться вправо и влево, по мере снижения их точности – как положительные, так и отрицательные.

Уровень риска (смертность)

Однако если в публикациях есть тенденциозность, результаты будут асимметричными. Мелкие, некачественные отрицательные испытания будут отсутствовать, поскольку их будут игнорировать. Кажется, никто ничего не потеряет, если результаты этих крошечных, неубедительных испытаний так и останутся на дне ящика письменного стола, – таким образом, опубликованными оказываются только положительные результаты. Эта тенденциозность не только была продемонстрирована во многих областях медицины: одна статья обнаружила доказательства тенденциозности в самих исследованиях тенденциозности в публикациях. Вот воронкообразная диаграмма этой статьи. Такова ирония доказательной медицины.

Самый неприятный недавний случай этого явления – это исследования антидепрессантов СИОЗС, как было показано в различных статьях. Группа ученых в начале 2008 года опубликовала статью в «Медицинском журнале Новой Англии» ( New England Journal of Medicine), где были перечислены все испытания СИОЗС, которые были официально зарегистрированы Управлением по контролю за качеством пищевых продуктов и лекарственных средств, и изучила эти испытания в научной литературе. Тридцать семь испытаний были оценены управлением как положительные: за исключением одного, все они были правильно описаны и опубликованы. Двадцать два испытания, которые показали отрицательные или неопределенные результаты, просто не были опубликованы, а одиннадцать были описаны и опубликованы таким образом, что их результаты выглядели положительными.

Это более чем нахально. Врачам нужна достоверная информация, если мы хотим, чтобы они принимали правильные и безопасные решения, когда прописывают лекарства. Утаивание от них этой информации и обман – это моральное преступление. Если бы я не писал сейчас несерьезную и забавную книгу о науке, я бы пришел в ярость.

Повторные публикации

Фармацевтические компании могут сделать лучше, чем проигнорировать отрицательные результаты. Иногда, когда испытания дают положительные результаты, они публикуют их несколько раз, в разных местах, в разных формах, так что они выглядят как разные. Это особенно легко, когда вы проводите крупное мультицентровое исследование, поскольку вы можете публиковать фрагменты испытаний по каждому центру отдельно или в разных перестановках. Это также очень удобный способ заставить данные работать на вас, поскольку читатель вряд ли сможет это проверить.

Классическое детективное расследование в этой области было проведено бдительным анестезиологом из Оксфорда Мартином Трамером (Martin Tramer), который изучал эффективность лекарства от тошноты, ондансетрона. Он заметил, что многие данные в метаанализе, который он делал, повторялись: результаты отдельных пациентов попадались ему несколько раз, в слегка отличной форме, в очевидно разных исследованиях и в разных журналах. Данные, которые показывали лекарство в наиболее выгодном свете, имели большую вероятность повторяться, чем те, которые выглядели менее убедительно, и это в конечном счете привело к переоценке эффективности лекарства на 23 %.

Сокрытие вреда

Вот так фармацевтические компании приукрашивают свои положительные результаты. А как насчет более темной стороны всего этого? Где они прячут серьезный вред?

Побочные эффекты – это жизненный факт: их следует воспринимать в контексте приносимой лекарством пользы и тщательно контролировать, поскольку непреднамеренные последствия лекарственных вмешательств могут быть очень серьезными. Громкие истории, которые привлекают всеобщее внимание, – это истории грязной игры или сокрытия фактов. Однако важные данные могут быть упущены и по более невинным причинам: вполне естественно проигнорировать тенденциозность в публикациях или не заметить беспокоящих фактов на фоне общего шума.

Лекарства против сердечной аритмии дают нам интересный пример. Люди, у которых бывают сердечные приступы, часто страдают аритмией (поскольку у них не в порядке естественный водитель сердечного ритма), и это может послужить причиной смерти. Антиаритмические препараты используются для лечения и предотвращения сбоев сердечного ритма у таких людей. Доктора подумали, что было бы неплохо давать их всем, кто перенес сердечный приступ. Это казалось разумным на бумаге, препараты выглядели безопасными, и в то время никто не знал, что на самом деле они увеличивают риск смерти в этой группе, поскольку с теоретической точки зрения это казалось нелогичным (как в случае с антиоксидантами). Но это оказалось правдой, и в середине 1980-х, на пике их использования, антиаритмические препараты вызывали количество смертей, сравнимых с общим количеством американцев, погибших во время вьетнамской войны. Информация, которая могла бы предотвратить эту трагедию, к сожалению, лежала на дне ящика письменного стола, как позже объяснил один из исследователей: «Когда мы провели наше исследование в 1980 году, мы думали, что повышенный уровень смертности был… результатом стечения обстоятельств. Разработка лекарства была прекращена по коммерческим причинам, и результаты этого исследования так и не были опубликованы. Сейчас это выглядит ярким примером тенденциозности. Результаты, описанные здесь, могли бы заранее предупредить об опасности».

Это была небрежность и предвзятое мышление. Но иногда кажется, что опасные эффекты лекарств могут быть намеренно преуменьшены или, что еще хуже, просто не опубликованы. Недавно погремел ряд скандалов, связанных с фармацевтической индустрией, по поводу того, что данные о вреде лекарств, включая Vioxx и антидепрессанты, намеренно не были оглашены. Правда вскоре вышла наружу, и тот, кто говорит, что медики не захотели выносить сор из избы, просто не в курсе ситуации. Эти данные, не забывайте, были в трех самых читаемых статьях в «Британском медицинском журнале». Стоит посмотреть на них еще раз попристальнее.

Vioxx

Vioxx – это обезболивающий препарат компании Merck, одобренный американским Управлением по контролю за качеством пищевых продуктов и лекарственных препаратов (FDA) в 1999 году. Многие обезболивающие вызывают проблемы с пищеварительным трактом – язвы и другие, – и производители надеялись, что новое лекарство не будет иметь таких побочных эффектов. Это было проверено в испытаниях, которые назывались VIGOR и сравнивали Vioxx с более старым препаратом напроксеном. В результате ожидалась большая прибыль. Испытание дало смешанные результаты. Vioxx не лучше снимал симптомы при ревматоидном артрите, но вдвое уменьшал риск желудочно– кишечных проблем, что было прекрасной новостью. Однако также был обнаружен повышенный риск сердечных приступов.

Однако когда результаты VIGOR были опубликованы, кардиологический риск куда-то исчез. Там был промежуточный анализ сердечных приступов и язвы, где язвы считались дольше, чем сердечные приступы. Это не было описано в публикации, и в результате преимущество Vioxx в отношении язв было преувеличено, а риск сердечных приступов преуменьшен. «Эта неприемлемая деталь плана клинических испытаний, которая, несомненно, исказила результаты, не стала известной издателям и научным авторам исследования», – отмечалось в большой и необычно критической редакционной статье в «Медицинском журнале Новой Англии» ( New England Journal of Medicine). Было ли это проблемой? Безусловно. Например, еще три инфаркта миокарда произошли в группе Vioxx в течение месяца после того, как перестали фиксироваться сердечные побочные эффекты, в то время как в группе, принимавшей напроксен, за этот период произошел только один инфаркт.

Внутренний меморандум от Эдварда Скольника (Edward Scolnick), главного исследователя компании, показывает, что производителю было известно о кардиологическом риске («Это позор, но частота была низкая, и риск оказался зависимым от механизма лекарства, как мы и опасались»), «Медицинский журнал Новой Англии» не был этим удовлетворен и напечатал пару демонстративно критических статей.

Тревожное увеличение риска сердечных приступов на самом деле было обнаружено людьми, которые исследовали данные FDA; это то, чего врачи стараются не делать – во всяком случае, когда читают научные статьи. В попытке объяснить умеренное повышение риска сердечных приступов, которое можно было обнаружить в итоговой статье, авторы предложили «напроксеновую гипотезу»: Vioxx не вызывал сердечных приступов, зато напроксен их предотвращал. Тем не менее нет никаких доказательств, что напроксен обладает профилактическим действием против сердечных приступов.

Во внутреннем меморандуме, который обсуждался достаточно подробно в статьях, посвященных этому случаю, говорилось, что компания была обеспокоена. В конце концов, появилось больше доказательств вреда Vioxx, и препарат был отозван с рынка в 2004 году. Однако анализ FDA показал, что за пять лет продаж это лекарство вызвало от 88 000 до 139 000 сердечных приступов, от 30 до 40 % которых, возможно, были фатальными.

Трудно сказать, можно ли доверять этой цифре, но судя по тому, как информация вышла наружу, чувствуется, что и сама компания Merck, и FDA могли бы сделать гораздо больше, чтобы уменьшить вред, нанесенный за годы использования лекарства, после того как им стали очевидны возможные риски. Трудно переоценить значение данных в медицине: они означают жизни людей. Фирма «Мерк» не признала ответственности и предложила урегулировать вопрос в США за 4,85 миллиарда долларов.

Авторы, которым запрещают публиковать данные

Все это звучит достаточно мрачно. Какие исследователи этим занимаются и почему мы не можем их остановить? Некоторые из них, конечно, обманщики. Но на многих оказывают давление, запрещая им раскрывать информацию об испытаниях, которые они проводят на средства фармацевтических компаний.

Вот два экстремальных примера того, что, как это ни трагично, является достаточно распространенным явлением. В 2000 году американская компания выдвинула обвинение против ведущих исследователей и их университетов в попытке заблокировать публикацию исследования вакцины против ВИЧ, в котором обнаружилось, что эта вакцина действует не лучше, чем плацебо. Исследователи считали, что они должны проинформировать об этом пациентов. Компания считала иначе. Результаты были опубликованы в «Журнале Американской медицинской ассоциации» в том же году.

Второй пример. Нэнси Оливьери (Nancy Olivieri), директор программ по гемоглобинопатиям в Торонто, проводила клинические испытания деферипрона, препарата, удаляющего излишек железа из организма пациентов, у которых возник его избыток в результате многочисленных переливаний крови. Она забеспокоилась, когда увидела, что концентрация железа в печени у некоторых пациентов недостаточно контролировалась и был превышен порог безопасности для сердечно-сосудистых заболеваний и преждевременной смерти. Более обширные исследования заставили предположить, что деферипрон может ускорить развитие фиброзных изменений в печени.

Фармацевтическая компания Apotex неоднократно письменно угрожала Оливьери, что, если она опубликует эти данные и свои опасения, они подадут на нее в суд. С большим мужеством – и, к стыду университета, без его поддержки – Оливьери представила свои результаты на нескольких научных конференциях и в академических журналах. Она считала себя обязанной поделиться своими данными и опасениями, невзирая на личные последствия. Необходимо сделать все, чтобы ученым не приходилось в одиночку принимать такие решения.

Одно-единственное недорогое решение всех проблем во всем мире

Поистине необыкновенно, что почти все эти проблемы – замалчивание отрицательных результатов, манипуляции с данными и тому подобное – могли бы быть решены с помощью одного очень простого акта, который не будет стоить практически ничего: введения реестра клинических испытаний, публичного, открытого и обязательного для всех. Вот как он будет работать. Вы – фармацевтическая компания. Прежде чем вы начнете ваше исследование, вы публикуете его протокол в каком-нибудь публичном издании. Это означает, что любой может увидеть, что вы собираетесь делать в ваших исследованиях, что именно вы собираетесь определить, сколько будет участников и т. д. еще до начала испытаний.

Проблемы тенденциозности в публикациях, повторные публикации, скрытые данные о побочных эффектах, которые приводят к необязательным смертям и страданиям, – все это будет искоренено одним махом. Если вы зарегистрировали испытание и провели его, но оно не появилось в литературе, это сразу будет очевидно. Естественно, что все подумают, что вам есть что скрывать (возможно, они будут правы). Сейчас тоже есть реестры испытаний, но они в полном беспорядке.

Насколько там отсутствует порядок, видно из примера с последней уловкой фармацевтических компаний: сменой целей.

В 2002 году компании Merck и Schering Plough начали испытания эзетимиба, лекарства, предназначенного для снижения холестерина. Сначала они заявили, что собирались измерять один параметр: работает ли лекарство, но затем, когда были получены результаты, они сказали, что на самом деле измеряли совершенно другие вещи. Это было замечено, и они получили публичный выговор. Почему? Потому что если вы измеряете много параметров (как они и делали), некоторые могут оказаться положительными просто случайно. Вы не можете найти вашу стартовую гипотезу в конечных результатах. Это делает всю статистику ненадежной.

Реклама

«Таблетки кломикалма являются единственным лекарством, одобренным для лечения беспокойства у собак».

В Великобритании нет рекламы лекарств, адресованной непосредственно покупателю, и это позор, поскольку американская реклама чрезвычайно любопытна, особенно телевизионные ролики. У вас все валится из рук, ваши беспокойные ноги/ мигрень/холестерин вас замучили, вы страдаете, жизнь потеряла смысл. Затем вы принимаете правильную таблетку, и экран вдруг становится ярким, теплого желтого цвета, бабушка смеется, дети смеются, собака машет хвостом, ребенок, который мучился животом, играет на лужайке со шлангом, водяные струи сияют радугой на солнце, а он смеется, и все родственники счастливы. Жизнь прекрасна.

Пациенты гораздо легче подпадают под влияние рекламных роликов, чем врачи, поэтому бюджет рекламы, адресованной непосредственно потребителю, растет в Америке в два раза быстрее, чем бюджет информации для врачей. Эти рекламные ролики были тщательно изучены медиками, и неоднократно было показано, что они существенно увеличивают спрос на рекламируемое лекарство, и врачам чаще приходится его прописывать. Даже реклама, которая призвана информировать о какой-либо болезни, хотя и находится в Канаде под строгим контролем, вдвое увеличивает спрос на лекарства от этой болезни.

Вот почему фармацевтические компании стремятся спонсировать группы пациентов и размещать в СМИ свою рекламу. Недавние истории в новостях, превозносящие лекарство от рака молочной железы герцептин или лекарство от болезни Альцгеймера с пограничной эффективностью, тому подтверждение.

Группы в защиту лекарств громко требуют в СМИ, чтобы лекарства финансировались Государственной службой здравоохранения. Я знаю людей, связанных с этими группами – ученых, которые высказывались открыто и пытались изменить свою позицию, но безуспешно: в случае с британской кампанией в защиту лекарства от болезни Альцгеймера требования были очень односторонними. Национальный институт клинического совершенствования заключил, что не может санкционировать оплату этого лекарства, отчасти из-за того, что данные о его эффективности были недостаточными и основанными на слабых, суррогатных результатах. Данные действительно были слабыми, поскольку фармацевтические компании не смогли подвергнуть лекарства достаточно жестким испытаниям, испытаниям, которые бы не столь явно гарантировали положительный результат. Стало ли это стимулом для производителей, чтобы провести более тщательные испытания? Устраивают ли члены этой инициативной группы в поддержку лекарства против болезни Альцгеймера пикеты с плакатами, протестующими против суррогатных результатов и требующими честных испытаний? Нет.

О господи! Все плохо. Как дела могли пойти настолько ужасно?