Обман в науке - Голдакр Бен - Страница 49

Тенденциозность публикаций весьма распространена и в некоторых областях встречается чаще, чем в других. В 1995 году только 1 % всех статей, опубликованных в журналах альтернативной медицины, содержал отрицательные результаты. Самая последняя цифра — это 5 % отрицательных публикаций. Это очень низкий процент, хотя, если быть честным, могло быть и хуже. Обзор 1998 года охватил весь спектр исследований китайской медицины и не нашел ни одной публикации, описывающей отрицательные результаты. Ни одной. Вы видите, почему я использую нетрадиционную и альтернативную медицину (НиАМ) как учебное пособие для изучения доказательной медицины.

В целом тенденциозность публикаций не проявляется так откровенно, и вы можете получить представление о том, что она существует в данной области, сделав очень умную вещь под названием funnel plot (диаграмма в виде воронки). Это потребует на короткое время вашего внимания.

Если есть множество исследований на одну тему, они должны дать слегка отличные друг от друга результаты, но можно ожидать, что все они будут близки к правильному. Вы также можете ожидать, что результаты более крупных испытаний с большим количеством участников и лучшими методами будут сосредоточены вокруг правильного ответа и ближе к нему, чем результаты мелких испытаний, а они, в свою очередь, будут разбросаны дальше, положительные и отрицательные, поскольку для исследования, скажем, с двадцатью участниками достаточно трех фальшивых результатов, чтобы сделать неправильные выводы.

Диаграмма в виде воронки помогает представить это наглядно. Вы обозначаете эффект на оси X слева направо. Затем на оси Y (сверху вниз) вы показываете, насколько большим было исследование, или каким-нибудь другим способом измеряете его точность. Если в публикациях нет никакого уклона, вы увидите прелестную перевернутую воронку: крупные, точные испытания будут сосредоточены вокруг ее вершины, а затем, по мере движения вниз, мелкие и менее точные будут постепенно распространяться вправо и влево, по мере снижения их точности — как положительные, так и отрицательные.

Уровень риска (смертность)

Однако если в публикациях есть тенденциозность, результаты будут асимметричными. Мелкие, некачественные отрицательные испытания будут отсутствовать, поскольку их будут игнорировать. Кажется, никто ничего не потеряет, если результаты этих крошечных, неубедительных испытаний так и останутся на дне ящика письменного стола, — таким образом, опубликованными оказываются только положительные результаты. Эта тенденциозность не только была продемонстрирована во многих областях медицины: одна статья обнаружила доказательства тенденциозности в самих исследованиях тенденциозности в публикациях. Вот воронкообразная диаграмма этой статьи. Такова ирония доказательной медицины.

Самый неприятный недавний случай этого явления — это исследования антидепрессантов СИОЗС, как было показано в различных статьях. Группа ученых в начале 2008 года опубликовала статью в «Медицинском журнале Новой Англии» (New England Journal of Medicine), где были перечислены все испытания СИОЗС, которые были официально зарегистрированы Управлением по контролю за качеством пищевых продуктов и лекарственных средств, и изучила эти испытания в научной литературе. Тридцать семь испытаний были оценены управлением как положительные: за исключением одного, все они были правильно описаны и опубликованы. Двадцать два испытания, которые показали отрицательные или неопределенные результаты, просто не были опубликованы, а одиннадцать были описаны и опубликованы таким образом, что их результаты выглядели положительными.

Это более чем нахально. Врачам нужна достоверная информация, если мы хотим, чтобы они принимали правильные и безопасные решения, когда прописывают лекарства. Утаивание от них этой информации и обман — это моральное преступление. Если бы я не писал сейчас несерьезную и забавную книгу о науке, я бы пришел в ярость.

Повторные публикации

Фармацевтические компании могут сделать лучше, чем проигнорировать отрицательные результаты. Иногда, когда испытания дают положительные результаты, они публикуют их несколько раз, в разных местах, в разных формах, так что они выглядят как разные. Это особенно легко, когда вы проводите крупное мультицентровое исследование, поскольку вы можете публиковать фрагменты испытаний по каждому центру отдельно или в разных перестановках. Это также очень удобный способ заставить данные работать на вас, поскольку читатель вряд ли сможет это проверить.

Классическое детективное расследование в этой области было проведено бдительным анестезиологом из Оксфорда Мартином Трамером (Martin Tramer), который изучал эффективность лекарства от тошноты, ондансетрона. Он заметил, что многие данные в метаанализе, который он делал, повторялись: результаты отдельных пациентов попадались ему несколько раз, в слегка отличной форме, в очевидно разных исследованиях и в разных журналах. Данные, которые показывали лекарство в наиболее выгодном свете, имели большую вероятность повторяться, чем те, которые выглядели менее убедительно, и это в конечном счете привело к переоценке эффективности лекарства на 23 %.

Сокрытие вреда

Вот так фармацевтические компании приукрашивают свои положительные результаты. А как насчет более темной стороны всего этого? Где они прячут серьезный вред?

Побочные эффекты — это жизненный факт: их следует воспринимать в контексте приносимой лекарством пользы и тщательно контролировать, поскольку непреднамеренные последствия лекарственных вмешательств могут быть очень серьезными. Громкие истории, которые привлекают всеобщее внимание, — это истории грязной игры или сокрытия фактов. Однако важные данные могут быть упущены и по более невинным причинам: вполне естественно проигнорировать тенденциозность в публикациях или не заметить беспокоящих фактов на фоне общего шума.

Лекарства против сердечной аритмии дают нам интересный пример. Люди, у которых бывают сердечные приступы, часто страдают аритмией (поскольку у них не в порядке естественный водитель сердечного ритма), и это может послужить причиной смерти. Антиаритмические препараты используются для лечения и предотвращения сбоев сердечного ритма у таких людей. Доктора подумали, что было бы неплохо давать их всем, кто перенес сердечный приступ. Это казалось разумным на бумаге, препараты выглядели безопасными, и в то время никто не знал, что на самом деле они увеличивают риск смерти в этой группе, поскольку с теоретической точки зрения это казалось нелогичным (как в случае с антиоксидантами). Но это оказалось правдой, и в середине 1980-х, на пике их использования, антиаритмические препараты вызывали количество смертей, сравнимых с общим количеством американцев, погибших во время вьетнамской войны. Информация, которая могла бы предотвратить эту трагедию, к сожалению, лежала на дне ящика письменного стола, как позже объяснил один из исследователей: «Когда мы провели наше исследование в 1980 году, мы думали, что повышенный уровень смертности был… результатом стечения обстоятельств. Разработка лекарства была прекращена по коммерческим причинам, и результаты этого исследования так и не были опубликованы. Сейчас это выглядит ярким примером тенденциозности. Результаты, описанные здесь, могли бы заранее предупредить об опасности».

Это была небрежность и предвзятое мышление. Но иногда кажется, что опасные эффекты лекарств могут быть намеренно преуменьшены или, что еще хуже, просто не опубликованы. Недавно погремел ряд скандалов, связанных с фармацевтической индустрией, по поводу того, что данные о вреде лекарств, включая Vioxx и антидепрессанты, намеренно не были оглашены. Правда вскоре вышла наружу, и тот, кто говорит, что медики не захотели выносить сор из избы, просто не в курсе ситуации. Эти данные, не забывайте, были в трех самых читаемых статьях в «Британском медицинском журнале». Стоит посмотреть на них еще раз попристальнее.