Обман в науке - Голдакр Бен - Страница 48

Полностью игнорируйте протокол

Всегда допускайте, что любая зависимость доказывает причинную связь. Внесите все ваши данные в программу и сообщайте — как о чем-то важном — о любой взаимосвязи между всем чем угодно, если это работает на вас. Если вы измерите все, то что-то, несомненно, окажется положительным, просто благодаря случаю.

Манипулируйте с линией отсчета

Иногда, когда вы начинаете испытания, группа, получающая лечение, уже чувствует себя лучше, чем группа плацебо. Если это так, то оставьте все как есть. Если, с другой стороны, плацебо- группа чувствует себя лучше в начале испытаний, подправьте линию отсчета в вашем анализе.

Игнорируйте выбывших

Люди, которые выбывают из испытаний, с точки зрения статистики, скорее всего, чувствуют себя хуже, и у них, вероятно, наблюдаются побочные эффекты. Они только испортят имидж вашего лекарства. Поэтому игнорируйте их, не пытайтесь их вернуть и не включайте в ваш окончательный анализ.

Подчистите данные

Посмотрите на ваши графики. Там наверняка найдутся аномалии, или точки, которые располагаются далеко от остальных. Если они не в вашу пользу, исключите их. Если они помогают поддержать имидж вашего лекарства, оставьте их на месте, даже если это выглядит неправдоподобно.

Пять… нет, семь… нет, девять!

Если разница между вашим лекарством и плацебо становится значительной через четыре с половиной месяца, а испытание запланировано на шесть, прекратите испытание досрочно и зафиксируйте результаты: они могут стать менее впечатляющими, если вы продолжите. И наоборот, если через шесть месяцев результаты будут «почти положительными», продолжите испытания еще на три месяца.

«Помучайте» данные

Если результаты совсем плохи, попробуйте вернуться назад и посмотреть: может быть, в какой-нибудь подгруппе они другие. Вдруг вы обнаружите, что лекарство хорошо работает на китайских женщинах в возрасте от 52 до 61 года? «Помучайте данные, и они во всем сознаются», — как говорят в тюрьме Гуантанамо.

Понажимайте все кнопки на компьютере

Если вы в отчаянии, и анализ данных тем способом, который вы планировали, не дает нужных вам результатов, попробуйте другие статистические анализы, даже если они сюда совершенно не подходят, просто наугад.

И когда вы закончили, самое главное — это напечатать ваши результаты с умом. Если испытания удались, смело печатайтесь в самом крупном журнале, какой только сможете найти. Если результаты положительные, но вы слегка слукавили и это может выйти наружу, тогда печатайте их в малоизвестном журнале (который пишется и издается исключительно промышленностью): помните, что все уловки, которые мы только что описали, ничего не скрывают, и станут явными для любого, кто прочитает вашу статью, но только при внимательном чтении, поэтому в ваших интересах, чтобы никто не читал дальше введения. И наконец, если ваши результаты действительно смущают, спрячьте их подальше и ссылайтесь на них как на «данные в файле». Никто не будет знать ваши методы, и их заметят, только если кто-нибудь начнет их искать для систематического обзора. Остается надеяться, что это произойдет нескоро.

Как это возможно?

Когда я объясняю эти манипуляции с результатами своим друзьям, которые не являются медиками или учеными, они очень удивляются. «Как же это возможно?» — спрашивают они. Во-первых, многие плохие исследования объясняются некомпетентностью. Но многие методологические ошибки, описанные выше, представляют собой намеренный обман. Можно ли разоблачить грязную игру?

На индивидуальном уровне иногда чрезвычайно трудно доказать, что испытание было намеренно подделано, чтобы продемонстрировать результаты, нужные спонсорам. Но в целом картина вырисовывается довольно ясно. Этот вопрос так часто изучался, что в 2003 году один систематический обзор обнаружил 30 исследований, целью которых было посмотреть, влияет ли финансирование в разных группах испытаний на их результаты. Исследования, финансируемые фармацевтическими компаниями, как было показано, в четыре раза чаще независимых давали результаты, благоприятные для компаний.

Один обзор тенденциозных исследований рассказывает историю, поистине достойную «Алисы в стране чудес». Было найдено 56 различных испытаний, сравнивающих обезболивающие препараты, такие как ибупрофен, диклофенак и т. д. Люди часто изобретают новые версии этих лекарств в надежде, что у них будет меньше побочных эффектов или они будут обладать более сильным действием (или что их можно будет запатентовать и заработать деньги). В каждом испытании лекарство, произведенное спонсором, оказывалось лучше или по крайней мере не хуже, чем остальные, участвовавшие в исследовании. Ни в одном случае оно не оказалось хуже остальных. Философы и математики говорят о «переходности»: если А лучше В, а В лучше С, то С не может быть лучше, чем А. Но обзор 56 испытаний показал полный абсурд: все эти лекарства были лучше друг друга.

Но за углом нас ждет еще один сюрприз. Как ни удивительно, когда исследовались методологические недостатки, оказалось, что испытания, которые финансировались фармацевтической индустрией, использовали лучшие исследовательские методы, чем независимые испытания. Самое большее, что можно было предъявить фармкомпаниям, это такие мелочи, как использование неадекватных доз лекарств-конкурентов (как говорилось выше) или заявления в разделе «Выводы», которые преувеличивали положительность результатов. Но это были легко обнаруживаемые недостатки: нужно было только прочитать отчет об испытании, чтобы увидеть, что исследователи давали маленькую дозу обезболивающего; всегда следует читать разделы «Методы» и «Результаты», чтобы судить о данных исследования, поскольку разделы «Обсуждение» и «Выводы» в конце похожи на комментарии в газетах. Из них вы не узнаете ничего нового.

Как же мы можем объяснить тот факт, что результаты испытаний, финансируемых фармкомпаниями, часто такие блестящие? Каким образом все их лекарства одновременно оказываются лучшими? Самое главное может произойти после окончания испытаний.

Тенденциозность публикаций и подавление отрицательных результатов

Тенденциозность публикаций — это очень интересный и очень человеческий феномен. По ряду причин положительные результаты с большей вероятностью будут опубликованы, чем отрицательные. Это легко понять, если вы поставите себя на место исследователей. Во-первых, если результат отрицательный, вы чувствуете, что зря потеряли время. Легко убедить себя в том, что вы ничего не нашли, хотя в действительности вы нашли очень полезную информацию: вы узнали, что вещь, которую вы тестируете, не работает.

Правильно это или нет, но получение данных о том, что что- то не работает, конечно, не принесет вам Нобелевской премии — нет на свете справедливости, — поэтому у вас могут пропасть мотивация работать над этим проектом и появиться новые приоритеты. Вы не захотите публиковать свои отрицательные результаты в академическом журнале, и ваши данные будут пылиться на дне ящика письменного стола. Пройдут месяцы. Вы получите новый грант. Чувство вины вас будет иногда беспокоить, но понедельник — ваш день в клинике, значит, неделя начинается во вторник, а в среду встреча в департаменте, поэтому четверг — это единственный день, когда вы можете поработать, а в пятницу вы читаете лекции, и так пройдет год, ваш шеф уйдет на пенсию, а новый даже не будет знать о том, что проводился эксперимент, и так отрицательные результаты будут забыты навсегда. Если вы улыбаетесь, читая этот абзац, потому что узнали себя, то вы очень плохой человек.

Даже если вы опубликуете свои отрицательные результаты, это не будет новостью. Вы, вероятно, не сможете опубликовать их в самом известном журнале, если только это не крупные испытания чего-то, что обещало сенсацию, пока ваш отрицательный эксперимент все не испортил. Это уважительная причина, чтобы вы особенно не суетились, и это также означает, что весь процесс отложится на неопределенное время: ленивым журналам может потребоваться год, чтобы отвергнуть вашу статью. Каждый раз, когда вы будете подавать статью в разные журналы, вам придется переформатировать ссылки (часы утомительного труда). Если вы замахиваетесь высоко и получаете несколько отказов, могут пройти годы, пока статья выйдет, даже если вы очень старались, и все эти годы люди не будут знать о ваших исследованиях.