Обман в науке - Голдакр Бен - Страница 33

Вы не являетесь образовательным психологом. Вы не глава отдела образования в местном совете. Вы не доктор медицины с многомиллионным бизнесом по производству пилюль, проводящий огромное число испытаний. Но я совершенно уверен, что вы хорошо понимаете всю эту критику и озабоченность, поскольку это все-таки не строительство летательных аппаратов.

Будучи человеком наивным и открытым, я пошел к людям, проводившим испытания, и сказал им, что они сделали все, чтобы гарантировать бесполезные результаты. Это то, что сделал бы любой в академической среде, и в конце концов это были испытания. Их ответ был прост. «Мы выразились совершенно ясно, — сказал Дейв Форд, инициатор проекта. — Это не испытания».

Неубедительно. Я уличаю их в том, что они проводят плохо спланированные испытания, и вдруг оказывается, что все о’кей, потому что на самом деле это не испытания. Были и другие основания считать защиту несостоятельной. Ассоциация прессы называла это испытаниями. Газета Daily Mail называла это испытаниями. Channel 4, ITV и все остальные очень четко представляли это как исследования (можете посмотреть клипы на сайте badscience.net). Да и сам Даремский совет в своем пресс-релизе называл это «исследованием» и «испытанием» неоднократно[23].

Они давали что-то детям и измеряли результаты. Эту деятельность они сами называли испытаниями. Теперь они говорят, что это были не испытания.

Я обратился в Equazen, компанию-производитель, которую до сих пор хвалят в прессе за участие в этих испытаниях, которые должны были почти гарантированно — благодаря методологическим недостаткам, которые мы уже обсудили, — дать ложноположительные результаты. Адам Келлихер (Adam Kelliher), президент компании, разъяснил, что это была «инициатива». Это были не «исследования» и не «испытания», поэтому я не мог критиковать их как таковые. Хотя трудно игнорировать тот факт, что в пресс-релизе Equazen говорилось о том, что будут даваться капсулы и измеряться результаты, и слово, которое компания использовала для описания этого мероприятия, звучало как «испытания».

Доктор Мадлен Портвуд, проводящая исследование, называла это испытаниями (дважды — в газете Daily Mail). Все описывали это как исследование. Они давали «X» и измеряли «Y». Они называли это испытаниями, это и были испытания — но очень глупые. То, что они просто сказали: «Это не испытания», я не счел ни адекватной, ни слишком взрослой защитой. Они, похоже, даже не считали, что испытания необходимы, и Дейв Форд объяснил, что уже есть доказательства того, что рыбий жир полезен. Давайте посмотрим.

Омега-3 — это незаменимые жирные кислоты. Они называются незаменимыми, поскольку не синтезируются в организме (в отличие от глюкозы или витамина D, например), поэтому должны поступать в него с пищей. То же можно сказать о многих вещах, например витаминах, и это одна из причин, почему стоит есть разнообразную пищу, не говоря уже об удовольствии.

Омега-3 содержатся в рыбьем жире и — в слегка измененной форме — в масле энотеры, льняном масле и других источниках. Если вы посмотрите на схемы в учебнике биохимии, вы увидите там длинный список функций, которые эти молекулы выполняют в организме: они участвуют в построении клеточных мембран, некоторые молекулы вовлечены в межклеточную коммуникацию, например при воспалении. По этим причинам многие люди считают, что полезно употреблять их в больших количествах.

Есть веские основания для скептицизма, поскольку у этой идеи слишком богатая история. В прошлом, задолго до Даремских испытаний, исследования в этой области сопровождались обманом, секретностью, судебными обвинениями, отрицательными результатами, которые замалчивались или неправильно освещались в прессе; было несколько примеров того, как средства массовой информации использовались для публикации результатов и представления их непосредственно публике в обход регулирующих организаций. Мы еще вернемся к этому.

На сегодняшний день проведено — попробуйте сосчитать — шесть испытаний рыбьего жира на детях, и ни одно из них на обычных: все включали особые категории детей с различными диагнозами — дислексия, синдром дефицита внимания и гиперактивности и т. д. Три из этих испытаний продемонстрировали положительные результаты в некоторых измеряемых параметрах (но не забывайте, что в исследовании измеряются сотни параметров, некоторые из которых могут улучшиться случайно, как мы далее увидим), и три дали отрицательные результаты. Одно исследование, к удивлению всех, показало, что результаты в плацебо-группе по некоторым параметрам были лучше, чем в той, которая получала рыбий жир. Все эти испытания суммированы на сайте badscience.net.

И тем не менее: «Все наши исследования, как опубликованные, так и неопубликованные, показывают, что формула Eye Q может реально помочь улучшить школьные достижения», — говорит Адам Келлихер, президент компании Equazen. Все.

Чтобы отнестись к заявлениям такого рода серьезно, нам пришлось бы прочитать эти исследования. Я ни на секунду не хочу обвинить кого-либо в обмане: в любом случае, если кто-то подозревает обман, чтение исследования не поможет, поскольку, если результаты сфабрикованы, то потребуется судебный статистик и много времени и информации, чтобы поймать обманщиков за руку. Но нам не нужно читать опубликованные исследования, чтобы установить, являются ли выводы, сделанные букмекерами от исследований, значимыми или там есть методологические ошибки, которые делают их интерпретацию продуктом предвзятого мышления, некомпетентности или, возможно, просто суждением, с которым вы не согласны.

Среди интересов Поля Брока (Paul Вгоса), французского ученого-краниолога XIX века (его имя носит поле Брока, участок лобной доли мозга, отвечающий за речь и часто повреждающийся при инсультах), была привычка измерять мозг, и его всегда возмущал тот факт, что немецкие мозги были граммов на сто тяжелее, чем французские. Поэтому он решил, что при измерении веса мозга во внимание должны приниматься другие факторы, например общий вес тела: это объясняло, к его удовлетворению, больший вес немецких мозгов. Но для своей выдающейся работы о том, что у мужчин мозг больше, чем у женщин, он такой поправки не сделал. Случайно или намеренно, кто знает?

Чезаре Ломброзо (Cesare Lombroso), пионер биологической криминологии, живший в XIX веке, был столь же непоследователен в выводах из своих исследований, считая нечувствительность к боли среди преступников и «низших рас» признаком примитивной натуры, но рассматривая то же самое качество у европейцев как доказательство храбрости и мужества. Дьявол кроется в деталях, вот почему ученые описывают свои методы и результаты в академических журналах, а не в газетах или телепередачах, и вот почему экспериментальные исследования не могут быть описаны исключительно в средствах массовой информации.

Вы можете почувствовать после всей этой чуши об испытаниях, что мы должны быть осторожны по поводу оценки Даремом и компанией Equazen их собственной работы, но такие же подозрения могут возникнуть и по поводу исследований серьезных ученых (они с пониманием отнесутся к этим подозрениям, и я смогу прочитать данные об их исследованиях). Я попросил компанию Equazen дать мне почитать об их двадцати исследованиях с положительными результатами, и мне сказали, что для этого я должен буду подписать соглашение о конфиденциальности — и это чтобы посмотреть данные исследований, широко рекламируемых СМИ и Даремским советом, исследований, касающихся такой противоречивой области, как питание и поведение, вызывающих такой интерес у публики, исследований, проводимых (простите, если я становлюсь здесь слишком сентиментальным) на наших школьниках. Я отказался[24].

Тем временем во всех газетах и на телевидении, куда бы вы ни посмотрели, по крайне мере с 2002 года, были отчеты о положительных испытаниях в Дареме, с использованием продуктов фирмы Equazen. Казалось, что было проведено с полдюжины испытаний в разных местах на учащихся государственных школ Дарема, однако в научной литературе не было ни одной публикации (кроме одного исследования, проведенного ученым из Оксфорда на детях с нарушениями координации). Были оптимистические пресс-релизы Даремского совета, которые говорили о положительных результатах. Были интервью Мадлен Портвуд в прессе, в которых она с энтузиазмом говорила о положительных результатах (а также о том, что рыбий жир улучшает состояние кожи у детей и решает другие проблемы) — но никаких опубликованных исследований.