Ешь шоколад, худей! В марте 2015 года результаты нового исследования, проведенного учеными из Германии, наделали шума, заявив, что шоколад может быть частью режима похудения. Исследование, проведенное неким Йоханнесом Боханноном, директором по исследованиям некоммерческого Института диеты и здоровья, показало, что добавление шоколада к низкоуглеводной диете фактически увеличивает потерю веса.
Единственная проблема заключалась в том, что исследование было полностью фальшивым. Йоханнес Боханнон на самом деле был научным журналистом по имени Джон Боханнон. Бохэннон придумал исследование, чтобы продемонстрировать, как мало средств массовой информации занимаются проверкой фактов, когда речь идет о научных репортажах.
Хотя "исследование" произвело фурор в бульварных СМИ, мало кто из авторитетных СМИ освещал его. Может быть, это потому, что они распознали контрольные признаки поддельного исследования. Давайте узнаем, что это такое.
10: Это неповторимо
Все занимаются. Когда вы видите, как младенцы снова и снова роняют свои чашки-непроливайки со стульчиков для кормления, они участвуют в одном из самых важных экспериментов в своей жизни. Объект их расследования? Гравитация.
Сколько бы мы ни роняли чашки, они всегда падают на землю. Тот факт, что этот эксперимент можно повторять бесконечно и с тем же результатом, является одним из основных принципов любого исследования. Какими бы убедительными ни были результаты исследования, если его не могут повторить другие исследователи, это означает, что оно не может быть подтверждено.
Чтобы указать на эту проблему, Центр открытой науки координировал 270 исследователей в масштабном проекте по воспроизведению результатов 100 опубликованных исследований в области психологии. В 2015 году, после многих лет работы, Центр сообщил, что более половины исследований невозможно повторить, потому что собранные для них доказательства не так убедительны, как утверждалось изначально.
Одно из исследований, которые они тестировали, например, было разработано, чтобы определить, труднее ли мужчинам отличить сексуальные сигналы от дружелюбия. Следуя структуре первоначального исследования, Центр открытой науки показал испытуемым серию фотографий женщин с разным выражением лица.
В то время как первоначальное исследование показало, что мужчины действительно были дураками в распознавании сигналов, последующие тесты исследования не смогли воспроизвести эти результаты. Неясно, произошло ли это из-за культурных различий между первым и вторым исследованиями (одно исследование проводилось в Великобритании, другое в США) или из-за времени, прошедшего между исследованиями. В любом случае, находка, которую невозможно воспроизвести, не является находкой на века.
9: Это правдоподобно, но недоказуемо
Очень серьезные люди в белых лабораторных халатах, задумчиво склонившиеся над пробирками - вот образ, который часто приходит на ум, когда мы думаем о научном исследовании. Но это только один вид исследования - лабораторный эксперимент.
Другой вид исследования называется «наблюдательным». Это когда исследователи находят группу испытуемых, задают им много вопросов, записывают ответы, а затем «анализируют» результаты, чтобы посмотреть, что они найдут.
Давным-давно обсервационные исследования показали, что наличие личности «типа А» повышает риск сердечного приступа. Но последующие рандомизированные клинические испытания не смогли повторить эти результаты, и теперь известно, что первоначальный вывод был полностью ложным. Как это произошло?
Наблюдения, конечно, могут быть чрезвычайно полезными и поучительными. Но есть вероятность получения вводящих в заблуждение результатов. Одна из проблем заключается в том, что статистически значимые результаты можно получить случайно примерно в 5 % случаев. Поэтому, если вы зададите достаточно вопросов (а иногда эти исследования могут включать тысячи вопросов), данные могут показаться важными. Но при последующем просмотре или попытках повторить исследование результаты могут быть другими.
8: Образцы некачественные
Срочные новости: новое исследование показывает, что то, как вы потеряли девственность, будет иметь важное влияние на то, как вы будете заниматься сексом навсегда.
Удивительные результаты странных исследований в наши дни регулярно появляются в новостях. Но если вам удастся заполучить настоящее исследование, дизайн проекта может удивить вас даже больше, чем результаты.
Изюминка исследования девственности 2013 года в том, что его испытуемые были чрезвычайно однородны. На самом деле, как оказалось, обычно так бывает, когда речь идет об исследованиях в области психологии и социальных наук.
Поскольку многие из этих исследований проводятся учеными, типичной выборкой для таких исследований являются - сюрприз, сюрприз - студенты колледжей. Это делает их СТРАННЫМИ - акроним для западных, образованных и из промышленно развитых, богатых и демократических стран. Другими словами, он не совсем репрезентативен для глобального общества в целом.
Что еще хуже, в исследовании девственности исследователи исключили людей, которые пережили насильственные первые контакты, а также всех, кто вступал в какие-либо отношения, кроме гетеросексуальных отношений.
Так что в следующий раз, когда вы услышите экстренные новости об еще одном удивительном открытии человеческого поведения и опыта, отнеситесь к этому с долей скептицизма, поскольку вам интересно, кого именно изучали.
7: Чего-то не хватает
Скажем, вы проводите испытания нового препарата для предотвращения инсульта. У вас есть 20 мышей: 10 получают лекарство, а остальные 10 входят в вашу контрольную группу. Это небольшая учебная группа, очень маленькая, но тогда ваш бюджет невелик, и в наши дни все так делают.
Семь из ваших подопытных мышей чувствуют себя очень хорошо, но, к сожалению, трое из них умирают от массивных инсультов. Что вы делаете? Простой. Просто исключите их из результатов. Да, верно, когда будете строить свои диаграммы и графики, только не упоминайте умерших грызунов. В наши дни все так делают.
Это действительно произошло. На самом деле, оказывается, что действительно постоянно происходит в исследованиях на животных. К счастью, в данном конкретном случае ученый, которого попросили просмотреть исследование, не пропустил его. Он указал, что три мертвые мыши были жизненно важными элементами исследования. Действительно, они показали, что новое лекарство может быть скорее вредным, чем полезным.
Ученый Ульрих Дирнагл и его коллега по имени Малкольм Маклауд бьют тревогу по поводу нестрогих стандартов, обнаруженных во многих исследованиях на животных. Будем надеяться, что их сообщение дойдет.
6: Predatory Publishers
Вот вы, молодой врач, начинаете свою карьеру, когда вы получаете электронное письмо от «Журнала клинических случаев» с просьбой представить несколько статей. Как это бывает, у вас есть несколько интересных случаев, о которых нужно сообщить, поэтому вы записываете их и отправляете. К вашему удовольствию, они приняты. Приятное дополнение к вашему резюме.
Затем приходит счет - в журнале написано, что вы должны им 2900 долларов! Потрясенный, вы пишете в ответ, что никогда не слышали о взимании платы за публикацию и не собираетесь платить. Они все равно публикуют ваши статьи, предлагая уменьшить ваш счет до 2600 долларов. После года споров журнал наконец соглашается «простить» ваш так называемый долг.
Добро пожаловать в дивный новый мир грабительских публикаций, неожиданное следствие движения за открытый доступ, направленного на то, чтобы сделать научные результаты более доступными. Джеффри Билл, библиотекарь-исследователь, ведет учет публикаций, которые он считает грабительскими. Он считает, что их может быть до 4000 - это 25 процентов всех журналов открытого доступа.
Достаточно сказать, что издатели-хищники больше заботятся о своей прибыли, чем о научной строгости. Если исследователи могут платить, они могут быть опубликованы, независимо от качества их работы. В результате количество опубликованных сомнительных исследований многократно увеличилось. Если вы не являетесь экспертом в определенной области, может быть трудно сказать, какая наука достоверна, а какая ерунда.
Как известно, чтобы продвинуться в научных кругах, ученые должны публиковаться или погибнуть. Неудивительно, что в такой атмосфере процветает хищническое издательское дело. Покупатель (и читатель) берегитесь!
5: Это доказывает правоту (следуйте за деньгами)
Однажды вы решили попробовать новую марку жевательной резинки, но вскоре после того, как засунули ее в рот, у вас пошла крапивница. В отделении неотложной помощи врач сообщает вам, что анализы крови показывают аллергию на какой-то компонент новой жевательной резинки. Но предположим, что вы странно упрямы, и допустим, вам очень понравилась эта жевательная резинка. О, и вы решаете посетить еще девять врачей.
Восемь из девяти согласны с первым. Но один врач-одиночка говорит, что нет, это не жвачка, это просто совпадение. На самом деле, он думает, что у вас может быть аллергия на жевание, ходьбу или ходьбу и жевание одновременно. Вам нравится его ответ, и вам нравится его модный офис, но вы начинаете задаваться вопросом, как он заплатил за это.
При попытке выяснить, является ли исследование фиктивным, не помешает здравый смысл. Если 99,9% экспертов в данной области говорят одно, а горстка других не соглашается, посмотрите, откуда берутся деньги скептики. Другими словами, следуйте за деньгами.
Вилли Сун - один из немногих исследователей, которые отрицают, что деятельность человека имеет какое-либо отношение к изменению климата. Тот факт, что он работает в Гарвард-Смитсоновском центре астрофизики, придает его мнению определенную степень престижа. Однако у Центра астрофизики отношения с Гарвардом на расстоянии вытянутой руки, и исследователи там не получают зарплату и не получают денег от университета.
На самом деле оказывается, что основная часть финансирования Сун поступает из таких источников, как Exxon Mobil и Американский институт нефти, в том числе в энергетическом секторе. Другими словами, люди, оплачивающие исследования Сун, - это те самые люди, которые вложили больше всего средств в опровержение ответственности человека за изменение климата. Хотя Сун настаивает, что источник его финансирования не имеет никакого отношения к его исследованиям, оптика не в его пользу.
4: Самопроверка
Экспертная оценка: это основа авторитетных научных публикаций. Идея состоит в том, что если исследование было тщательно изучено и одобрено другим исследователем в той же области, то оно достаточно достоверно для публикации в уважаемом журнале. Но эта идея верна только в том случае, если сама система рецензирования заслуживает доверия.
Хинунг-Ин Мун, исследователь лекарственных растений из университета в Южной Корее, имел удачу с обзорами исследований, которые он публиковал в «Журнале ингибирования ферментов и медицинской химии»." Помимо нескольких предложений о том, как улучшить его статьи, они были быстро одобрены. Очень быстро. Фактически, рецензии иногда возвращались редактору журнала в течение 24 часов после их отправки.
Заподозрив что-то, редактор спросил Муна, что происходит. Исследователь признался - эти быстрые одобрительные отзывы исходили не от кого иного, как от него самого. Следуя обычной практике, журнал попросил Муна предложить некоторых потенциальных рецензентов. Когда он это сделал, он дал им комбинацию настоящих и вымышленных имен с поддельной контактной информацией, включая адреса электронной почты, которые пришли в почтовый ящик Муна.
Оказывается, некоторые из систем, настроенных для рецензирования, имеют подобные лазейки, и случай самопроверки Муна не является изолированной аномалией. Это оставляет нам возможность того, что некоторые из рецензируемых исследований, о которых мы слышим, на самом деле могут быть менее известными.
3: Батареи разряжены
Область неврологии находится в захватывающей фазе с новой мощной технологией, способной анализировать мозг с постоянно возрастающей точностью. Например, с помощью сканирования в ряде различных исследований рассматривалась взаимосвязь между психическим здоровьем и аномальным объемом мозга. Многие, а на самом деле большинство из них, обнаружили корреляцию.
Но подавляющая скорость, с которой эти исследования продолжали подтверждать друг друга, возбудила любопытство исследователя Джона Иоаннидиса. Проанализировав данные, он обнаружил, что все эти исследования, взятые вместе, имели среднюю статистическую мощность 8. Звучит низко, и это так. Но что это значит?
Статистическая мощность исследования относится к размеру использованных выборок и тому, насколько велики или малы были результаты. Сильно упрощая, если вы изучите 10 000 курильщиков и 10 000 некурящих и обнаружите, что у 50 % курильщиков развился рак легких, а у некурящих - только у 5 %, то ваше исследование будет иметь очень высокую мощность. У вас была огромная выборка, и результаты тоже были огромными.
Но если вы изучите 10 курильщиков и 10 некурящих и обнаружите, что у двоих из них развился рак легких, а у одного из некурящих - тоже, то у вас крайне слабое исследование. Размер выборки настолько мал, что разница между двумя группами не имеет значения.
Справедливости ради следует отметить, что большинство исследований, обвиняемых в малой мощности, не так смехотворно слабы, как этот вымышленный пример. Но в последние годы заинтересованные исследователи сообщают о преобладании исследований с недостаточной мощностью. Их сообщение? Пришло время включиться!
2: Это слишком ново
Каждый день мы слышим о новом исследовании, которое показало, что витамины X, Y или Z предотвращают рак, болезнь Альцгеймера или аутоиммунные расстройства, и мы спешим купить их в огромных количествах. Прежде чем выделить еще одну модную добавку, было бы разумно откинуться на спинку кресла и немного подождать, чтобы посмотреть, подтвердят или опровергнут последующие исследования ее ценность.
СМИ процветают на последних и новейших. Но когда дело доходит до науки, новизна - это не всегда хорошо. Часто это просто означает, что захватывающие результаты неожиданного нового исследования слишком новы, чтобы их еще можно было опровергнуть. Загляните сюда через пару лет и посмотрите, сколько результатов исследований хедлайнеров выдержали испытание временем.
С точки зрения исследований, многое из того, о чем сообщают СМИ, является «первоначальными выводами». Первоначальные выводы - это просто первоначальные. Они должны быть подтверждены дополнительными исследованиями, чтобы увидеть, можно ли воспроизвести результаты. Часто этого не может быть, но СМИ редко сообщают об отрицательных результатах исследований. Это потому, что они никогда не бывают так популярны, как захватывающие новые открытия.
1: Это классная история
Апрельский номер журнала Nature, одного из самых престижных и авторитетных научных журналов в мире, за 2015 год поразил своих читателей необычными результатами нового исследования. В нем говорилось, что драконы - это не мифические продукты досовременного воображения, а реальные существа, которые существуют в спящем состоянии со времен Средневековья. Одно из самых тревожных открытий заключалось в том, что были доказательства того, что эти древние звери вот-вот проснутся.
Дата публикации является очевидным намеком на то, что эта статья была продуманной первоапрельской шуткой. Но, несмотря на фарсовый характер статьи, она указывает на важную черту научной журналистики - люди любят хорошие истории. Ученые это знают. Даже публикация статьи в научном журнале может потребовать создания «красивой истории», объясняющей результаты. И чем лучше история, тем больше вероятность того, что основные СМИ ее осветят.
Но научные исследования не всегда приводят к хорошим историям. На самом деле, чаще всего это не так. Многие важные исследования крайне неубедительны. В лучшем случае это может дать нам временное окно для возможной истины. Как правило, это говорит нам мало или вообще ничего. Так что, когда дело доходит до науки, остерегайтесь хороших историй, драконов или нет.
Примечание автора: 10 признаков того, что исследование является подделкой
Я такой же циничный, как и любой другой человек, но исследования, необходимые для этой статьи, меня не раз шокировали. Как и у большинства людей, у меня наука ассоциируется со строгостью, поэтому я был обескуражен, когда узнал о некоторых дрянных, небрежных и скомпрометированных работах. Но я полагаю, я не должен быть. Ученые - это не роботы, работающие в герметично закрытой среде. Они так же подвержены продажности и культурным тенденциям, как и все остальные. И, в конце концов, я ушел с еще большим уважением к способу исследования, который контролирует себя в той же степени, что и наука. Там много плохой науки, но люди, которые разоблачают, - ученые!