Аритмия, нерегулярный сердечный ритм, часто встречается во время и вскоре после сердечного приступа и может привести к ранней смерти. Вот почему, когда в начале 1980-х стали доступны антиаритмические препараты, они казались крупным прорывом в спасении жизней.
Проблема, однако, заключалась в том, что хотя небольшие испытания показали, что лекарства останавливают аритмию, на самом деле лекарства не спасали жизни. Вместо этого, как показали крупномасштабные исследования, пациенты, получавшие такое лечение, имели на треть меньше шансов выжить. Исследователи сосредоточились на остановке аритмии как на показателе эффективности, а не на проблеме, которую они пытались решить, а именно на предотвращении смерти.
Почему исследователи ошиблись? Как пишет автор журнала Discover Дэвид Х. Фридман объяснил в статье 2010 года, что ошибочные выводы об антиаритмических препаратах являются примером того, что называетсяэффектом уличного фонаря Эффект назван в честь известного пьяницы, который объясняет, что потерял бумажник на на улице, но он ищет его под фонарем, потому что там свет лучше. Точно так же в науке существует тенденция рассматривать и придавать большее значение явлениям, которые легче измерить, что иногда может привести к неправильному заключению.
Но эффект уличного фонаря - лишь один из многочисленных типов предвзятости, которые могут заразить научные исследования и ввести их в заблуждение. Ученые считают предвзятость настолько серьезной проблемой, что в последние годы она сама стала предметом исследований, в которых ученые используют статистический анализ и другие методы, чтобы выяснить, как часто она возникает и почему.
В этой статье мы рассмотрим 10 из многих типов предвзятости, которые могут повлиять на результаты научных и социальных исследований, начиная с широко известного.
10: Предвзятость подтверждения
В 1903 году, через несколько лет после открытия рентгеновских лучей немецкими исследователями, французский ученый Рене Блондло объявил об открытии еще одной ранее неизвестной формы излучения - N-лучей. Их можно было наблюдать только с помощью периферийного зрения и видеть в виде короны, когда электричество разряжалось от кристаллов. В конце концов исследование Блондо было опровергнуто американским ученым Робертом Вудом, который посетил лабораторию француза и обнаружил, что Блондо все еще наблюдал N-лучи, даже после того, как Вуд тайно удалил кристалл во время одного из экспериментов.
Но после этого произошло нечто странное. В течение многих лет другие французские ученые продолжали публиковать статьи, описывающие их наблюдения за N-лучами, как будто они действительно существовали. Возможно, из-за национальной гордости французские ученые захотели увидеть N-лучи, и они это сделали.
Эти результаты N-лучей были крайним примером одной из самых простых и широко признанных причин, по которой исследования могут пойти не так -предвзятость подтверждения Это когда исследователь принимает гипотезу, которую он или она начинает с («марихуана полезна/вредна») и формирует методологию исследования или анализ данных таким образом, чтобы подтвердить первоначальную предпосылку, независимо от того, оправдана она на самом деле или нет. Непрофессионалы также подвержены предвзятости подтверждения. Если они поддерживают (или презирают) действующего президента США, например, они склонны искать информацию, подтверждающую их точку зрения, и игнорировать все, что ее опровергает.
9: Смещение выборки
Исследователи, проводившие метаанализ научных исследований, обнаружили, что ранние, небольшие исследования, которые часто цитируются в других работах, часто завышают свои результаты.
Это может произойти из-засистематической ошибки выборки, когда исследователи, проводящие небольшие исследования, основывают свои выводы на группе, которая не обязательно репрезентативна для большей части населения. Университеты часто используют студентов для учебы, но результаты этой группы не обязательно распространяются на более широкую аудиторию.
Эта проблема наблюдается как в медицинских, так и в социальных исследованиях. Например, если исследователь-политолог, изучающий отношение к контролю над огнестрельным оружием, проводит опросы в районе, где большинство людей являются сторонниками Второй поправки, это исказит результаты таким образом, что они не обязательно будут отражать взгляды большей части населения США.
Однако систематическая ошибка выборки может иметь место и в более крупных исследованиях. Один известный пример предвзятости выборки произошел во время президентской кампании в США в 1936 году, когда «Литературный дайджест» провел опрос по почте 2,4 миллиона человек и предсказал - неверно - что республиканец Альф Лэндон ловко победит действующего демократа Франклина Рузвельта. Проблема заключалась в том, что журнал использовал телефонные справочники, регистрацию водителей и членство в загородных клубах, чтобы найти людей для опроса - метод, который, как правило, охватывал относительно состоятельных избирателей (автомобили и телефоны в то время были предметами роскоши), а не более бедных, среди которых Рузвельт был популярен. Ошибочные результаты ускорили окончание публикации.
8: Предвзятость выбора
Как ученые определяют, вылечит ли новый препарат ту или иную болезнь или поможет? Обычно при исследовании с участием двух групп людей. Например, если ученые изучают эффективность нового антигистаминного препарата для страдающих аллергией, они будут давать пробное лекарство одной группе пациентов, а плацебо (сахарную таблетку) - другой группе, называемойконтрольной группой. Ни одна из групп не должна знать, получили ли они лекарство, и участники исследования случайным образом распределяются в каждую группу.
Это называетсярандомизированным двойным слепым плацебо-контрольным исследованием и считается золотым стандартом клинических испытаний. «Двойной слепой» означает, что ни ученые, ни участники не знают, какие пациенты с аллергией находятся в какой группе, до окончания эксперимента.
Есть несколько причин для этого, но одна из них заключается в том, чтобы избежатьпредвзятости отбора Предположим, вы хотите изучить, подвержены ли люди, работающие ночью, более склонны к головным болям. Итак, вы набираете группу людей, которые работают ночью, и другую группу, которые работают днем, а затем сравниваете их. Ваши результаты показывают, что у людей, которые работают по ночам, чаще болят виски.
Но это не обязательно означает, что причиной является ночная работа, потому что люди, которые работают по ночам, как правило, беднее, имеют более нездоровое питание или больше подвержены стрессу. Такие факторы могут исказить ваши результаты, если только вы не убедитесь, что две группы похожи во всем, кроме расписания.
7: Предвзятость ченнелинга
Наклонная предвзятость возникает, когда прогноз или степень болезни пациента влияют на то, к какой группе он или она относится в исследовании. Это особая проблема в нерандомизированных медицинских испытаниях, в которых врачи выбирают, какие пациенты получат лекарство или хирургическую процедуру, которые будут оцениваться.
Нетрудно понять, почему это происходит, потому что врачи, в конце концов, обычно хотят помочь людям, которых они лечат, и обучены взвешивать риски и выгоды от лечения.
Давайте рассмотрим гипотетический пример исследования, предназначенного для оценки эффективности определенной хирургической процедуры на руке. Хирурги могут быть более склонны выбирать более молодых и здоровых пациентов для проведения операции, потому что у них ниже риск осложнений после операции и им больше необходимо полноценное функционирование руки.
В свою очередь, они с меньшей вероятностью будут выполнять его у пожилых пациентов, которые сталкиваются с более высокими послеоперационными рисками и не нуждаются в той же степени функции руки, потому что они больше не работают. Если исследователи не будут осторожны, группа, которая получит операцию в ходе исследования, будет состоять из более молодых пациентов, а группа, которой не сделают операцию, будет состоять в основном из пожилых пациентов. Это может привести к совершенно другому результату, чем если бы две группы были идентичны во всем остальном.
6: Ошибка порядка вопросов
Порядок, в котором задаются вопросы в опросе или исследовании, может повлиять на ответы. Это потому, что человеческий мозг имеет тенденцию организовывать информацию в шаблоны. Более ранние вопросы - в частности те, которые идут непосредственно перед конкретным запросом - могут предоставить информацию, которую испытуемые используют в качестве контекста при формулировании своих последующих ответов, или повлиять на их мысли, чувства и отношения. Этот эффект называетсяпрайминг
Pew Research привел этот пример из опроса, проведенного в декабре 2008 года: «Когда людей спросили: «В целом, вы удовлетворены или недовольны тем, как обстоят дела в этой стране сегодня?» сразу после того, как их спросили: «Вы одобряете или не одобряете то, как Джордж Буш справляется со своей работой на посту президента?»; 88 процентов сказали, что они недовольны, по сравнению с только 78 процентами без контекста предыдущего вопроса».
Еще один пример эффекта смещения порядка вопросов можно найти в Общем социальном опросе, крупном долгосрочном исследовании взглядов американцев. В 1984 году участников GSS попросили определить три самых важных качества, которыми должен обладать ребенок, и дали карточку со списком качеств. Когда слово «честный» занимало первое место в списке, его выбрали 66% респондентов. Но когда он подошел к концу, только 48 процентов людей выбрали его как один из трех лучших. Аналогичная картина наблюдалась и с другими качествами.
5: Предвзятость интервьюера
Исследователи должны быть осторожны не только в том, кого они выбирают для включения в группы в исследованиях, но и в том, как они запрашивают, записывают и интерпретируют данные, которые они получают от этих субъектов. Предвзятость интервьюера, как называется эта проблема, больше актуальна в медицинских исследованиях, когда интервьюер знает состояние здоровья испытуемого, прежде чем задавать ему вопросы.
В статье в медицинском журнале 2010 года о том, как определить и избежать предвзятости, приводится гипотетический пример исследования, целью которого является выявление факторов риска болезни Бюргера, редкого заболевания, при котором отекают артерии и вены на руках и ногах. и воспалился. Если интервьюер уже знает, что у субъекта исследования есть заболевание, он или она, вероятно, будет более интенсивно исследовать известные факторы риска, такие как курение. Таким образом, интервьюер может спросить людей из группы риска: «Вы уверены, что никогда не курили? Никогда? Ни разу?», не задавая при этом таких вопросов пациентам из контрольной группы.
Интервьюер также может стать причиной ошибочных результатов исследования, давая испытуемым невербальные сигналы при задании вопросов, например жестами, выражением лица или тоном голоса.
4: Предвзятость воспоминаний
В исследованиях, где людей спрашивают о чем-то, что произошло в прошлом, на их воспоминания могут влиять текущие реалии. Смещение припоминания, как известно, может быть серьезной проблемой, когда исследователи изучают, какие факторы могли привести к состоянию здоровья, а интервью являются основным источником информации. Например, поскольку широко распространено, хотя и безосновательно, мнение, что аутизм каким-то образом вызывается вакциной против кори, эпидемического паротита и краснухи (КПК), родители детей с аутистическим спектром с большей вероятностью вспомнят, что их ребенок был вакцинирован до того, как у него появились симптомы. аутизма и установить связь между этими двумя событиями.
Аналогичным образом, матери детей с врожденными дефектами могут чаще вспоминать препараты, которые они принимали во время беременности, чем матери полностью дееспособных детей. Одно исследование также показало, что пилоты, которые знали, что подверглись воздействию гербицида Agent Orange, имели большую склонность вспоминать кожные высыпания, которые они испытали в течение года после воздействия.
3: Предвзятость молчаливости
Это еще одно предубеждение, которое может иметь место в опросах по социальным наукам. Люди хотят быть уступчивыми, поэтому они с большей вероятностью ответят утвердительно на вопрос «да/нет» или «согласен/не согласен», особенно если они менее образованы или имеют меньше информации. Один из способов обойти эту предвзятость - попросить участников выбрать одно из двух утверждений (формат принудительного выбора), а не соглашаться или не соглашаться с одним утверждением. Два утверждения дадут два разных взгляда на предмет.
И в дополнение к тому, чтобы быть приятными, респонденты опроса также хотят, чтобы их считали симпатичными. «Исследования показали, что респонденты недооценивают употребление алкоголя и наркотиков, уклонение от уплаты налогов и расовые предубеждения; они также могут завышать посещаемость церкви, благотворительные взносы и вероятность того, что они будут голосовать на выборах», - отмечает Pew Research. Следовательно, вопросы должны быть сформулированы таким образом, чтобы дать участникам возможность «выйти» за признание нежелательного поведения. Таким образом, вопрос о голосовании можно было бы сформулировать так: «Во время президентских выборов 2012 года между Бараком Обамой и Миттом Ромни возникли ли обстоятельства, которые помешали вам проголосовать, или вы проголосовали случайно?»
2: Предвзятость публикации
Одним из распространенных типов предвзятости является неудобная реальность научной культуры. У исследователей есть постоянная потребность публиковать статьи в журналах, чтобы поддерживать свою репутацию и подниматься в научных кругах. Этот менталитет «опубликуй или умри» может оказывать влияние на результаты гипотез, потому что, как отмечает один критик, академические круги склонны склоняться к статистически значимым «положительным» результатам.
Действительно, метаанализы показывают, что журналы гораздо чаще публикуют исследования, сообщающие о статистически значимом положительном результате, чем те, которые этого не делают. Предвзятость публикации сильнее в одних областях, чем в других; одно исследование 2010 года показало, что статьи по общественным наукам в 2,3 раза чаще показывают положительные результаты, чем статьи по физическим наукам.
Как отметил в эссе 2015 года Ян Робертс, профессор эпидемиологии и общественного здравоохранения Лондонской школы гигиены и тропической медицины, клинические испытания, показывающие, что лечебные работы будут опубликованы, имеют гораздо больше шансов, чем те, которые показывают, что в этом нет ни пользы, ни даже вреда.
1: Смещение файлового ящика
В некотором смысле это обратная сторона предвзятости публикации. Отрицательные результаты исследования запихиваются в метафорический ящик вместо того, чтобы быть опубликованными. Критики видят в этом особую проблему, когда речь идет об исследованиях новых лекарств, которые в наши дни часто спонсируются компаниями, которые их разработали.
Смещение ящика для документов может быть значительным. Исследование, опубликованное в Медицинском журнале Новой Англии в 2008 году, сравнило результаты опубликованных исследований антидепрессантов с данными из реестра исследований Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США, который включал неопубликованную информацию. Выяснилось, что 94 процента опубликованных исследований сообщают о положительных эффектах лекарств. Но когда были включены неопубликованные исследования, количество положительных результатов упало до 51 процента.
Стремясь сделать больше информации общедоступной, Конгресс в 2007 году принял закон, обязывающий исследователей сообщать результаты многих исследований экспериментальных методов лечения на людях в ClinicalTrials.правительство В 2016 году Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США ужесточило правила, потребовав более подробной отчетности о клинических испытаниях, в том числе о лекарствах и устройствах, которые изучались, но так и не поступили на рынок.
Но некоторые критики опасаются, что у законов не будет много зубов, так как нет увеличения штата правоохранительных органов.
Примечание автора: 10 типов систематической ошибки в исследованиях
Это задание было для меня интересным, так как на протяжении многих лет мне часто приходилось писать статьи, основанные на научных исследованиях. Журналисты, я думаю, должны избегать искушения предположить, что последнее опубликованное исследование должно быть решающим словом по любому вопросу.