Пси-новости » Новости науки » Достоверность исследований

Четверть психологических исследований недостоверны

Профессор Техасского университета Вален Джонсон нашел способ единообразно оценивать достоверность научных исследований и пришел к выводу, что до четверти работ по психологии, использовавших самый распространенный критерий достоверности, могут содержать ложные выводы. Его работа посвящена сравнению двух способов оценить достоверность выводов в научном исследовании.

Джонсон обратил внимание на то, что обычно ученые используют либо вероятностный, либо байесовский подходы, но стандартного способа сопоставить их между собой до сих пор не было. Это позволило ему сделать вывод о том, что один из наиболее часто применяемых критериев правильности результатов на самом деле не является столь уж корректным. По оценкам профессора Валена Джонсона, до четверти работ по психологии, использовавших самый распространенный критерий достоверности, могут содержать ложные выводы.

В случае с вероятностным подходом ученый, получивший в своих наблюдениях численные данные, задается вопросом о вероятности получить точно такие же данные в случае, когда результат на самом деле случаен (то есть искомой закономерности в данных нет).

Байесовский подход основан на ином вопросе. Исследователи, которые используют его в своих работах, оценивают вероятность получить те данные, которые они получили, в случае, когда их модель верна.

Джонсон предложил специальный статистический тест, который во многих случаях позволяет сравнить обе оценки друг с другом. Кроме того, ученый обратился к материалам 855 предыдущих исследований, опубликованных психологами в 2007 году в двух разных журналах: Psychonomic Bulletin & Review и Journal of Experimental Psychology: Learning, Memory and Cognition.

Расчеты показали, что в большинстве случаев наиболее распространенная «достаточная» достоверность на уровне p<0,05 соответствует лишь байесовской оценке на уровне около 5, а это считается достаточно маленьким значением. По оценкам Джонсона подобные просчеты могут примерно в 17-25 процентах случаев (из числа работ, основанных на пятипроцентном вероятностном критерии) приводить к неверным выводам: ученые сообщат о наличии закономерности там, где ее на самом деле нет. Исследователь подчеркивает, что плохая статистика может быть одной из главных причин невоспроизводимости научных работ: опережая подлоги и ошибки в ходе самого эксперимента.

Чтобы защитить добросовестных ученых от подобных ложных выводов, специалист по статистике предлагает пересмотреть общепринятую договоренность о том, какие же результаты считать значимыми. По мнению Джонсона, даваемое вероятностным подходом значение 0,05 надо снизить до 0,005: его анализ показывает, что работы с p<0,005 почти наверняка выдержат дополнительные проверки. За рост точности, по словам ученого, придется платить увеличением количества измерений и удорожанием опытов, но приложенные к его статье расчеты говорят об окупаемости подобных расходов. Объем опытной работы вырастет меньше, чем вдвое, а доля ошибочных выводов упадет примерно с 20 до 4 процентов, то есть в пять раз.

За последние несколько лет из публикации отзывались статьи даже нобелевских лауреатов, причем такие случаи обусловлены несколькими причинами: от небрежности при проведении опытов или мошенничества до ошибок, подобных тем, что разобраны Джонсоном. Именно в психологии кризис воспроизводимости приобрел наибольшие масштабы (подробнее об этом можно прочитать в обзорной заметке Nature или в материале New Yorker).

Подробности исследования приведены в журнале Proceedings of the National Academy of Sciences, а кратко о выкладках исследователя пишет Nature News.

По материалам Lenta.ru

13.11.2013

Предложить интересную новость, объявление, пресс-релиз для публикации »»»