Статистичні похибки / Значення P, «золотий стандарт» статистичної достовірності, не настільки надійний, як багато вчених вважають
В 2010 році, Мет Мотиль (Matt Motyl) був на межі наукової слави: він виявив, що екстремісти в буквальному сенсі слова бачать світ чорно-білим.
Результати були "ясні як день", згадує Мотиль, аспірант психології Університету Вірджинії в Charlottesville. Дані, отримані в дослідженні майже 2000 осіб, здавалося, показують, що політично помірковані бачать відтінки сірого більш точно, ніж ліві чи праві екстремісти. Значення P, загальний індекс сили доказів, був 0,01, що зазвичай інтерпретується як «дуже значним».
Але чутливі до суперечок про відтворюваність Мотиль та його радник, Brian Nosek, вирішили повторити дослідження. Завдяки додатковим даними, значення P становило 0,59 - навіть не близько до звичайного рівня значимості 0,05.
Виявилося, що проблема була не в даних або аналізі. Вона лежала у на диво слизькому характері значення р, що не є ні таким надійним, ні таким об'єктивним, як більшість вчених вважають. "Значення P не виконують свою роботу, тому що вони не можуть цього робити", говорить Стівен Ціліак (Stephen Ziliak), економіст в Університеті Рузвельта в Чикаго, штат Іллінойс, і часто критикує шляхи використання статистики.
Для багатьох вчених це дуже тривожний сигнал у світлі проблеми відтворюваності. У 2005 році епідеміолог John Ioannidis зі Стенфордського університету в Каліфорнії припустив, що більшість опублікованих висновки хибні. З тих пір, ряд помітних проблем з відтворюваністю змусили учених переглянути те, як вони оцінюють результати.
У той же час, статистики шукають кращих способів роботи з даними, щоб допомогти вченим не пропустити важливу інформацію та не діяти на підставі помилкових висновків. "Змініть вашу філософію статистики - і несподівано багато різних речей стають важливими," говорить Стівен Гудман, лікар і статистик в Стенфорді...
Назва статті
Regina Nuzzo
Statistical errors P values, the 'gold standard' of statistical validity, are not as reliable as many scientists assume
Статистичні похибки / Значення P, «золотий стандарт» статистичної достовірності, не настільки надійний, як багато вчених вважають
NATURE | VOL 506 | 13 FEBRUARY 2014
