Статистичні похибки / Значення P, «золотий стандарт» статистичної достовірності, не настільки надійний, як багато вчених вважають
В 2010 році, Мет Мотиль (Matt Motyl) був на межі наукової слави: він виявив, що екстремісти в буквальному сенсі слова бачити світ чорно-білим.
Результати були "ясні як день", згадує Мотиль, аспірант психології Університету Вірджинії в Charlottesville. Дані, отримані в дослідженні майже 2000 осіб, здавалося, показують, що політичні помірковані бачать відтінки сірого більш точно, ніж ліві чи праві екстремісти. Значення P, загальний індекс силі доказів, був 0,01, що зазвичай інтерпретується як «дуже значним».
Але чутливі до суперечок про відтворюваність Мотиль та його радник, Brian Nosek, вирішили повторити дослідження. Завдяки додатковим даними, значення P становило 0,59 - навіть не близько до звичайного рівню значимості 0,05.
Виявилося, що проблема була не в даних або аналізі. Вона лежала у надиво слизькому характері значення р, що не є ні таким надійним, ні таким об'єктивним, як більшість вчених вважають. "Значення P не виконують свою роботу, тому що вони це не можуть", говорить Стівен Ціліак (Stephen Ziliak), економіст в Університеті Рузвельта в Чикаго, штат Іллінойс, і часто критикує шляхи використання статистики.
Для багатьох вчених, це особливо тривожний сигнал у світлі проблеми відтворюваності. У 2005 році епідеміолог John Ioannidis зі Стенфордського університету в Каліфорнії припустив, що більшість опублікованих висновки хибні. З тих пір, ряд помітних проблем з відтворюваністю змусили учених переглянути, як вони оцінюють результати.
