Правильне визначення насправді складне. «Значущими», або «сигніфікантними», статистичні висновки вважають тоді, коли відповідна p-величина є меншою, ніж 0,05. Це означає: «Якщо припустити, що нульова гіпотеза істинна, і дослідження повторювати безкінечну кількість разів з випадковою вибіркою з тієї самої популяції, тоді менше як 5 % результатів будуть суттєво відрізнятися від отриманих». Певні підручники навмисно це пояснюють простими словами. Але в ці спрощення прокралася помилка. Принаймні такої думки дійшли психологи, що здійснили польове дослідження. У ньому вчені проаналізували дефініцію «статистичної значущості».




Зображення: benjaminec / getty images / istock (фрагмент)​.


 

Команда на чолі з Девідом Стенлі (David Stanley) з Університету Гуелфа в Торонто, проаналізувавши 30 наукових праць з психології, перевірила, чи початківцям правильно пояснюють поняття «статистичної значущості».

 

У 28 з 30 книг, які, зі слів науковців, найкраще продавалися в США та Канаді у 2017-2018 роках, поняття «статистичної значущості» пояснюють або визначають принаймні один раз. І в 25 з них (майже у 89 %) містилася принаймні одна помилка. Найчастіше писали: статистична значущість означає менше як 5 % ймовірності того, що результат отримали випадково.

 

Чому це помилка, найкраще видно, якщо придивитися до основної умови, що лежать в основі обрахунків: «якщо нульова гіпотеза істинна». Нульова гіпотеза – це припущення, що не має жодного ефекту, тобто, наприклад, дві ознаки не корелюють. Але за вище наведеним поясненням виходить, що нульова гіпотеза не може бути не істинною.

 

Р-величина як міра значущості радше вказує на те, як часто за нескінченної кількості експериментів випадковість зумовлюватимете такий же результат, як і наявний – навіть якщо ефекту і зовсім немає.

 

Так проявився ще один помилковий висновок: «Статистично значущий результат підтверджує дослідницьку гіпотезу», – наприклад, припущення про те, що дві ознаки корелюють. Не можна також з показника «p <  0,05» вивести, що з вірогідністю 95 % ефект присутній, або стверджувати, що ймовірність відсутності всякої кореляції становить менше як 5 %.

 

Тест на значущість – найпоширеніший статистичний критерій для наукових розвідок у психології. Те, що його неправильно визначають і студенти, і науковці, на думку Стенлі та його колег, означає: самі лекції принаймні частково ґрунтуються на підручникових помилках.

 

Той, хто все ще сподівається на просте визначення, може брати за основу тезу британського статиста Роналда Фішера (Ronald Fisher): сильно спростивши, р-значення показує, в якій мірі даний результат можна узгодити з нульовою гіпотезою. Про істинність чи якість дослідження вона не свідчить.

 

 

Christiane Gelitz

Statistische Signifikanz falsch erklärt

spektrum.de, 17.07.2019

Зреферувала С.К.

24.04.2020