270 науковців з 5 континентів нещодавно намагалися відтворити, тобто повторити, 100 психологічних розвідок, які раніше публікували найвідоміші фахові видання. Це вдалося їм у менше половини випадків. Учені помітили, що в 97 % оригінальних розвідок статистично значимий результат встановлювали на підставі випадкового зв'язку між величинами, які підлягали вимірюванню. А відтворюваних досліджень виявилося лише 36 %. Що це означає для науки?
Є щось на кшталт основного закону науки. Він називається відтворюваністю й означає, що експеримент, здійснений за однакових умов двічі, двічі повинен приводити до однакових висновків. Або те, що набір даних, висвітлений кілька разів, мусить щоразу засвідчувати однакові результати. Принаймні майже щоразу. Адже до кожного дослідження прокрадаються похибки вимірювання, і результати трохи зміщуються. Принцип відтворюваності повинен гарантувати, що випадкові результати, які можуть мати місце у будь-якому експерименті, не вважатимуть за колумбове яйце – просту відповідь на складне запитання.
Однак основному законові ведеться так, як і багатьом іншим законам: у повсякденній метушні про нього забувають, часом його ігнорують зовсім. Аж поки щось не піде не так і не доведеться визнати, що закон відтворюваності направду необхідний. Такий момент якраз зараз настав.
У Science, одному з найповажніших міжнародних наукових журналів, опублікували дослідження, що доводить: відтворюваність – гарна ідея, але в реальності має не найкраще втілення. 270 науковців з 5 континентів нещодавно намагалися відтворити, тобто повторити, 100 психологічних розвідок, які раніше публікували найвідоміші фахові видання. Це вдалося їм у менше половини випадків.
Учені помітили, що в 97 % оригінальних розвідок статистично значимий результат встановлювали на підставі випадкового зв'язку між величинами, які підлягали вимірюванню. А відтворюваних досліджень виявилося лише 36 %.
Це дивує особливо з огляду на те, що психологи в методології дослідження та статистиці дуже добре підковані, порівняно, наприклад, з медиками.
Отримані результати не означають, що дослідження здійснюють цілком неправильно, кажуть учені. Частково проблеми створює фіксація експерименту, що ускладнює чи унеможливлює його відтворення. Або ж причина – у масштабах ефекту, виявленого в дослідженні: значний ефект в оригіналі легше виявити і в реплікованих дослідженнях, на противагу малопомітному.
Часто похибка зумовлена тим, як поводяться з даними. Важливим є вже саме рішення, які дані можна отримати завдяки аналізові, адже вони можуть стати відірваними, а це змінює всі результати. «Відірвані» дані, змінюють середнє значення, яке для багатьох статистичних методів є стрижнем і має вирішальне значення. Вони не фальсифікують результати, але зміщують середній показник у певному руслі, і він неправильно репрезентує цілий набір даних.
Рішення, яке мусить прийняти кожна наукова команда – яку інформацію потрібно отримати – може спричиняти великі відмінності в результатах різних розвідок. Науковці в фахових виданнях можуть публікувати, передусім, статистично значимі висновки, деколи здійснивши додаткові розвідки, тому й рідко виникає запитання, на якому етапі вони взялися за ці дані.
Упродовж років виникають сумніви, чи наукові висновки піддаються відтворенню, каже Браян Носек (Brian Nosek) з Університету Вірджинії, що координує проект, і з 2013 р. в Центрі відкритої науки (Center for Open Science) відстоює прозорість, чесність і відтворюваність наукових результатів. «Наш проект, перший у своєму роді, доводить, що ці вимоги повинні бути враховані, – каже вчений. – Він зосереджений на психологічних дослідженнях, але ними не обмежується». Відтворюваність, імовірно, є проблемою для усіх природознавчих і гуманітарних дисциплін, яку потрібно вирішити – зрештою, від цього залежить достовірність всієї науки.
Von Fanny Jiménez
Sind wissenschaftliche Ergebnisse unglaubwürdig?
Die Welt, 28.08.15
Зреферувала Соломія Кривенко