Що буде, якщо 70 команд учених проаналізують ті ж дані? Чи на підставі власного аналізу вони дійдуть однакових висновків? Це перевірили на знімках сканування мозку. Результат: хоч проміжні результати дослідження були дуже подібні, в ключових висновках 70-ти команд проявилися суттєві відмінності – повідомили науковці в журналі «Nature». Це доводить, наскільки важливими є прозорість і відтворюваність дослідження.
Знімки мозкової діяльності зроблені за допомогою функціональної магнітно-резонансної томографії (fMRI). На підставі таких складних даних зробити невропсихологічні висновки непросто. Зображення: akesak/ iStock.
Наука функціонує за принципами самоконтролю. Це проявляється в системі рецензування наукових вісників, а також у публікуванні даних про методи та матеріал дослідження. Водночас нові свідчення та гіпотези знову й знову перевіряють новими даними – в разі необхідності їх розширюють та правлять.
Таке покрокове дослідження можна спостерігати під час сучасної пандемії коронавірусу. Covid-19 вважали спочатку легеневою хворобою – зараз відомо, що вірус атакує практично всі органи. Крім того, дітей спочатку вважали невразливими до недуги – натомість зараз наявні докази рідкісних ускладнень. Досі чимало інших запитань залишаються відкритими, зокрема щодо походження SARS-CoV-2 або щодо подальшого розгортання пандемії.
Але наскільки науковці будуть єдиними, коли на основі тих же даних муситимуть дійти висновків? Це перевірили вчені під керівництвом Тома Шонберґа (Tom Schonberg) з Тель-Авівського університету в одному експерименті – найбільшому в своєму роді. Для цього науковці відібрали мозкові знімки 108 піддослідних, що брали участь у нейропсихологічному дослідженні. Ці знімки, які зробили за допомогою функціональної магнітно-резонансної томографії, демонстрували мозкову активність піддослідних під час прийняття певних рішень.
108 пакетів даних Шонберґ та його команда відправили 70 науковим групам у різні куточки світу. Їхнє завдання полягало в тому, щоб проаналізувати дані стандартними для кожної команди методами й так перевірити дев’ять вказаних гіпотез. Кінцевим результатом мала бути коротка відповідь «так» чи «ні».
Команди науковців мали три місяці, щоб проаналізувати дані. Після цього вчені надали Шонберґу та його колегам свої висновки щодо різних гіпотез, а також проміжні результати й детальну інформацію про процес аналізу.
Порівняння засвідчило: проміжні результати та узагальнені дані команд більш-менш узгоджувалися. Також карта мозкової активності, що виникала на підставі аналізу вихідних даних, була переважно однаковою в усіх команд – засвідчив метааналіз. Але фінальні результати виглядали інакше, розповіли вчені: щодо п’яти з дев’яти гіпотез проявилися суттєві розбіжності.
Ймовірною причиною науковці вважають те, що складні результати потрібно було звести до дуже спрощеного «так» – «ні». «Ця проблема аналізу стосується всіх сфер, де доводиться працювати зі складними даними, які в результаті потрібно спростити до відповіді "так" або "ні"», – пояснив співавтор Сімон Айкгоф (Simon Eickhoff) з Юліхського дослідницького центру.
Так розвідка довела, що аналіз складних даних залежить і від того, хто їх оцінює, і від того, в якій формі відбувається дослідження. Незважаючи на ідентичні вихідні дані та чіткі запитання, передусім при інтерпретації може дійти до суттєвих розбіжностей. На думку вчених, це доводить: необхідно публікувати матеріал дослідження та методологію – тільки так інші команди можуть відстежити процес аналізу.
«Дані відіграють все більшу роль у дослідженні, наука зазнає все сильнішої спеціалізації – за таких умов кооперація й прозорість надважливі», – сказав Айкгоф. Факт, що майже 200 науковців були готовими вкладати сотні годин у цей експеримент, також свідчить про їхню готовність. «Цей процес саморефлексії та постійного вдосконалення власних методів – унікальний та специфічно науковий», – наголошують співавтори Міхаель Кірхлер (Michael Kirchler) та Юрген Губер (Jürgen Huber) з Інсбруцького університету.
Nadja Podbregar
Wissenschaft: Wie verlässlich sind die Ergebnisse?
Forschungszentrum Jülich, Universität Innsbruck, Universität Wien, 22/05/2020
Зреферувала С.К.