Вчені наблизилися до розшифрування мови просто із мозку

Інсульт, бічний аміотрифічний склероз та інші хвороби можуть позбавити людину здатності розмовляти. Уся комунікація таких пацієнтів із зовнішнім світом обмежується швидкістю, з якою вони можуть управляти курсором за допомогою очей (зазвичай не більше 10 слів за хвилину), тоді як природний темп розмови становить 120-150 слів за хвилину. І хоча ми ще дуже далеко від відтворення природного темпу мовлення, дослідники з Університету Каліфорнії у Сан-Франциско (UCSF) навчились перетворювати думки у зрозумілі речення.

Вчені, що озвучують нервову активність, пов'язану з мовленням, використовують набір внутрішньочерепних електродів на зразок цього.

Дослідження є доказом принципу, що одного дня стане можливо транслювати людські думки у слова в реальному часі, обходячи увесь апарат мовлення, — сказав під час прес-конференції співавтор дослідження Едвард Чанґ, нейрохірург з UCSF. “Дуже мало хто з нас має справжнє уявлення про те, що відбувається в гортані, коли ми говоримо, — додав він. — Мозок транслює думки, які ви хочете озвучити, у рухи вокального тракту — і це саме те, що ми хотіли розшифрувати”.

Але Чанґ попереджує, що на шляху впровадження технології ще є багато труднощів. Найважче її застосувати до тих пацієнтів, які узагалі ніколи не могли розмовляти, наприклад через церебральний параліч.

Він також наголосив, що її не можна буде застосовувати, щоб "читати" чийсь розум, а лише для трансляції слів, які людина має намір сказати. “Інші дослідники намагалися встановити, чи можливо власне декодувати самі думки. Виявляється, що це дуже складне завдання. І це лише одна з причин, чому ми фокусуємо нашу увагу лише на тому, що люди намагаються сказати”, — каже він.

Чанґ разом з колегами розробили двокроковий метод трансляції думок у мовлення. Спершу на основі тестів пацієнтів з епілепсією, чию нервову активність дослідили за допомогою електродів на поверхні мозку, вчені розшифрували сигнали від ділянок, які контролюють язик, губи та м’язи горла. Згодом вони застосували комп’ютерні алгоритми глибинного навчання, які натренували на природно вимовлених словах, щоб транслювали ці рухи у звуки.

Наступним логічним кроком мало б бути тренування системи на мозку кожного окремого пацієнта, але насправді трансляція думок у звуки є радше генералізована, ніж індивідуалізована, — каже інший співавтор дослідження з UCSF Ґопала Ануманчіпалі. “Нервова активність не транслюється в голос абсолютно ідентично, але загальні репрезентації є спільними, і саме їх ми й дослідили у нашій статті”, — сказав він.

Науковці також попросили носіїв англійської мови на краудсорсинговій платформі Amazon Mechanical Turk розшифрувати речення, згенеровані системою. Слухачі змогли правильно декодувати речення у 43% випадків, коли їм запропонували набір із 25 слів, з яких слід було обрати правильний варіант, й у 21%, коли список збільшили до 50 слів.

Хоча точність системи поки що залишається низькою, вона все-таки є великою перевагою для пацієнтів із синдромом “замкненої людини”, які повністю втратили можливість розмовляти. “Для когось, хто не може комунікувати взагалі, навіть кілька помилок цілком можуть бути прийнятними”, — каже Марк Слуцький, невролог та інженер нейромереж з Файнберзької школи медицини Північно-Західного університету, який опублікував споріднене дослідження, але не брав участі у цьому. “Навіть кілька сотень слів стануть великим покращенням, — каже він. — Очевидно, що ви не зможете вимовити кожне слово, яке захочете, але це все-таки краще, ніж друкувати слова літера за літерою, що є найбільшою можливістю при теперішніх технологіях”.

Потрібно наголосити, що хоча волонтери й не чули речення цілком точно, фрази усе-таки звучали подібно, що нагадує те, коли ви чуєте їх пошепки. Наприклад, слово “rabbit” (кролик) волонтери часто чули як “rodent” (гризун), — сказав на прес-конференції Джош Шартьє, інший співавтор дослідження з UCSF. Такі звуки, як “sh” у слові “ship” (корабель) розшифровувалися найкраще, тоді як найбільшою проблемою був звук “th” у “the”, — додає він.

Декілька інших груп у Сполучених Штатах та в інших країнах вже зробили істотні прориви у розшифруванні мовлення, але саме у цьому дослідженні вперше вдалося правильно розшифрувати цілі речення, — стверджує Марк Слуцький.

“Я думаю, що ця стаття є прикладом чудових можливостей, які надає поєднання біології та машинного навчання”, — вважає Лей Гохберґ, невролог з Массачусетської загальної лікарні у Бостоні та нейронауковець з Медичного центру при Університеті Брауна у м. Провіденс (Род-Айленд), який не брав участі в дослідженні.

І хоча робота Чанґа та його колег дає привід для захоплення, вона ще не готова для клінічних випробувань. “Я думаю, що системи, які дозволяють розмовляти “замкненим” людям, вийдуть на ринок не раніше, як через 10 років,” — каже Джеймі Хендерсон, професор нейрохірургії зі Стенфордського університету, який також не брав участі у дослідженні. За його словами, ще залишаються такі виклики, як визначення, чи використання більш “дрібнозернистого” аналізу мозкової активності дозволить краще розкодовувати мовлення, розробка пристрою, який можна буде безпечно імплантувати в мозок, щоб розкодовувати мовлення в реальному часі, а також удосконалення технології, щоб її можна було застосовувати до людей, які узагалі ніколи не мали можливості розмовляти.

Гохберґ каже, що про актуальність дослідження йому кожного разу нагадують його пацієнти, які “ще вчора могли ходити і говорити, а сьогодні через інсульт позбавлені можливості і першого, і другого”. І хоча йому б хотілось, щоб робота у цій сфері просувалася швидше, він все-таки радіє прогресу, який вже зроблений. “Я думаю, що нейрокомп’ютерний інтерфейс має чимало можливостей допомогти людям, і, сподіваюсь, що це станеться досить швидко,” — резюмує він.