Чи ж суперінтелект неможливий? (ч. 2)

РОЗМОВА ПРО МОЖЛИВІ РОЗУМИ: ФІЛОСОФІЯ І ШТУЧНИЙ ІНТЕЛЕКТ

(Продовження. Перша частина розмови – тут)

Запитання: Що цей екзо-кортекс означатиме для біології у довготерміновій перспективі, коли технології щораз більше інтегруються у людей, а технічний прогрес рухається швидше, ніж генетична еволюція?

Девід Чалмерс – австралійський філософ, засновник Асоціації наукового дослідження свідомості, професор Австралійського національного університету та Університету Нью-Йорка.

Чалмерз: Настане те, що наші мізки поступово переміщатимуться у комп’ютерні системи. Поки це лишень невеликі частини мозку – спогади, планування та навігаційні системи. Ми досі маємо це свідоме ядро, яке здебільшого укорінене в біології, і ми досі реалізуємо свободу волі (якщо, звісно, коли-небудь вона у нас була).

У тривалішій перспективі у комп’ютер може мігрувати навіть це свідоме ядро. Зрештою, якщо ми дійдемо до епохи, коли штучний інтелект перевершуватиме людський розум, наша біологія почне регресувати. Нам доведеться вирішити, чи справді ми б хотіли стати одним цілим із комп’ютером.

Це потенційно дозволить нам стати безсмертними і дасть змогу опрацьовувати інформацію з неймовірною швидкістю. Дехто, звісно, розглядає це як дистопію, а інші – як форму смерті. Можливо, ці завантажені системи не будуть свідомими. Може, це буде не моє «Я», а хтось інший – якась моя копія або близнюк. Ден прекрасно написав про це у своїй роботі «Де перебуває Я?». Нам вочевидь будуть потрібні філософи, щоб думати про усі ці питання. Я передчуваю, що колись настане момент, коли люди читатимуть стародавні філософські тексти, як-от твори Дерека Парфіта про ідентичність чи «Де перебуває Я?» Дена Деннета, щоби приймати цілком практичні рішення.

Модератор розмови – Джон Брокман, літературний критик та імпресаріо, який спеціалізується на науковій літературі.

Брокман: Ви б хотіли бути на DVD чи щоб вас стрімили?

Деніел Деннет – американський філософ та когнітивіст, професор філософії та співдиректор Центру когнітивних досліджень Університету Тафтса

Деннет: Не маю нічого додати до того, що сказав Дейв. Але перш ніж шукати відповідь на це запитанння, варто глибоко вдихнути і нагадати собі, яким неймовірно складним є наш мозок. За останнім підрахунком, він складається з 86 млрд нейронів. А є ще глії та астроцити, які, за даними останніх досліджень, теж відіграють роль у пізнанні. Якщо це так, то ми досі вивчали телефонну систему, обходячи увагою самі комунікації. Коли я почав міркувати про роботу мозку, то мав цю просту й елегантну модель «логічних нейронів» Маккалоха-Піттса. Я думав, що розумію, як це працює, і не хотів, щоб ця модель ставала складнішою. Але тепер вона ускладнилася на багато порядків. Коли тепер стає зрозуміло, що навіть віруси беруть участь у роботі мозку, ви розумієте, наскільки спрощеними є наші теоретичні моделі.

Чалмерз: Усе це є у квантових суперпозиціях, Дене.

Деннет: Ні, це не так. Я проведу тут лінію.

Брокман: Венкатраман Рамакрішнан, президент Лондонського королівського товариства та лауреат Нобелівської премії з біології за дослідження рибосом, має запитанння про еволюцію: «Чи можна вважати еволюцію вуглецевого розуму лише каталізатором еволюції кремнієвого розуму, здатного процвітати у набагато екстремальнішому середовищі? І чи взагалі "розум" є метою еволюції?» Розповідаючи в інтерв'ю зі мною про свою роботу в лабораторії MRC, де створюють віруси, Рамакрішнан сказав: «Глибинне навчання є цілком непрозорим. Ми не можемо йти цим шляхом. Нам потрібно знати кожен свій крок і перевіряти його. Просто тепер – це проблема».

Деннет: Проблема – у науці «темної скриньки». Ви її не назвали, але можна сказати, що ви її тут підіймаєте. Завдяки глибинному навчанню ви можете делегувати «темним скринькам» знаходження закономірностей у найрізноманітніших наборах даних. Що найважливіше – ми не знаємо, як ці системи працюють. Ми створюємо оракули і довіряємо їм. Ми можемо навіть мати докази, що їм можна довіряти і вони дають загалом добрі відповіді. Але все це применшує роль окремого науковця, а також розпорошує результати досліджень. Ми дедалі більше відходимо від індивідуального розуму і маємо справу натомість з розпорошеним розумінням, в якому жодна людина не розуміє результатів дослідження, а лише команда науковців. Це змінює структуру науки і може зробити те саме навіть з філософію. Можливо, у майбутньому навіть перестануть давати Нобелівські премії.

Чалмерз: Запитання про еволюцію є доволі цікавим. На зміну біологічній еволюції приходить культурна еволюція, яка постійно прискорюється, – розвиток мови, згодом писемності, поява комп’ютерів та ін. Тож я не здивуюсь, якщо культурна еволюція і надалі залишатиметься актуальною. Але якщо я не помиляюсь у своєму баченні штучного інтелекту, то можна очікувати, що у певний момент у майбутньому на зміну культурній еволюції прийде еволюція штучного інтелекту, який розвиватиметься стрибкоподібно: перші системи створять люди, а згодом вони рекурсивно удосконалюватимуть самі себе. Ця еволюція може виявитися ще швидшою, ніж культурна. Тож питання є таким: Чи справді це є майбутнім людства? Є версія, що в майбутньому розвиватимуться не люди, а зовсім інші істоти.

Деннет: Цю гіпотезу захищає Сью Блекмор. Вона пише, що люди-носії більше не будуть потрібними, щоб поширювалися меми, і ми матимемо справу з тим, що вона називає «темами» або мемами, носіями яких будуть самі технології. Вже сьогодні, наприклад, існують алгоритми, які дозволяють передбачити популярність пісень. Може настати день, коли пісня стане платиновою ще до того, як її хтось послухає.

Брокман: Це має шанс стати найпопулярнішою ідеєю цього вечора.

Чалмерз: Я б хотів жити у майбутньому, в якому ми знатимемо про пісню, і хтось зможе її послухати, оскільки саме у ньому цей «тем» матиме цінність.

Запитання: Чи є якась регуляція штучного інтелекту американським чи будь-яким іншим урядом? Дейв сказав, що штучний інтелект доглядатиме за старенькими. Я знаю, що дедалі популярнішими стають секс-роботи. Чи може все це призвести до майбутнього, в якому люди більше не матимуть значення? Що ми, звичайні люди, можемо зробити, щоби це не настало?

Чалмерз: Це добре запитання. Зараз відбуваються багато різних дискусій довкола регуляції штучного інтелекту. Етика штучного інтелекту стала напрочуд популярною протягом кількох минулих років. Приблизно два роки тому я брав участь у конференції, присвяченій розробці етичних принципів, які повинні спрямовувати розвиток штучного інтелекту. Ми розробили двадцять три таких принципи. Існує так зване «Партнерство штучного інтелекту» – неприбуткова організація, в якій беруть участь, зокрема, провідні технологічні компанії світу: Google, Facebook, DeepMind та ін. Довкола цих етичних принципів є багато скепсису, адже про них легко говорити – але чи справді їх хто-небудь втілюватиме, особливо якщо будуть присутні значні фінансові чи військові спокуси? «Уникнути гонки озброєнь штучного інтелекту» – це один з двадцяти трьох принципів. Така гонка може піти цілком непередбачуваним шляхом. Уявіть, що між США і Китаєм почалася військова гонка штучного інтелекту? Чи й справді ви думаєте, що хтось скаже: «О, а є ж ця пропозиція з семінару»?

Я якось виступав в академії у Вест-Пойнті й запитав тамтешніх військових, як вони ставляться до суперінтелекту та сингулярності. Чи є щось таке, що ми повинні попередити? Вони відповіли, що ні. Їхнє ставлення таке: краще, щоб був американський суперінтелект, аніж китайський. Я не знаю, що може зробити звичайний громадянин просто зараз, щоби цьому запобігти, але думати про цю проблему, говорити про неї і тримати її у публічній площині, як на мене, є досить добрим першим кроком.

Запитання: Я не знаю, як це сформулювати, але, на жаль, це може стосуватися складнішого запитання про свідомість. Ви говорили про перспективу завантаження розуму в комп’ютер. Мені складно це зрозуміти, адже навіть якщо ви зможете мене клонувати і відтворити з усім моїм досвідом, то хіба ця особа матиме мою свідомість? Це може бути хтось, хто матиме мої спогади, мої думки, але «мене» більше не буде.

Деннет: Уявіть собі, що це відбувається з вами поступово. Ваш мозок повільно вмирає, і завдяки технологіям ви завантажуєте його шматочок за шматочком в комп’ютер. Ви звикаєте до факту, що тепер частина вашого мозку міститься у хмарі і взаємодіє з вами через зовнішній інтерфейс. Зрештою ваш біологічний мозок помре повністю й остаточно переміститься туди. Це – одна можливість. Якщо міркувати про це у такий спосіб, то ви неначе «корабель Тесея» й вступаєте прямо у нове життя.

Чалмерз: Якщо мені коли-небудь доведеться завантажити себе у комп’ютер, то я б зробив це нейрон за нейроном, щоби залишатися свідомим у процесі. Ось я ще тут. Але за мить я вже там.

Запитання: Хіба експеримент «китайська кімната» не доводить, що переконатись у тому, що система свідома, практично неможливо?

Деннет: Ні, це не так. «Китайська кімната» – це розумовий експеримент з багатьма вадами. Я не хочу про це багато говорити. Ви можете прочитати безліч сторінок про те, що не так з аргументами Джона Серля. Я знаю багатьох людей, які не хочуть вникати у технічні деталі. Їм просто подобаються його висновки. Якщо вони теж вам імпонують і ви не хочете цікавитися технічними деталями, то можете і надалі вірити у цей аргумент – але тільки не думайте, що він добрий.

Чалмерз: Що може переконати мене, що система свідома? Чимало речей, але, мабуть, найбільше – можливість поговорити з нею. Звідки мені дізнатися, що людина свідома? Я спробую з нею поговорити – і вона саме про це мені скаже.

Якщо ми зустрінемо марсіан і спробуємо поговорити з ними, я сподіваюсь, що вони розкажуть нам про свій свідомий досвід. Якщо система штучного інтелекту скаже, що дивиться на світ і у неї виникають переживання якісного характеру, то це переконає мене, що у неї щось є. Я навіть запитаю її, чи вона, бува, не відчуває червоний колір так, як я відчуваю зелений, і чи не знає, як я відчуваю запах аміаку, якщо у неї завантажити нейродіаграму. Хоча є ймовірність, що все це взято з підручника, як пройти тест Тюринга і створити ілюзію свідомості. Утім, спілкування з системою буде для мене доволі серйозним аргументом, що вона свідома.

Запитання: З вашого попереднього дискурсу можна зробити висновок, що ви вважаєте людське пізнання ключовим й людина повинна контролювати штучний інтелект, – але ми знаємо, що люди дуже патологічні у своїх рішеннях. Чи можете окреслити низку проблем, з якими нам доводиться мати справу зараз, але які застаріють в епоху штучного інтелекту, адже він прийматиме кращі рішення, ніж люди?

Деннет: Я можу це передбачити – але не впевнений, чи мені сподобається те, що я бачу. Я навмисне оберу суперечливий приклад. Уявіть собі, що вас судять за особливо тяжкий злочин. Ви можете обрати, хто має винести вирок – суд присяжних чи штучний інтелект. Що б ви обрали?

Чалмерз: Я б не хотів, щоб мене судив хтось із тих голодних перед обідом суддів.

Деннет: Саме тому це й цікаве питання. Багато суддів є надто людськими.

Запитання: Др. Деннет, ви раніше говорили, що є різниця між свідомістю й інтелектом. Суперінтелект не обов’язково має бути свідомим, хоча це й можливо в принципі. Ви навели приклад Гофстедтера. Він автор книги «Я у дивній петлі», у якій доказує, що мислення – це і є свідомість. Тож якщо цей суперінтелект не матиме свідомості, то хіба ж він мислитиме? Чи не буде це «дурний» суперінтелект? Де проходить лінія між дуже розумним, але не мислячим суперінтелектом, і, можливо, не таким розумним, але мислячим та наділеним свідомістю?

Деннет: У нас є тенденція інтелектуалізувати нашу місію і вважати, що мислення – це атрибут виключно людського мозку, хоча протягом минулих п’ятдесяти років ми дедалі більше переконуємось, що чимало несвідомих процесів можуть мімікрувати свідому думку. В одній зі своїх книг, а радше в кількох, я запропонував ідею попперіанського майбутнього, в якому гіпотези тестуються ще перед тим, як їх випробовують у реальному світі. Коли люди міркують про це, вони думають, що ці системи «мислять» так само, як вони. Утім, ви можете отримати усі ці переваги попперіанської істоти цілком несвідомо. Чи обов’язково називати це «мисленням»? Я вважаю, що ні.

Якщо ви разом з Даґом вважаєте, що мислення – це прерогатива лише свідомого пізнання, то питання полягає у тому, як отримати особу із усіх тих неймовірних речей, які відбуваються на підособистісному рівні? Частково відповідь запропонував Жан Піаже, а британський психолог Ґай Клакстон її удосконалив: «Інтелект – це коли ви знаєте, що робити, коли ви не знаєте, що робити». Якщо вам запропонували цілком нову проблему, до якої вас не готували, і ви починаєте думати, як її розв’язати, – то це і є розум. Це потребує рекурсій, про які говорили я і Девід.

Брокман: Кетрін Бейтсон недавно запитала: «Чи можна отримати суперінтелект, який знатиме те, що він не знатиме? Іншими словами, суперінтелект, який отримає запитання і відповість: “Мені потрібно подумати про це. Дозвольте мені з цим поспати. Я відповім зранку”».

Запитання: Мене дивує, що стільки дискусій відбуваються довкола «зловмисного штучного інтелекту». Якби ми могли повернути розмову в інше русло, то що могло б бути продуктивнішою темою, аніж розмова про штучний інтелект, який стає свідомим і робить погані речі?

Чалмерз: Я не думаю, що зловмисні агенти – це найбільша проблема. У нас будуть великі стимули створити дуже потужні системи штучного інтелекту з неочікуваними наслідками. Ця перспектива турбує мене не менше, ніж сценарій Термінатора, а можливо, навіть більше, оскільки вона є реалістичнішою. Сценарій Термінатора міг би настати, якби появився штучний інтелект, чия цільова функція – знищити людство. Але як сказав Нік Бостром, може появитися «невинний» штучний інтелект, чия цільова функція – лишень створювати скріпки для паперу, але цей штучний інтелект вирішить, що люди займають місце, де могли б бути скріпки. А може появитися штучнийо інтелект, який вирішить, що його функція – нести людям щастя. Що є атрибутом щастя? Певно, що посмішка на обличчі. Тож він ходитиме і робитиме усім «посмішки». Багато речей можуть піти не так, як би нам хотілось, навіть якщо їх створюють з добрими намірами. Тому нам потрібно дуже ретельно поставитися до контрольних механізмів.

Брокман: Нарешті останнє запитання. Я б хотів запитати кожного з вас, чи ви навчилися чого-небудь нового один від одного за цей вечір.

Деннет: Я навчився багато чому від Девіда за роки. Окрім того, що чимало його поглядів сьогодні стали для мене зрозумілішими, я дізнався, що між нами є значно більше згоди, ніж я досі собі думав.

Чалмерз: Я теж навчився багато чого від Дена протягом років. Він був одним з перших філософів, яких я читав ще на колінах у мами. Багато у чому ми згодні, але є речі, в яких ми сильно розходимось. Свідомість, наприклад, і те, наскільки її можна пояснити науковими методами. Вона не була у фокусі нашої розмови сьогодні, але однією з речей, якої я навчився від Дена за сьогоднішній вечір, – це наполегливо думати про відносини між людською свідомістю і тим способом, як системи мислять про свою власну свідомість.

Ден бачить усе це як певну ілюзію. Вважати, що у нас є свідомість, – це, власне, і є ілюзія. Є ілюзія Бога і є ілюзія свідомості. Він вважає, що за цим можуть стояти якісь глибші істини, але принаймні ці ілюзії породили значні філософські проблеми. Мені імпонує цей погляд. Він цікавий. Я сам на нього не купуюсь, але я навчився мислити про свідомість у людських та штучних системах, думати про механізми, завдяки яким ці системи моделюють наш власний розум, й думати про наші власні розуми як об’єкти.

Як Ден сказав сьогодні, це правильна перспектива, від якої нам слід відштовхуватись у нашому осмисленні свідомості, хоча я і Ден пішли різними шляхами від цієї відправної точки.