Чи ж суперінтелект неможливий?

РОЗМОВА ПРО МОЖЛИВІ РОЗУМИ: ФІЛОСОФІЯ І ШТУЧНИЙ ІНТЕЛЕКТ

У жовтні 2019 року більш як тисяча людей зібралися у культурному центрі Pioneer Works у місті Ред-Гукс, штат Нью-Йорк, щоб послухати модеровані Джоном Брокманом дебати двох визначних сучасних філософів, Денієла Деннета та Девіда Чарлерcа, на тему «Чи ж суперінтелект неможливий?». Дебати відбулися в рамках презентації книги «Можливі розуми: 25 поглядів на штучний інтелект», редактором якої був Джон Брокман, а серед співавторів – Деннет та Чарлерс.

Модератор розмови – Джон Брокман, літературний критик та імпресаріо, який спеціалізується на науковій літературі.

Брокман: Для мене сьогодні дуже зворушливий вечір, хоча я й не люблю показувати емоції. Ці двоє хлопців кожен по-своєму вже понад двадцять років обговорюють дуже серйозні ідеї. Сьогодні вони неначебто друзі. Я сподіваюсь, що вони залишатимуться ними й надалі.

Мої співрозмовники мають дуже різні погляди на світ. Два десятиліття вони по-різному говорять про «складну проблему» свідомості, але сьогодні про неї мова не йтиме. Натомість ми поговоримо про наступний її можливий рубіж, а саме про стрімкий розвиток штучного інтелекту. Мене ця тема цікавить ще з далекого 1965 року, коли я почав активно спілкуватись з кібернетиками. Згодом я від цього дещо втомився, і десь у 1980-х я відійшов від світу «експертних систем». Японці, скажімо, мали МІТІ, яка була їхньою програмою «п’ятого покоління» розвитку комп’ютерів. Багатьох людей це дуже хвилювало: «Вони йдуть! Вони йдуть!» – кричали вони. І ось вони прийшли. І що? Нічого не сталося!

Мені трапилась нагода побувати на ланчі у Нью-Йоркській академії наук, на якому керівник MITІ опинився поруч з Марвіном Мінським, Джоном Макарті, Роджером Шанком, Едом Фейґенбаумом та іншими визнаними лідерами перших двох хвиль розвитку штучного інтелекту. Згодом увесь захват довкола програми MITI й «п’ятого покоління» штучного інтелекту досить швидко згас. Не пройшло й двадцять років, і ми прокинулися у новій реальності штучного інтелекту, а саме – технології глибинного навчання, під час якого комп’ютери самі себе удосконалюють без нагляду людини. Найкраще, мабуть, це репрезентує програма AlphaGo, розроблена Демісом Хассабісом та його колегами з компанії DeepMind у Сполученому Королівстві. Усе це було неймовірно цікаво. Я тоді подумав, що було б цікаво дізнатися, що ж відбувається. Тому у квітні 2016 року я організував в Лондоні ланч разом з Демісом. Ідея полягала в тому, щоб звести його разом з Девідом Дойчем, одним з найпроникливіших розумів нашого часу, і, можливо, краще зрозуміти, що ж відбувається. На ланчі також були присутні люди, які не мають нічого спільного з комп’ютерами, але яким є що розповісти про реальність, – романіст Єн МакІвен, музикант Браян Ено, кінорежисер Террі Ґілліам, мистецький куратор Ганс Ульріх Обріст. Товариський обід лондонського Quality Chop House виявився справді неймовірним початком. Відтоді ми вирішили продовжувати такі зустрічі і надалі.

У вересні 2016 року я продовжив цю традицію і організував у Вашингтоні (штат Коннектикут) зустріч людей, які осмислювали штучний інтелект протягом усього свого життя. Там були присутні, зокрема, Дені Ґілліс, який своїм паралельним процесором зламав «шийку пляшки фон Ноймана» [«шийка пляшки фон Ноймана» – це метафорична назва обмежень продуктивності, зумовлена стандартною архітектурою персональних комп’ютерів], Пітер Ґалайсон, історик науки, Сет Ллойд, квантовий теоретик, та Ніл Ґершенфельд, комп’ютерний науковець з MIT, який, міркуючи над «Кібернетикою» Норберта Вінера, сказав: «Усе, що написано в цій книзі, наділено неймовірним даром передбачення, хоча їй вже дуже багато років. Його перестороги про нашу сучасну культуру, про комерціалізацію науки дивним чином збуваються. Ми повинні зробити йому послугу і переписати цю книгу». Саме так ця книга [«Можливі розуми»] і розпочалась, і саме тому ми всі тут зібралися.

Одна з тем, порушених у цій книзі, – «Чи можливий суперінтелект?». Я думаю, що для вступу ми надамо п’ять хвилин кожному з присутніх тут джентльменів. Першому я б хотів надати слово Девіду.

Девід Чалмерс – австралійський філософ, засновник Асоціації наукового дослідження свідомості, професор Австралійського національного університету та Університету Нью-Йорка.

Чалмерс: Для мене велика приємність сьогодні тут виступити. Дуже дякую Джону та Джанні за організацію цієї події. Це буде цікаво! Я здогадуюсь, що одне з питань на сьогоднішньому вечорі буде таким: суперінтелект – можливий чи неможливий? Я на боці того, що можливий. Я люблю усе можливе, і це одна з причин, чому мені подобається те, як Джон сформулював заголовок книги. Це чудовий спосіб думати про інтелект – як природний, так і штучний, – а також про природну і штучну свідомість. Простір можливих розумів неймовірно широкий – це усі розуми, які коли-небудь існували, існують або можуть існувати. За певними підрахунками, у світі за увесь час жили 100 мільярдів людей зі власними розумами. Серед них були і справді унікальні – Конфуцій, Ісаак Ньютон, Пабло Пікассо, Мартін Лютер Кінґ і т. д. Але навіть ці сто мільярдів людей, зібрані разом, є лишень невеличким фрагментом множини усіх можливих розумів.

Ми можемо додати сюди розуми усіх тварин, які коли-небудь жили. Я провів невеликий пошук в інтернеті і натрапив на цифру, що за усю історію нашої планети на ній побували 10²⁹ тварин. Більшість із них були дуже примітивними, а їхні розуми – не надто цікавими, але натомість 10²⁰ були дуже, дуже цікавими. А як щодо комп’ютерів? Найнеймовірніша річ про комп’ютери – це те, що саме вони дозволяють нам міркувати про можливі розуми. Адже саме завдяки їм, можливо, уперше в історії нашої планети почали існувати цілком нові види розуму, які з’явилися не в результаті стандартного процесу біологічної еволюції, а внаслідок прямого, навмисного задуму і програмування.

Джон згадав про AlphaGo та успіх покоління AlphaZero, яка змогла сама себе навчити грати в гру Ґо так само, як це зробила би людина. Програма при цьому ще й значно розширила людську майстерність – поки що у вузькому й дуже обмеженому діапазоні гри в Ґо. Глибинне навчання досягнуло вражаючих успіхів і у розпізнаванні зображень, мови, а також автономного керування автомобілями, хоча ера самокерованих авто цілком ще не настала. Принаймні у розпізнаванні мови й зображень штучний інтелект починає перевершувати людські можливості.

Отже, ми маємо невелике розширення простору можливих розумів, яке охопило ті розуми, які ми вже створили. Але поки що це ще дуже маленьке розширення. Те, чого ми категорично зараз не повинні робити, – це перебільшувати ті досягнення, яких нам наразі вдалося досягнути зі штучним інтелектом. Вони великі, але поки що дуже обмежені. Вони ще й близько не довели нас до можливостей людського розуму, і малоймовірно, що доведуть у близькому майбутньому. Цього точно не станеться у найближчих двадцять років, але чи дійдемо ми до них протягом століття? Можливо.

Кажуть, що люди мають схильність переоцінювати ефекти технологій у короткій перспективі й недооцінювати у довгій. Це і передає моє ставлення до штучного інтелекту. Тепер довкола нього дуже багато шуму. Він повністю не змінить нашого життя упродовж наступних двадцяти років, але у наступні два століття, можливо, він змінить усе. Одна з причин цього полягає у тому, що штучний інтелект поступово вбудовується у цей простір можливих розумів, який сам себе пізнає і розширює. Спочатку вам потрібно було програмувати штучний інтелект самостійно. Ще Алан Тюринг написав програму, яка містила декілька дуже простих правил для гри в шахи. І ця програма справді грала в шахи, хоча й поганенько. Тепер такі програми, як AlphaGo, самі вчаться грати в ігри і роблять це напрочуд добре.

Навчання – це спосіб рухатися далі у цьому просторі можливих розумів. Розпочніть із простого розуму і його здатності вчитися, і він кудись дійде. Еволюція є одним із таких методів. Я очікую, що невдовзі штучний інтелект використовуватиме еволюційні методи й ми побачимо якийсь різновид штучної еволюції, що, можливо, піде дивовижними і непередбачуваними шляхами далеко від вихідної точки. Навчання та еволюція комп’ютерів – це спосіб розширення цього спектра можливих розумів.

Але найпотужніший аспект цієї штучної еволюції ще повинен настати. Він прийде тоді, коли штучний інтелект програмуватиме сам себе. Іншими словами, штучний інтелект створюватиме штучний інтелект. Уявіть, що ми досягнули першого такого штучного інтелекту, який матиме людську здатність мислити універсально, а не в якомусь вузькому діапазоні, і, зокрема, сам умітиме створювати штучний інтелект. Десь за рік або два – ці речі блискавично удосконалюються – цей «штучний штучний інтелект» буле набагато кращим, ніж штучний інтелект, створений людиною. Далі він створюватиме нові форми штучного інтелекту, які знову і знову перевершуватимуть самих себе. Отже, люди його створили, а він створить щось краще. Цей процес рекурсивного самовдосконалення штучного інтелекту першим обґрунтував філософ та статистик Ірвінг Джон Ґуд, і я вважаю його неймовірним способом міркування про простори можливих розумів.

Тож ми розпочинаємо із нашого маленького куточка у просторі можливих розумів, а згодом шляхом навчання та еволюції він розширюється до нових і нових горизонтів. Поки що це усе ще дуже невеликий куточок, але штучні інтелекти, які ми вже створюємо, можуть допомогти створити набагато досконаліші версії. Вони рухатимуться у ширший простір, а ті – у ще ширший і т. д. Зрештою, усе це може призвести до появи систем, порівняно з якими ми виглядатимемо, як миші. Це буде справжній суперінтелект. Це можливо. Але я думаю, що цього не станеться у найближчі двадцять чи навіть п’ятдесят років.

Згідно з робочим визначенням, інтелект – це здатність досягати широкого спектра цілей та розв’язувати проблеми. Ці штучні інтелекти будуть системами, які зможуть досягати своїх цілей неймовірно потужними способами, якщо, звісно, у них будуть свої цілі. Якщо їх якось не обмежити, я думаю, що вони їх таки досягатимуть. Тому ми повинні бути дуже обережними. Якими будуть цілі штучного інтелекту? Як філософи, ми маємо думати про цінності. Але якими цінностями нам належить програмувати штучний інтелект? Нам належить також думати про свідомість. Чи ці штучні розуми «свідомі»? Чи їхня «свідомість» якось пов’язана з людською? Чи вони перетворяться у світ неймовірно підсилених людських переживань, чи, можливо, це будуть світи узагалі без свідомості? Можливо, ми поговоримо про це під час нашої дискусії.

І останнє питання полягає у тому, на якому рівні ми, люди, стоїмо щодо цих систем штучного інтелекту? Чи вони замінять нас, чи, можливо, лише підсилять? Чи зрештою ми самі станемо штучним інтелектом? Чи ми розширимо свої здібності? Чи завантажимо свою свідомість у комп’ютер? Порівняно зі сценаріями, за якими люди узагалі перестануть існувати, це може бути навіть досить привабливою альтернативою. Чи узагалі можливо завантажити людський розум в комп’ютер? Усе це підіймає деякі найстаріші філософські запитання про свідомість та ідентичність. Тож дуже добре, що Джон вирішив звести тут декількох філософів, науковців та інженерів, щоб поміркувати над цими питаннями.

Брокман: Дякую! Я повинен додати, що Дейв — це професор філософії та нейронауки, а також співдиректор Центру вивчення розуму, мозку та свідомості Нью-Йоркського університету. Денієла Деннета, думаю, не потрібно представляти.

Чалмерз: Я вимагаю, щоб ви таки представили.

Брокман: Ден Деннет — це професор філософії та директор Центру когнітивних студій при Університеті Тафтса.

Деніел Деннет – американський філософ та когнітивіст, професор філософії та співдиректор Центру когнітивних досліджень Університету Тафтса

Деннет: Дякую вам, Джоне! Дякую вам, Девіде! Це мають бути дебати, але у тому, що щойно сказав Девід, майже немає чогось такого, з чим би я не погодився, хоча я поки що не акцентуватиму на цьому «майже».

Поговорімо спершу про «можливе». Є багато речей, які можливі, утім – філософи люблять це підкреслювати – не все можливе стає дійсним. Можливо, наприклад, побудувати міст через Атлантичний океан, але ми цього не зробимо ані зараз, ні через тисячу років. Такий проєкт був би дуже дорогим і став би жахливою затією. Чимало проєктів штучного інтелекту, які можливі в принципі, не вартують того, щоб їх втілювати. А деякі ми узагалі не повинні створювати, адже вони принесуть набагато більше проблем, ніж користі.

Інколи говорять, що філософи – це ті, хто кажуть: «ми знаємо, що це можливо на практиці, тож потрібно з’ясувати, чи це можливо в принципі». На жаль, вони часто витрачають дуже багато часу на роздуми про логічні проблеми, які абсолютно незначні в усіх інших аспектах. Тож дозвольте мені запам’ятатися фразою: так, я думаю, що свідомий штучний інтелект можливий, оскільки чим же зрештою є ми самі? Ми свідомі. Ми – роботи, зроблені з роботів, які зроблені з інших роботів. Ми актуальні. Теоретично нас можна зробити з інших матеріалів. Деякі наші найкращі друзі в майбутньому, можливо, будуть роботами. Усе це можливо в принципі й не потребує якихось секретних інґредієнтів, але ми цього не побачимо. І для цього є декілька вагомих причин. Одна з них полягає в тому, що якщо вам потрібен свідомий суб'єкт, то навколо їх і так дуже багато. Усі вони чудові, тоді як ті, які ми створимо, зовсім не будуть такими чудовими.

Один з найбільших страхів перед майбутнім, на мою думку, полягає у тому, що перш ніж ми дійдемо до суперінтелекту, настане епоха людей, які будуть дуже залежними від не-суперінтелекту, причому настільки, що ми станемо дуже вразливими. Можна сказати, що проблема GPS в майбутньому дуже підсилиться. Люди більше не вміють читати карти і гадки не мають, як кудись заїхати без GPS. Я впевнений, що ця залежність від технологій у житті багатьох людей в майбутньому лише зростатиме.

Чи є хтось в цій кімнаті, хто знає алгоритм видобування квадратного кореня? Я знав його ще у школі, десь у восьмому класі. Це цілком можливо зробити за допомогою паперу і ручки, якщо знати алгоритм, який більше ніхто вже не хоче вчити. Щоб добути квадратний корінь, усе, що вам тепер потрібно, це лише натиснути кнопку на калькуляторі. Багато важливих сьогодні талантів атрофуються і житимуть хіба в руках дивакуватих ремісників, як, наприклад, тих, які і досі знають, як викувати підкову. Лише поодинокі люди в майбутньому знатимуть, як читати карти, керувати автомобілем і робити ще інші «дивні» речі, які більшість на той момент вже забуде. Саме це мене й турбує.

Ще більше мене турбує те, що ми з найкращих міркувань скинемо із себе відповідальність за прийняття важливих рішень і делегуємо їх штучному інтелекту, який ані свідомий, ні «супер». Він є лишень дуже хитримудрим інструментом, який дозволяє нам, наприклад, розпізнавати зображення. Хто ще двадцять років тому міг подумати, що існуватимуть такі речі? Зараз вони є, але коли ви починаєте делегувати важливі рішення системам, які є лишень розумними інструментами, то це змінює наше людське становище дуже непростим способом. Моє ставлення до усього цього полягає у тому, що нам потрібні розумні інструменти, але не штучні друзі. Різниця між ними у тому, що штучний друг – це хтось, хто міг би взяти на себе моральну відповідальність чи стати співавтором наших рішень. Ми і близько не наближаємось до цього зі штучним інтелектом.

Алан Тюринг, один з моїх героїв усіх часів, зробив якось те, чого не слід було робити. Знаменитий тест Тюринга винагороджує обман, адже у ньому потрібно переконати людей, що вони спілкуються з людиною, а не роботом. Це була справді хороша ідея, але відтоді преміями нагороджують тих, хто здійснює те, що я називаю «діснеїфікацією» штучного інтелекту, тобто роблять його дедалі подібнішим на людей. Але це загалом хибна реклама. Коли ми говоримо про «Сірі», «Ватсона» чи щось схоже, то усі вони мають цей дуже тонкий, наче папір, користувацький інтерфейс, який вводить в оману, буцімто вони щось там розуміють. Але це хибна реклама. Це слід не винагороджувати, а радше критикувати та засуджувати.

Нам потрібно позбутися звички ставитися до штучного інтелекту як до суб'єкта, адже він ним за суттю не є. Причина, чому це буде складно, полягає у тому, що багато людей прогнозують, що важливою нішею для штучного інтелекту стане догляд за старенькими. А чому б і ні? Доглядати за старшими людьми, які не можуть пильнувати за собою самі, не є добрим життям для звичайної людини. Це, можливо, навіть гірше, ніж бути старосвітським телефонним оператором. Ми не шкодуємо про втрату цих професій. Догляд за старенькими може бути і справді доброю підставою для «діснеїфікації» штучного інтелекту, адже вони хотітимуть бачити біля себе компаньйона, а не лише когось, хто їх годуватиме чи чиститиме їм зуби. Утім, мені не подобається майбутнє, в якому мільйони старших людей проводитимуть час з цими штучними «компаньйонами», які у багатьох важливих аспектах є фейками.

Брокман: Дякую!

Чалмерс: Ми тут погоджуємося у багатьох питаннях, але, можливо, у нас є незгода щодо ключового питання: чи існуватиме, власне, автономний суперінтелект? Ден у своїй частині книги написав про це дуже ясно і вдумливо. Він вважає, що хоча й можливо створити автономний, розумний та свідомий штучний інтелект, ми все-таки не повинні цього робити і, можливо, ніколи цього й не зробимо. Натомість він вважає, що нам потрібно створювати знаряддя. Він використовує цю чудову аналогію з картами Google, які вказують вам, як кудись дістатись, але вам все-таки потрібно самотужки туди доїхати. Карта може показати вам дорогу, але вам усе ще потрібно прийняти рішення, чи їхати цієї дорогою. Людина досі залишатиметься в цій системі. Ви отримали певну пораду, але вам самим потрібно вирішити, чи прийняти її. Саме так я бачу Денову візію штучного інтелекту. Можливо, ми матимемо в майбутньому суперінтелект, який підказуватиме нам, як полетіти на Марс або виграти якусь війну. Штучний інтелект зможе підказати, що потрібно зробити, але рішення все-таки залишатиметься за нами.

Це прекрасна візія, але я маю сумніви, що вона реалістична. Відбуватиметься величезна кількість спроб таки вийняти людину з цієї системи і передати штучному інтелекту здатність автономно діяти на основі власних порад. Власне, це вже відбувається з картами Google та навігаційними програмами. В самокерованих автомобілях, таких як Tesla, ви досить довго вказували їм пункт призначення, а вони вже самі пропонували вам декілька маршрутів, з яких вам належало вибрати той, яким їхати. Згодом інженери запровадили функцію «навігація за автопілотом», завдяки якій машина вже сама обирає для себе інструкції і рухається за ними. Вона сама обертає кермо і обирає смугу руху. Є, звісно, обмеження, адже така машина ще наразі не може рухатись звичайними міськими вулицями.

В одній невеликій сфері ми вже бачимо, що машина стала обмежено автономною. Вона має свої цілі і самостійно діє, щоб їх досягнути. Так, ми досі можемо цю машину зупинити і скерувати до іншого місця, але коли я міркую, наприклад, про автономну зброю на полі бою, то поки що ставки низькі, ми і справді матимемо лише системи, які тільки радитимуть солдату, яку ціль вибрати. Але коли штучний інтелект почне виконувати ці завдання набагато краще і швидше за людину, то у військових одразу з’явиться спокуса створити і використати на полі бою повністю автономні системи, особливо з огляду на те, що ставки військового конфлікту дуже високі.

Як порівняти із супершвидкими роботами, біологічні системи в кінцевому підсумку виявляться дуже повільними і вразливими. У фінансовій (фондовий ринок) та військовій сферах й навіть у науці стимули запровадити такі системи будуть дуже високими. Уникнути автономії буде дуже непросто. Якщо в цьому буде інтерес урядів чи технологічних компаній, то, звісно, це станеться. Тож я не думаю, що є шанси цього уникнути.

Деннет: Ви порушуєте справді важливі питання, які полягають у тому, скільки автономії ми хочемо надати цим системам. Ми не хочемо, щоб самокеровані автомобілі, наприклад, були аж надто автономними. У Dilbert недавно з'явився комікс, в якому автономна машина заявила головному герою: «Я хочу, щоб мене називали Карл. Самокероване авто – це моє рабське ім’я». Герой відповів: «Заткнись і вези мене в магазин». А машина йому на те: «...Сказала самоходяча людина».

Ми не хочемо аж такої автономії. Автономія – це синонім свободи волі, і я не хотів би навіть думати, що ми зможемо надати штучному інтелекту повну автономію, адже технології мають певну невразливість, якої ми, люди, не маємо. Ви можете щось скопіювати і знову скласти докупи або зробити нову копію в понеділок, але якби нас, людей, так само можна було копіювати і відновлювати, це б драматично змінило природу людських відносин. Я не хочу, щоб щось подібне сталося, і думаю, що багато людей теж цього не хочуть.

Тож якщо ви маєте рацію, що ринковий тиск і справді вестиме нас до автономного штучного інтелекту, то нас чекає дуже похмуре майбутнє. Що може статися? Наприклад, ми надамо йому більше автономії, ніж йому потрібно, і саме цього я боюся.

Брокман: Кароліна Джонс, одна з есеїсток в нашій книзі, надіслала питання, яке стосується нашої залежності від комп’ютерного погляду на світ. Вона запитує: «Чи могли би ви поміркувати про складність нашого "сирого" пізнання, тобто радше ‘децентралізованого’ погляду на інтелект, що виходить за межі ідей про обчислення. З цього погляду, що таке смерть робота? І чи за відсутності смертності може існувати належна етика штучного інтелекту?» Цей «обчислювальний» погляд здебільшого стосується Західного узбережжя. Кібернетики – Вінер, Шеннон, МакКалок, фон Нойман – мали радше екологічний погляд на те, як різні елементи штучного інтелекту поєднуються і взаємодіють між собою.

Чалмерс: Це чудове питання, і ми цілком можемо пов’язати його з нашою дискусією. Щодо того, чи є у штучного інтелекту життя і смерть й що таке автономія комп’ютера, Ден сказав, що автономія потребує свободи волі. У цьому випадку нам потрібно давати собі раду з усіма філософськими питаннями, які стосуються свободи волі. Чи ви справді вважаєте, що ми можемо вирішити питання про те, чи має штучний інтелект свідомість чи свободу волі? Це – великі філософські проблеми. Для питань безпеки і людського виживання набагато важливіше те, що ці системи зможуть робити, а не їхні властивості.

Для цих дебатів автономію краще описати простими термінами. Система автономна, якщо вона має широкий спектр своїх цілей і може їх досягати. Я маю на увазі системи, які зможуть не лише ставити цілі, а й досягати їх, усупереч Деновій візії штучного інтелекту як засобу, що лише радитиме вам, як досягати ваших власних цілей. Я не впевнений, чи для цього потрібна свідомість. Якщо ви матимете системи з власними цілями і здатністю їх досягати, цього буде цілком достатньо, щоб почалась забава.

Деннет: Коли ви порівнюєте «старий-добрий» штучний інтелект із сучасним, то між ними є велика різниця. Сьогоднішнє глибинне навчання – це лишень чудові інструменти розпізнавання структур. Вони прекрасно вміють шукати голку в копиці сіна і роблять ще багато неймовірних речей, але вони ще не стали архітектурою, яка б нагадувала суб'єкта з власними цілями. Існують, щоправда, два способи, як можна цього досягнути. Ви можете повернутися до «старого-доброго» штучного інтелекту і сказати: ось у нас є тканина – як нам тепер з неї щось пошити? У цьому разі вам доведеться програмувати машину «зверху вниз». Вам потрібно буде зрозуміти, які б ви хотіли інсталювати у неї цілі, а також вам доведеться обмежити її правилами Азімова. Це – один зі способів. Це дуже складно – набагато складніше, ніж більшість людей це собі уявляє.

Інший спосіб – рухатися «знизу вгору»: нехай система сама розвивається і навчається якимсь квазідарвіністським спосом. Якщо ми рухатимемося цим напрямком, то знатимемо з самого початку, що цей процес нам непідконтрольний. Як наслідок, ми запустимо процес, де кількість автономії, яку матиме система, обиратимемо не ми.

Я ще не боюся цього просто зараз, оскільки прогнози можливостей таких систем здебільшого хибні. На шляху реалізації їхнього потенціалу стоять складнощі неймовірного порядку. Візьміть, для прикладу, «Ватсона». Я не знаю, скільки людино-століть пішло на створення цього робота, який ще й споживає енергію невеликого міста. Але який відсоток розумної свідомості у ньому є? Я б сказав, що лишень невелика частка відсотка. Щоб перетворити його на справжнього розумного суб'єкта, потрібні такі обсяги енергії та ресурсів, які нам поки що навіть складно уявити.

Чалмерс: «Ватсон» – це приклад того, що називають інженерією знання. Дайте йому достатню базу даних і добрі алгоритми користування цими даними, і він зможе використати їх найнемовірнішим способом.

Деннет: Він і справді робить фантастичні речі. Це – чудове знаряддя.

Чалмерс: Ви бачили рекламу IBM? «"Ватсон" робить те, "Ватсон" робить се». Є десь біля сорока чи п’ятдесяти «Ватсонів». З цього погляду, «Ватсон» — це щось схоже на бренд.

Деннет: І на хайп, якщо висловлюватись ввічливо.

Чалмерс: Людей зараз захоплює машинне навчання, де ви маєте системи із багатьох даних і навчаєте їх робити певні речі. Під людським наглядом такі системи вже тепер приходять до дивовижних результатів, наприклад, у класифікації зображень. Навчання з підкріпленням, яке використали у AlphaGo і AlphaZero і в якому штучний інтелект навчав себе сам на основі виграних і програних партій, як виглядає, може бути цілком достатньо, щоб він вчився навіть без людського нагляду. Ви праві, що у процес навчання тут включаються еволюційні механізми й він стає неймовірно складним і непередбачуваним.

Коли ви маєте машинне навчання, ви завжди щось оптимізуєте. У машинному навчанні є так звана цільова функція. Ідеалом поведінки системи є повністю розпізнати увесь набір тренувальних зображень, правильно класифікувати мову або виграти усі партії в Ґо. Це і є цільова функція. Рано чи пізно машинне навчання досягатиме її дедалі краще. І це залежатиме не від нас. Цільова функція залежить від нас лише у тому сенсі, що ви хочете щось максимізувати для вашої системи або змоделювати її поведінку. Як тільки ці системи отримають автономію, тобто здатність ставити власні цілі і досягати їх, на нас, як на творців штучного інтелекту, ляже величезна відповідальність за те, щоб ці цільові функції працювали правильно. Іншими словами, штучний інтелект повинен мати правильні цілі. Наприклад, ціллю самокерованого автомобіля є не лише завести вас з пункту А в пункт Б, але й також не збити по дорозі пішохода, дотримуватися правил дорожнього руху і т. д. Як тільки ви матимете системи з людським ступенем автономії, ви захочете, щоб вони працювали бездоганно.

Зрозуміло, що програмувати наші системи правильними цілями і цінностями стане дуже великим викликом, і саме тут ми маємо справу з усім цим хаосом «сирого» сприйняття. Як люди, ми не маємо якоїсь єдиної цільової функції, натомість у нас їх багато. Ми прийшли у світ не внаслідок прямого задуму, а після тривалої еволюції, кінцевою метою якої є кількісне поширення наших генів. Утім, вздовж нашого шляху постійно виникає певна кількість малих і хаотичних цільових функцій. Цілком можливо, що якась форма штучної еволюції зрештою породить штучний інтелект, який буде настільки ж сирим і хаотичним, як і біологічні системи. Люди настільки непередбачувані, зокрема в міжнародному та соціополітичному контексті, що такий штучний інтелект був би справді не надто доброю річчю. У певний момент у нас може виникнути бажання мати простіший штучний інтелект з простими цільовими функціями. У такому разі ми принаймні зможемо його розуміти.

Брокман: Підзаголовок цього вечора такий: “Філософія та штучний інтелект”. Тож у мене до вас є питання: Як ви розрізняєте свою роботу як когнітивних науковців та як філософів?

Дозвольте, я розкажу вам історію. Двадцять п’ять років тому я написав книжку під заголовком «Третя культура», в якій один розділ був написаний спільно із Деном. Я звернувся до інших співавторів книги і попросив їх поділитися, що вони думають одне про одного. Марвін Мінський відповів на мій телефонний дзвінок, і коли я запитав його про Дена, він сказав: «найбільший філософ з часів Рассела». Через шість місяців я робив фактчекінг, і коли я знову звернувся до Мінського і процитував йому його ж слова, він сказав: «Я мав на увазі не лише те, що він є видатним філософом, а й те, що він єдиний з них, хто розуміє те, що ми робимо».

Ви – один із тих, хто займається реальними справами. Тож де закінчується когнітивна наука і починається філософія? Давайте поговоримо про роль філософії у штучному інтелекті, оскільки, признаюсь, я не зовсім її розумію.

Деннет: У філософії є одна підгалузь, яка настільки злилась з когнітивною наукою, що, по суті, зайняла ту ж позицію щодо неї, яку теоретична фізика займає щодо експериментальної. Ви розповідаєте про людей, які вивчили своє «домашнє завдання» і знають технології. Вони мають руки, щоб писати коди, але їх цікавлять також теоретичні питання, а ще допомога інженерам та іншим людям, які займаються штучним інтелектом і намагаються зрозуміти, з чим вони мають справу.

Мені дуже пощастило, що протягом останніх тридцяти-сорока років я вчився у лідерів цієї справи. Я не є хорошим програмістом, хоча трохи вмію писати програми. Теперішнє покоління філософів та когнітивних науковців – це чудово освічені люди, які знають набагато більше, ніж я і Дейв, коли ми лише починали цим займатися. Наприклад, сьогодні я читав дисертацію про прогностичне опрацювання та гіпотезу Баєсівського мозку. Це була дуже технічна дисертація, яку написав філософ.

Брокман: Це не принесе вам Премію Берґруена. З погляду філософського істеблішменту, я не бачу, щоб хтось, хто займається штучним інтелектом, міг би отримати одну з їхніх премій.

Чалмерс: Я думаю, що ви помиляєтесь. Багато філософів, які міркували про розум, займалися також і штучним інтелектом. Ден – найкращий тому приклад. Він є одним з провідних філософів розуму на нашій планеті, а велика частина його досягнень походить саме від міркувань про штучний інтелект. Це була одна з основних філософських тем кількох останніх десятиліть.

Я написав дисертацію на тему штучного інтелекту. Мій науковий керівник був академічним філософом. Це був дослідник штучного інтелекту, когнітивний науковець і письменник Дуґлас Гофштадтер, відомий загалу завдяки своїй книзі «Ґьодель. Ешер. Бах». Він також у парі з Деном написав книгу «Я розуму». Хоча вже кілька десятиліть я не пишу програми, але цей досвід «забруднення рук» і створення таких систем надзвичайно мені допоміг. Моїм технічним знанням тепер тридцять років, але вони дали мені щось, з чого я міг розпочати. Таким способом філософи можуть набути знань з інженерії та природничих наук і зробити у них свій внесок.

Велика частина штучного інтелекту та когнітивних наук присвячена створенню програм, але є ще й інша частина, яка запитує, що вони можуть розказати, наприклад, про людський розум. Це вже більше не інженерія. Це – наука і філософія. Ми починаємо краще розуміти, як співвідносяться природні і штучні системи. Ден зробив дуже багато у цій сфері, тоді як інші, зокрема Джон Серль, стверджують, що комп’ютери узагалі нічого нам не кажуть про людський розум та свідомість. У будь-якому разі, нам потрібні філософи, щоб пояснити, що усе це означає.

Є також соціальні, політичні та моральні аспекти, які стосуються не лише того, які системи штучного інтелекту ми можемо створити, а й того, як ми повинні створити. Ден часто висував свої пропозиції у цій сфері. Дехто може мати інші пропозиції, але хтось повинен розмірковувати над етичними питаннями, які включають, зокрема, рефлекцію над людськими цінностями. Що ми хочемо як суспільство? Філософи знають, як мислити про цінності, і це стає однією з центральних тем і для штучного інтелекту.

Брокман: Це дуже корисно.

Деннет: Це також надзвичайно цікаво, адже протягом минулих років до сфері штучного інтелекту був і філософський інтерес. Багато людей воліють бути лишень інженерами і прагнуть уникати філософських питань. Це, однак, не означає, що вони не роблять чудової роботи. Втім, багато з них позіхають, як тільки мова йде про щось, що стосується когнітивних наук та розуму.

Іронія полягає, на мою думку, в тому, що коли ви повернетесь до ранніх років Герберта Саймона, Алена Ньювелла та інших піонерів штучного інтелекту, то побачите, що тоді були спроби розділити сам штучний інтелект та когнітивну симуляцію. Ідея полягала у тому, що когнітивна симуляція використовує комп’ютери, щоб імітувати людське пізнання, а штучний інтелект включав би усе, що працювало й працювало добре. Як виявилось, люди, які займалися когнітивною симуляцією, не придумали нічого кращого за ці громіздкі моделі GoFi, які не вміють робити нічого путнього, тоді як люди, які підходили до штучного інтелекту суто інструментально, винайшли глибинне навчання та інші неймовірні системи, які – як ми тільки тепер починаємо це розуміти, – можливо, й справді працюють за принципами людського мозку.

Брокман: Дене, Стюарт Рассел має запитання суто до вас. Стюарт Рассел – це один з провідних комп’ютерних науковців, якого ми дуже поважаємо. «Здається, що ви розділяєте системи штучного інтелекту на свідомі об’єкти і знаряддя. Чи є між ними якась проміжна територія, наприклад, програми-суб'єкти, які мають конкретні цілі в реальному світі? Такі суб'єкти можуть бути компетентними у своєму невеликому діапазоні, як, наприклад, AlphaGo, але при цьому не бути свідомими. Чи ви вірите у те, що свідомість обов’язково «заповзе» у них, як тільки ми розширимо їхній функціональний діапазон? Чи відомий вам рецепт, як уникнути свідомого штучного інтелекту?

Деннет: Добре запитання, і я радий, що мені його поставили. Справді, ми можемо створювати дуже розумні системи, які, щоправда, не є свідомими у якийсь цікавий для нас спосіб. Але вони можуть здаватися нам свідомими, не маючи, щоправда, тих ознак, які маємо ми. Це передусім стосується того, чи здатні вони сприймати свої внутрішні стани як об’єкти для спостереження. Це дуже специфічна риса. Жодна нелюдиноподібна істота не має такої здатності, і саме тут проходить межа між людською свідомістю і тваринною чуттєвістю.

Я не збираюсь сперечатися про те, де свідомість починається і де закінчується, але важливо зрозуміти, що багато технік та структур, які були розроблені в минулому і є такими ж добрими для аналізу причинності, як і свідомий розум, наприклад, спрямовані ациклічні графи чи do-обчислень Джуди Перла, можуть виконуватися несвідомо. Ззовні це виглядає так, наче опрацювання гіпотези відбувається свідомо, втім ніякої свідомості там немає. Ми можемо отримати всі ці переваги і без того, щоб система була хоч трішки ознайомленою зі своїми внутрішніми станами.

Брокман: Ви згадали Джуду Перла, тож до вас запитання від нього самого. Джуда Перл є батьком Баєсової мережі, без якої ми сьогодні б не мали штучного інтелекту. Він є справжнім гігантом у цій сфері. Він запитує: «Чи не надто сміливим є припущення, що філософія скоро увіллється в штучний інтелект і всі філософські питання, особливо ті, що стосуються свідомості, зводитимуться до штучного інтелекту?».

Чалмерс: Я б це питання поставив дещо інакше. Філософія досить добре вміє запускати свої проблеми в інші науки. Ісаак Ньютон створив блискучі методи для вирішенння задач часу, простору і т. д., але при цьому вважав себе філософом. Люди «розкрутили» ці методи і назвали їх фізикоюю. Згодом філософія так само відбрунькувала психологію та лінгвістику. Таке відбрунькування жодним чином не вирішило первісних філософських проблем, однак ми побачили, що певна частина з них є податливою і в ній можна створити методи, з якими погодилися би всі люди, хоча досі їхні думки були розділені.

Чи фізика вирішила всі філософські проблеми часу і простору? Звісно, що ні. Найбільші з них залишаються невирішеними. Чи психологія розв'язала проблему дихотомії розуму і тіла? Теж ні. Нині є стільки ж поглядів на цю проблему, скільки було в минулому. Чи штучний інтелект розв’яже усі проблеми свідомості? Я майже впевнений, що не розв’яже, принаймні не сам по собі. З іншого боку, я переконаний, що він надасть нам чимало нових здогадок. Ми отримаємо безліч систем на основі штучного інтелекту, які поводитимуться так, наче вони і справді свідомі, а дехто навіть подумає, що є добрі підстави вважати їх свідомими. Але нам однаково буде потрібна філософія, щоб мислити про них таким чином.

Тут ми знову повертаємося до нашого вихідного запитання: чи ці системи штучного інтелекту і справді можуть стати свідомими? Хоча це й філософське питання, але ви не зможете від нього так просто відмахнутися. Чому? У наш людський моральний компас глибоко вкорінене уявлення про моральний статус суб’єкта. Цього статусу йому надає свідомість. Якщо комп’ютерна система не має свідомості, тоді це просто річ, яка не претендує на моральний статус. Але якщо система свідома, тоді вона вже входить в моральну сферу й ви повинні про неї піклуватися. Тож якщо більшість систем штучного інтелекту стануть свідомими, ми вже не зможемо просто їх використовувати яко речі, а маємо замислитися про усі ці моральні запитання: Чи мають вони права? Чи заслуговують на повагу?

Я підозрюю, що коли системи штучного інтелекту розвинуться настільки, що вони будуть все більше здатні до рефлексії над власними процесами та до розумування, вони матимуть відчуття, що є власне свідомими системами. Можливо, ми з ними навіть зможемо порозмовляти. Я собі уявляю цю розмову десь так: «Ви кажете, що ви – люди. Звідки ви це знаєте?». Можливо, вони навіть почнуть розмірковувати над філософією: «Я прочитав інструкцію свого власника. Там сказано, що я лишень набір мереж. Але я себе відчуваю чимось більшим».

Брокман: Для вас це кваліа.

Деннет: Є одна річ, яку, на мою думку, ви недооцінили. Коли я працював з Робом Бруксом над роботом Cog, у всій цій справі мене найбільше дивувало те, як легко переконати більшість людей, що робот може бути свідомим. Cog і за милю не мав свідомості, але під враженням від нього студенти з MIT почали міркувати про моральний статус роботів. Поведінка Cog’а і справді переконливо нагадувала свідому. Коли ви перебували в кімнаті, де був Cog, він супроводжував вас поглядом. Багатьох це лякало. Хтось хотів потиснути йому руку. Якось я взяв свою асистентку в лабораторію, де був Cog. Його рука навіть не була під’єднана до плеча і просто лежала на столі. Я запропонував їй потиснути його руку. Вона підійшла, потисла руку, а тоді відскочила і закричала: «Воно живе!». Отже, я не впевнений, що у вас будуть проблеми з тим, щоб переконати людей, що роботи свідомі і мають моральні права. Проблеми радше будуть у тому, щоб переконати їх, що вони не мають свідомості. Ви недооцінюєте темп прогресу.

Чалмерс: Існують психологічні дослідження, які показують, коли саме люди починають вважати, що система свідома і має суб’єктивний досвід. Один з основних факторів – присутність очей. Якщо система має очі, нам набагато легше повірити, що вона свідома. Щойно ми створимо наші перші системи штучного інтелекту і вмонтуємо їх в роботів з очима, в людей з’явиться майже непереборне бажання вважати їх свідомими. Натомість ми значно менше схильні вважати свідомими не виконані у «тілі» системи.

Існує впливова організація «Люди за етичне поводження з тваринами». Я думаю, що пора уявити собі її аналог: «Люди за етичне поводження з системами навчання з підкріпленням». Ідея полягає в тому, що коли ви відправляєте системі негативний сигнал, ви приносите їй певну частку «страждань», а коли позитивний – «винагороду». Ми повинні переконатись, що «винагороджуємо» свої системи більше, ніж приносимо їм «страждань». Можливо, це і не найкращий спосіб міркування про свідомість, але нам однаково доведеться думати про ці питання. Коли ми дійдемо до рівня справжніх автономних суб'єктів, як сказав Ден, нам доведеться ставитись до них як до свідомих, а це висуне дуже багато складних соціально-філософських питань.

Брокман: Ми говоримо про етику, а етичний «слон в кімнаті» – це етика «Великої п’ятірки» й те, що вони роблять з нашими даними і як програмують нас без нашої згоди та голосу. Дозвольте мені навести цитату з книги Джорджа Дайсона:

«Норберт Вінер був неймовірно розчарований "ґаджетообожнювачами", чий корпоративний егоїзм приніс "мотиви до автоматизації, які виходять за межі легітимної цікавості і є гріховними самі по собі". Він знав, що загроза майбутнього полягала не у тому, що машини ставатимуть схожими на людей, а в тому, що люди будуть подібні на машини. "Cвіт майбутнього стане дедалі вимогливішою боротьбою проти обмежень нашого інтелекту, а не комфортабельним гамаком, на якому ви зможете лежати і чекати, коли прийдуть роботи-раби"», – писав він.

Прокоментуєте?

Деннет: Книгу Вінера я прочитав, ще коли був студентом. Окремі есе у ній по-справжньому страшні. Люди повинні читати ці есе і вирішувати для себе, чи, бува, не треба посадити прихильників безмежного технологічного поступу навпроти себе і спробувати відрадити їх від майбутнього, яке вони нам обіцяють. Перед нами постали деякі дуже серйозні проблеми, і ми також повинні поставитись до них не менш серйозно.

Чалмерс: Він говорить про людей, яких трактують як машини. Я не думаю, що до мене ставляться як до машини. Я думаю, що я поступово стаю машиною. Половина моїх спогадів тепер зберігається або в моєму телефоні, або у «хмарі». Я цікавився тим, хто ж контролює більшу частину мого мозку. Чи це Google, Apple, чи Facebook? Я думаю, що це може бути Google. Вони отримали дуже багато моїх спогадів, моїх планів, мою календарну систему, мою навігацію і т. д. Ми всі вже давно стали цими гігантськими екзо-організмами з цим гігантським екзо-кортексом, як про це сказав Чарльз Строс. Я нікуди не піду без консультувань з інтернетом разів п’ять чи десять. Ці корпорації і справді володіють великою частиною мого розуму. Якщо вони захочуть зробити з ним щось погане, у мене будуть великі проблеми. Ми дійсно потрапили у ситуацію, коли ми повинні віддати їм велику частину нашої довіри.

Брокман: Але якщо вони і справді захочуть зробити з цим щось погане?

Чалмерс: Вони, власне, вже роблять з цим невеликі погані речі. Вони ще не забирають мій розум і не перепрограмовують його. Звісно, вони промивають нам мізки шматочок за шматочком через алгоритми Facebook та цільову рекламу. Я не думаю, що великі корпорації мають ще якісь зловмисні цілі, а не тільки структурні стимули. Але якщо хтось по-справжньому зловісний отримає контроль над цими системами, тоді ми й справді житимемо в дистопії.