Проблема вагонетки

Питання року від Edge: Який науковий термін чи поняття має бути відомий ширше?

Історія науки рясніє "уявними експериментами" – термін, який придумав Альберт Айнштайн ("gedankenexperiment") для уявного сценарію, здатного чітко сформулювати суть якоїсь інтелектуальної проблеми і тим самим викликати глибокі роздуми на шляху до вирішення чи пов'язаного з цим відкриття. Серед найбільш відомих – розповідь Айнштайна про слідування за променем світла, що привело його до спеціальної теорії відносності, і розповідь Ервіна Шредінґера про бідного вічно напівживого і напівмертвого кота, який застряг у диявольськи сконструйованому квантовому механічному ящику, що підкреслює складні взаємодії між хвильовою механікою і вимірюванням.

"Проблема вагонетки" – ще один уявний експеримент, що виник у моральній філософії. Версій багато, але ось одна з них: вагонетка котиться по рейках і досягає точки розгалуження. Зліва на її шляху неминуче опиняється одна особа, а праворуч – п'ять людей. Ви можете перекинути стрілки і перевести вагонетку з колії з п'ятьма жертвами на колію з одною. Візок неможливо загальмувати. Зробите це? А якщо ми дізнаємося більше про людей на колії? Може, одна – це дитина, а п'ятеро – літні люди? Може. цей один – батько, а інші є самотніми? Як всі ці різні сценарії змінюють ситуацію? Що важливо? Що ви оцінюєте і чому?

Це цікавий уявний експеримент, але в наші дні він є чимось більшим. В міру того, як ми все більше завантажуємо наші рішення в машини і програмне забезпечення, яке ними керує, розробники й інженери все частіше стикаються з необхідністю програмувати – і, отже, безпосередньо кодувати – важливі рішення, що можуть бути питаннями життя і смерті. Прийняття рішень завжди супроводжується системою цінностей, "функцією корисності", за допомогою якої ми робимо ту чи іншу справу, бо один шлях відображає більшу цінність результату, ніж інший. Іноді цінність може здаватися очевидною або тривіальною – цей блендер вам пропонують, бо є ймовірність, ґрунтована на різних даних вашої купівельної історії, що ви його купите; ця пара взуття має більшу ймовірність бути придбаною (або, можливо, не більшу ймовірність, але варто спробувати, бо це взуття дороге – це веде нас до ймовірнісних розрахунків очікуваного доходу), ніж інша. Ця пісня проти тієї пісні і т. д.

Але часами ставка є вищою: ця чи тамта новина? Чи, загальніше, ця частина інформації або тамта частина інформації на дану тему? Цінності, закладені в програму, можуть почати формувати ваші цінності, а разом з ними і цінності суспільства. Це достатньо високі ставки. Проблема вагонетки показує нам, що системи цінностей, які пронизують програмування, можуть бути буквально питаннями життя і смерті: незабаром у нас будуть вагонетки без водіїв, автомобілі без водіїв, вантажівки без водіїв. Фігня має властивість трафлятися, і тоді треба робити вибір: підліток на велосипеді на узбіччі чи генеральний директор зі списку Fortune 500 зі своїм помічником в автівці, що загальмувала попереду? Що зробить ваш алгоритм і чому?

Ми побудуємо безпілотні автомобілі – і вони буквально будуть мати моральний компас. Те ж стосується і наших роботів-компаньйонів. Вони матимуть цінності й обов'язково будуть моральними машинами та етичними автоматами, чию мораль і етику ми спроектували. "Проблема вагонетки" – це gedankenexperiment для нашої епохи, що кидає яскраве світло на складність інженерії нового світу людей і машин.