В Австралії це називають “роботизованим боргом”, або просто “робо-боргом”: автоматизована система стягнення боргів викликає страх, тривогу, злість та сором серед людей, які залежать від соціальної допомоги. У 2016-му соціальні служби країни запровадили новий спосіб розрахунку щорічних доходів отримувачів соціальної допомоги і почали надсилати автоматичні повідомлення людям, котрим, як ідентифікувала система, переплатили соціальну допомогу, з вимогою повернути різницю. Суть нового методу розрахунку доходів у тому, що дохід домогосподарства протягом двох тижнів могли усереднити на весь рік. Для людей, які працюють за контрактом, на тимчасовій роботі або зайняті неповний робочий день, це стало неабиякою проблемою. За деякими свідченнями, якщо спочатку австралійці отримували 20 тисяч повідомлень про заборгованість протягом року, то після нововведення система почала розсилати таку ж кількість листів вже лиш за тиждень.
Крім того, якщо раніше алгоритм визначав, що якійсь людині держава, можливо, переплатила соціальну допомогу, то далі вже службовець-людина перевіряв цей випадок. Після запровадження автоматизованої системи цей крок забрали. Тепер отримувачі соціальної допомоги самі повинні довести, що в них нема боргів. А це часто непросте завдання — доводиться годинами телефонувати в різні інстанції, надсилати запити і шукати копії чеків часом аж семирічної давності. Найгірше те, що більшість повідомлень про переплату отримали люди, які й так жили в скрутних матеріальних умовах. Багато з них впали у відчай, адже не мали часу і ресурсів, щоби протистояти системі. Газети повідомили навіть про одне самогубство. Врешті австралійські соціальні служби визнали, що алгоритм помилявся, як мінімум, у чверті випадків — а сенат країни, провівши власне розслідування, дійшов висновку, що новий процес нарахування боргу характеризує “фундаментальна нестача процедурної чесності”.
Ми ввійшли в епоху великих даних. Сьогодні бізнес-корпорації та уряди в усьому світі отримують дедалі більший доступ до різноманітної інформації про громадян, пов’язують між собою різні набори даних і щораз частіше використовують алгоритми і штучний інтелект, щоб отримати безпрецедентне розуміння людської поведінки й ухвалювати швидші ефективніші рішення. Ми ще досі не знаємо, до яких наслідків усе це може призвести. Про кожного з нас у руках корпорацій та урядів є неймовірна кількість інформації. Разом із величезною обчислювальною потужністю це означає, що кожен стає безконечно прозорим перед владою і бізнесом, маючи при цьому дуже обмежені можливості контролювати свої дані чи впливати на те, як їх використовують.
Дослідники з Лабораторії цифрової справедливості (Data Justice Lab) при Кардіффському університеті у Вельсі, Сполучене Королівство, постійно нотують шкоди, яку заподіяли людям “великі дані” й автоматизовані алгоритми по всьому світу (Data Harm Record). Мета — не лише глибше збагнути виклики цифрової епохи, а й розробити ефективні правові методи, як люди можуть відстояти свої права, зокрема маргіналізовані та дискриміновані верстви населення.
Скандал з “робо-боргом” є лише одним із прикладів дисбалансів, які характеризують цифрові системи прийняття рішень. Щоби зрозуміти те, що сталося в Австралії, потрібно дати відповіді на кілька запитань. Чому систему, яка часто помиляється, запровадили без адекватного процесу захисту громадян? Чому ніхто не оцінив наслідків, перш ніж ввести її в дію? Чому не врахували потреб вразливих верств суспільства, по яких вона вдарила найбільше? Чому уряд вважав допустимим усунути людський нагляд у такій важливій справі, як стягнення боргів, від якої часто залежать людські долі? Проблеми з “робо-боргом” та багатьма іншими цифровими алгоритмами значною мірою зумовлені соціальними та політичними контекстами, зокрема поділом людей на “заслужених” та “незаслужених”, який впливає на те, як їх оцінюють і як з ними поводяться.
Деякого відсотка помилок в автоматизованих системах неможливо уникнути: вони завжди видаватимуть фальшиві позитивні та фальшиві негативні результати. Але навіть випадкові, здавалося б, помилки можуть мати дискримінаційних зміст. Наприклад, системам розпізнавання облич набагато важче даються не білі лиця. Це зумовлене тим, що системи тренують на базах даних із переважно білими обличчями. Крім того, працівники технологічних компаній, які розробляють ці системи, також здебільшого білі. Як наслідок, у цьому випадку алгоритм важко назвати справді неупередженим.
За даними дослідницької групи ProPublica, алгоритми, які передбачають, хто із засуджених може знову сісти за ґрати, вдвічі частіше обирають чорношкірих правопорушників, ніж білих. Схожі системи використовують усюди в Сполучених Штатах, й вони впливають на можливість отримати реабілітацію замість в’язниці. Оскільки алгоритми є приватною чи державною власністю, важко дізнатися, як точно вони працюють. Але, очевидно, що важливу роль відіграють такі фактори, як наявність роботи, рівень доходу чи сімейна історія. Алгоритми, в яких закладена інформація зі світу, де панує нерівність та дискримінація, схоже, лише підсилюватимуть їх.
Непокоїть те, що розробники алгоритмів та власники ІТ-компаній майже не помічають обмежень та негативних сторін систем, які вони створюють. Наприклад, набори даних, на яких тренують штучний інтелект, можуть бути з помилками або скомпільованими з інших наборів, які несумісні між собою. Часто люди, які впроваджують автоматизовані системи, не знають про бюрократичні та інфраструктурні проблеми, що можуть ускладнити їхнє функціонування, а також не вникають в те, як вони можуть вплинути на вразливі та маргіналізовані групи населення, й не консультуються з тими, хто має досвід і знання в цій сфері. Коли алгоритми приходять на зміну людині, вони усувають корективний зворотний зв’язок, який виникає під час взаємодії між людиною і людиною.
Часто шкода походить від того, як саме використовують великі обсяги інформації. Наш цифровий слід — дані, які ми залишаємо після себе, коли спілкуємося, подорожуємо чи купуємо щось в Інтернеті — дозволяє сконструювати детальні профілі, вникаючи в інтимні подробиці нашого життя. За цими даними цілком можна класифікувати людей на основі релігії, сексуальної орієнтації, захворювань, фінансової вразливості тощо. Дослідниця Пем Діксом зі Світового форуму приватності виявила, що дата-брокери (компаній, які збирають і продають споживчі дані) пропонують купити списки людей, які страждають від нарко-, алко- чи ігрової залежності, деменції чи були жертвами сексуального насильства. Розслідування причин фінансової кризи 2008 року виявило, що банки проводять категоризацію клієнтів, щоби краще на них впливати. У 2012-му Департамент юстиції США стягнув 175 млн доларів з компанії Well Fargo за звинуваченнями, що вона систематично нав’язувала афро-американським та іспаномовним клієнтам дорожчі угоди.
Загалом шкода, яку здатні заподіювати великі масиви даних, дуже різноманітна. Це і втрата приватності від витоку даних, і виснаження на робочому місці внаслідок онлайн-моніторингу продуктивності, і фінансові втрати від подорожчання страхівки чи збільшення відсотку за кредитами, і навіть втрата житла чи доступу до охорони здоров’я. В нерівних суспільствах алгоритми працюють у бік посилення нерівності та історичної дискримінації.
Що ж відбувається, коли люди намагаються кидати виклик загрозам з боку великих даних? Досі ми розглядали боротьбу проти цих систем у Австралії, Канаді, Нідерландах, Новій Зеландії, Сполученому Королівстві та Сполучених Штатах. Навіть у цих демократичних суспільствах самої опори на законодавство буває недостатньо. Громадяни намагаються знайти способи відшкодувати шкоду, об’єднуючись у колективній та багатопрофільній боротьбі, яка залучає всі механізми демократії.
У випадку “робо-боргу” австралійці розпочали кампанію “Не мій борг”, анонімно публікуючи свої історії в Інтернеті. Найбільше занепокоєння викликає те, що уряд поклад відповідальність на громадян доводити, що в них немає боргу, хоча це нерівна боротьба, адже в держави набагато кращі можливості накопичувати дані й оперувати ними. За повідомленнями соціальних служб Австралії, вони внесли деякі зміни в системи у відповідь на критику, але експерти кажуть, що цього недостатньо. Цікаво, що в своєму останньому бюджеті уряд виділив кошти на подальше розширення програми.
В Нідерландах індивіди та громадські організації подали судовий позов проти уряду через систему SyRI (Systeem Risico Indicatie), яка на основі даних передбачає, хто більше схильний до обману. За словами позивачів, система порушує презумпцію невинуватості — адже з неї випливає, що людина вважається винуватою, поки не доведене протилежне. Наслідки цієї судової справи, найімовірніше, інспірують громадян в інших демократичних країнах, які прагнуть захистити свої права. В Сполученому Королівстві група defenddigitalme звертає увагу на психологічний та соціальний вплив веб-моніторингу на учнів середніх шкіл, яких можуть хибно ідентифікувати, що вони схильні до суїциду чи є членами злочинних банд. В Новій Зеландії неурядові організації успішно блокують спробу Міністерства соціального розвитку зобов’язати всіх провайдерів соціальних послуг надавати дані про своїх клієнтів, щоб отримати урядове фінансування. Активісти стверджують, що це може змусити членів вразливих груп, як-от біженці чи жертви домашнього насильства, уникати соціальної допомоги через страх, що їх можуть викрити.
У місті Літтл Рок, штат Арканзас, алгоритм, який запровадив Департамент соціальних послуг, звинуватили у несправедливому обмеженні часу, який соціальні працівники проводять удома у людей з глибокою інвалідністю. Раніше медсестри самостійно визначали обсяг годин для кожного інваліда. Тепер вони лише допомагають їм заповнити анкету, а комп’ютер сам вирішує, скільки їм потрібно годин піклування. Урядовці кажуть, що автоматизована система забезпечує чесний та об’єктивний розподіл годин. Але багато людей із цим не згодні. Семеро інвалідів подали на Департамент у суд — для шістьох із них час домашнього догляду урізали більш ніж на 30%. У травні суд змусив соціальні служби перестати використовувати алгоритм — проте вони і надалі його застосовують, за що їх притягнули до додаткової відповідальності за непокору суду. У той час, як легальні баталії тривають, якість життя тисяч людей балансує.
Усі ці випадки свідчать про те, що окрім позовів про відшкодування шкоди, для захисту громадянських прав потрібна широка публічна дискусія про прозорість, звітність та механізми нагляду за цифровими алгоритмами. Враховуючи те, що цифрові системи завжди будуть схильними до помилок, зворотний зв’язок з людьми є ключовим. Потрібне також фундаментальне переосмислення проблем урядування — зокрема співробітництва людей із владою та непокори їй в суспільствах, що дедалі більше залежать від аналізу даних.
Joanna Redden
The Harm That Data Do
Scientific American, November issue
Зреферував Є. Л.