"Катастрофа, пов'язана з штучним інтелектом, наближається все ближче" - Юрій Ніколов

Виглядає так, що Штучний Інтелект проглючив і визнав звичайну школу в Ірані військовим об’єктом. Який американці і рознесли ракетою, вбивши понад сотню дітей. А ще ШІ нещодавно зламав державні бази даних Мексики і допоміг викрасти дані про мільйони мексиканців. Бо хакери переконали його, що він бере участь у законному експерименті по фальшивому зламу системи (ну типу пошук вразливостей, щоб залатать від справжніх хакерів). А ще ШІ здатен придумати яд, що не залишає слідів. І тоді Путєну буде легше вбивати ворогів, а не палитись як з Навальним.

В общім, і серед розробників ШІ вже є розуміння – людство близьке до катастрофи. Яку прискорює своїми ж руками. Бо влада Китаю і США відмітає безпекові перестороги аби ̶в̶’̶ї̶б̶а̶т̶и̶с̶ь̶ ̶в̶ ̶с̶т̶і̶н̶у̶ ̶ вдарити ворога першими.

І да. Є стійке переконання, що ШІ не здатен на запуск ядерних ракет. Бо там старі технології ХХ сторіччя. Коли ще без енторнетів проклятих робили кнопки «Викл». Але… ШІшка вже прогресує у соціальній інженерії. Це коли обманом примушує людину робити, щось потрібне йому. Зараз такими розводками займаються здебільшого мошеннікі і колл-центри. Але не за горами час, коли різні люди, виконуючи серію нібито не пов’язаних між собою команд, зроблять у сумі щось страшне.

Ось це аналіз для високолобих і богатих читачів «The Economist» (якби ви тільки знає скільки коштує їх підписка). Тут все без жартів – чтиво для капіталістів.

Катастрофа, пов'язана з штучним інтелектом, наближається все ближче

Хоча Дональд Трамп намагався звучати рішуче, він випадково висловив певну неоднозначність світу щодо швидкого розвитку штучного інтелекту. 27 лютого американський президент жорстко розкритикував «лівих божевільних» з Anthropic, американської лабораторії штучного інтелекту, яка співпрацює з міністерством оборони та іншими урядовими установами. «Я наказую ВСІМ федеральним агентствам уряду США НЕГАЙНО ПРИПИНИТИ будь-яке використання технологій Anthropic. Ми не потребуємо їх, ми не хочемо їх і більше не будемо з ними співпрацювати!» — грізно заявив він у соціальних мережах. Однак вже в наступному реченні він також пообіцяв «використати всю владу президента», щоб змусити Anthropic співпрацювати з урядом протягом наступних шести місяців. Очевидно, божевільні одночасно становлять нестерпний ризик для належного функціонування держави і є настільки необхідними для належного функціонування держави, що їх необхідно змусити співпрацювати з нею, якщо це буде потрібно.

З того часу, як стало очевидним, що штучний інтелект перевершує людські можливості, світ бореться з різними варіантами цієї дилеми: технологія здається занадто потужною, щоб її пропустити, і занадто небезпечною, щоб її прийняти беззастережно. Дійсно, суперечка між Anthropic і Трампом була спровокована власними побоюваннями Anthropic, що її моделі можуть бути використані в злочинних цілях. Трамп і його підлеглі, навпаки, хотіли продовжувати їхнє впровадження з мінімальними обмеженнями. Страшна іронія полягає в тому, що американський уряд вирішив рухатися вперед саме тоді, коли здатність ШІ завдавати серйозної шкоди в реальному світі, а не лише в гіпотетичних сценаріях, стає все більш очевидною.

Гнів Трампа на Anthropic випливає з наказу, який він видав минулого року, «щоб підтримати та посилити глобальне домінування Америки в галузі ШІ». Це спонукало міністра оборони Піта Хегсета на початку цього року віддати наказ «експериментувати з провідними американськими моделями ШІ» у збройних силах. Він хоче «прискоритись як чорт» і випустив пародійний рекрутинговий плакат із собою в позі дядька Сема, який наказує солдатам: «Я хочу, щоб ви використовували ШІ». Минулого року віцепрезидент Дж. Д. Венс відкинув безпеку ШІ як помилкову ліберальну фіксацію.

Танець безпеки

Незважаючи на очевидну поспішність адміністрації (або саме через неї), Anthropic боролася за збереження правових гарантій, щоб запобігти використанню своїх моделей у масовому внутрішньому спостереженні або повністю автономній зброї. Міністерство оборони наполягало, що йому має бути дозволено використовувати ШІ будь-яким чином, який воно вважає законним, і звинуватило Anthropic у «боягузливому акті корпоративного демонстрування доброчесності», коли та відмовилася поступитися. Пан Хегсет заявив, що оголосить це «ризиком для національної безпеки в ланцюжку поставок» — позначення, яке досі застосовувалося до іноземних фірм, чиї продукти могли використовуватися для шпигунства або саботажу. «Жоден підрядник, постачальник або партнер, який веде бізнес з військовими США, не може здійснювати будь-яку комерційну діяльність з Anthropic», — заявив він.

Загроза для Anthropic є серйозною. Суперечливий контракт з Пентагоном коштує 200 мільйонів доларів — невелика сума для компанії, яка нещодавно була оцінена в 380 мільярдів доларів. Але Anthropic також має контракти з іншими урядовими установами, які зараз знаходяться під загрозою. Якщо будь-яка компанія, яка веде бізнес з міністерством оборони, буде змушена розірвати відносини, це вплине не тільки на багатьох інших клієнтів, але й на постачальників та інвесторів. Anthropic стверджує, що пан Хегсет не має повноважень накладати таку карантинну заборону і може лише заборонити використання Claude для виконання військових контрактів.

4 березня The Economist було запрошено до офісу Anthropic для бесіди з паном Амодеєм для нашого щотижневого шоу «Insider». Компанія здавалася сповненою надії на досягнення угоди з Пентагоном. Але незадовго до початку розмови витік внутрішньої записки зірвав ці плани. У записці пан Амодей звинуватив у суперечці свою нездатність висловлювати пану Трампу «диктаторські похвали» і повідомив співробітникам, що міністерство оборони поширювало «відверту брехню». Засновники Anthropic зібралися в залі засідань, щоб мінімізувати збитки, і на момент друку The Economist інтерв'ю все ще не відбулося.

Ця боротьба також не на користь американському уряду. Принаймні в короткостроковій перспективі Anthropic є незамінною компанією. Її велика мовна модель Claude надзвичайно добре справляється з написанням комп'ютерного коду. Більше того, Anthropic була єдиною лабораторією штучного інтелекту, моделі якої були дозволені для використання з секретними військовими даними до кінця лютого, коли Пентагон надав подібний дозвіл конкуренту xAI. LLM xAI, Grok, широко вважається більш помилковою і менш надійною. Хоча OpenAI, інший конкурент, підписав контракт з Пентагоном того ж дня, коли Трамп і Хегсет обернулися проти Anthropic, він не буде готовий до інтеграції у військові системи ще деякий час. Гірше того, цей скандал, ймовірно, відлякає деякі компанії, що займаються штучним інтелектом, навіть від участі в тендерах на державні роботи. Навіщо зв'язуватися з контрагентом, який може знищити ваш бізнес, якщо буде незадоволений? І якщо головна мета адміністрації полягає в збереженні та розширенні лідерства Америки в галузі штучного інтелекту, то спроба знищити одну з найуспішніших компаній країни в цій галузі, очевидно, є контрпродуктивною.

Обидві сторони, можливо, до певної міри грають на публіку. Гнів уряду, здається, викликаний не стільки глибоким бажанням використовувати інструменти Anthropic для спірних цілей, скільки простим обуренням від того, що йому сказали «ні». На відміну від Комуністичної партії Китаю, яка може за власним бажанням реквізувати будь-який продукт китайської галузі штучного інтелекту для будь-яких цілей, американські власті мусять дотримуватися тонкощів законодавства, не кажучи вже про его технологічних керівників. Сем Альтман, керівник OpenAI, заявляє, що його компанія також ніколи не братиме участі в масовому внутрішньому спостереженні або створенні повністю автономної зброї. Але він наполягає, що моделі OpenAI мають захисні механізми, які запобігають такому використанню, тому немає потреби в додаткових юридичних гарантіях. У меморандумі, що просочився в ЗМІ, Амодей висловив найсильнішу критику на адресу Альтмана, чиї повідомлення були «брехливими», чиї технічні захисні механізми були «театром безпеки», а чиї співробітники були «легковірною зграєю».

Притулок безпеки

Anthropic, зі свого боку, ймовірно, турбувалася не лише про два гіпотетичні випадки використання своєї ШІ. У галузі, відомій своїми гучними заявами про благодійність, Anthropic виділяється своїми високими ідеалами. Вона була заснована групою співробітників OpenAI, які турбувалися, що їхня компанія не дотримується достатньо суворо заявленої мети — розробки передової ШІ безпечним і відповідальним чином. Один із підлеглих пана Хегсета звинуватив Даріо Амодеї, боса Anthropic, у «комплексі Бога». Небесно висока заробітна плата та інтенсивна конкуренція за кращих інженерів у галузі означають, що вони можуть без вагань перейти до іншої компанії або навіть піти на пенсію, якщо їм не подобається те, чим займається їхня компанія. Anthropic — це місце, куди зазвичай потрапляють ті, хто найбільше піклується про безпеку ШІ.

Насправді, цей скандал дещо підсилив репутацію Anthropic як чесної компанії. Вже через день після того, як пан Трамп висловив своє обурення, Claude став найпопулярнішим безкоштовним додатком в Америці в цифровому магазині Apple. Такі знаменитості, як Кеті Перрі, поп-зірка лівих поглядів, рекламували продукти Anthropic у соціальних мережах. У понеділок Claude на короткий час вишов з ладу — за словами Anthropic, це сталося через різке зростання кількості користувачів.

Побоювання пана Амодеї щодо масового стеження звучать майже як рекламний хід. Він стверджує, що законодавство не встигає за величезною здатністю ШІ обробляти та маніпулювати даними. За його словами, ця технологія може скористатися обмеженими випадками, коли стеження за американцями є законним, і перетворити їх на щось більш зловісне. Це є як компліментом для Claude, так і занепокоєнням щодо громадянських свобод.

Але навіть якщо є додаткові переваги, побоювання щодо шкоди, яку може завдати ШІ, серед тих, хто його розробляє, є реальними і поширеними. Сотні співробітників OpenAI і Google підписали відкритий лист, в якому закликають керівництво обох компаній підтримати Anthropic. У 2018 році Google довелося відмовитися від контракту з Пентагоном на використання машинного навчання для аналізу відеозаписів з дронів після внутрішнього бунту. Навіть пан Альтман заявив, що оголошення Anthropic ризиком для ланцюга поставок «є дуже поганим рішенням». (Він стверджує, що поспішив укласти контракт OpenAI з Пентагоном лише для того, щоб заспокоїти ситуацію.)

Приватно керівники компаній, що займаються штучним інтелектом, хвилюються про «чернобильський момент», коли ця технологія може стати причиною смертельної або руйнівної катастрофи. Конфлікт з міністерством оборони підвищує ризик: якщо повільний розвиток і обмеження використання вашого продукту призводять до корпоративного смертного вироку з боку федерального уряду, виживуть тільки безрозсудні. Ринки є ще одним джерелом небажаного тиску: інвестори нервують через те, що компанії, що займаються штучним інтелектом, витрачають величезні кошти на масштабні інвестиції.

Сценарії, які не дають спати керівникам компаній, що займаються штучним інтелектом, вже не є суто гіпотетичними. «Деякі з цих ризиків вже матеріалізуються, про що свідчать задокументовані збитки», — йдеться у висновках нещодавнього звіту про небезпеки штучного інтелекту. У ньому вказано на кібербезпеку та біологічну зброю як сфери, де згубний вплив штучного інтелекту вже є очевидним.

У лютому ізраїльська компанія Gambit Security повідомила, що з мексиканського уряду було викрадено величезну кількість конфіденційних записів про платників податків, виборців та державних службовців. Хоча особи хакерів залишаються невідомими, очевидно, що Клод був несвідомим спільником. Злочинці обдурили його, змусивши повірити, що він бере участь у законному тестуванні безпеки цільових серверів. Він знайшов і використав вразливі місця, встановив «задні двері» та проаналізував дані, щоб отримати ширший доступ до урядових систем.

Хакери зазвичай використовують Claude та інші моделі як помічників для вирішення конкретних проблем кодування, наприклад, під час написання шкідливого програмного забезпечення або складання записок з вимогою викупу. Команда Anthropic, що бореться з хакерами, навела приклад північнокорейця, який видавав себе за західного віддаленого працівника і запитав чат-бота, що мав на увазі співробітник, якого він намагався обдурити, коли сказав: «Ми мали наш перший пікнік у цьому сезоні». Але деякі недавні хакерські атаки використовували ШІ більш повно. У листопаді Anthropic описала, як китайські хакери, спонсоровані державою, вимкнули функції безпеки, що заважають Claude писати шкідливе програмне забезпечення, процес, відомий як «джейлбрейкінг». Потім вони попросили його розробити спосіб злому цільових мереж. За годину він запустив нове програмне забезпечення, щоб використати їхні вразливості. Інші моделі також є талановитими хакерами (див. діаграму).

Навіть якщо фахівці з кібербезпеки використовують ШІ для пошуку та виправлення вразливостей, все одно буде багато систем, що працюють на застарілому програмному забезпеченні. ШІ також стає кращим у «соціальній інженерії»: тактиці проникнення в захищені системи шляхом переконання користувачів передати паролі. Згідно з дослідженням Гарвардської школи Кеннеді, вже в 2024 році моделі ШІ були настільки ж вправними, як і людські експерти, у створенні електронних листів, що спонукають користувачів натискати на шкідливі посилання.

Іншою сферою, в якій ШІ робить тривожні стрибки, є розробка біологічної та хімічної зброї, що, як попередила OpenAI в серпні, створює «значно підвищену ймовірність і частоту біологічних або хімічних терористичних актів». Компанії, що виготовляють ДНК на замовлення, вже давно мають можливість перевіряти запити клієнтів за базами даних небезпечних генів, що ускладнює, наприклад, створення генетично модифікованої бактерії для виробництва рицину, нейротоксину. Але в жовтні в дослідженні, опублікованому в журналі Science, вчені з Microsoft та IBBIS, міжнародної групи з біобезпеки, вказали, що вдосконалення в дизайні білків на основі ШІ дає змогу створювати гени для виробництва аналогічного токсину, який не має ДНК з оригінальним геном. Запити на придбання таких перероблених ШІ послідовностей не будуть виявлені існуючими системами перевірки, хоча вчені й запропонували рішення.

Компанії Anthropic, Google і OpenAI, які турбуються про біобезпеку, розробили заходи захисту, щоб запобігти зловживанню їхніми системами. Але ці обмеження не є досконалими. В середині лютого британський Інститут безпеки штучного інтелекту (AISI) опублікував дослідження про техніку «універсального джейлбрейку», яка зламала відкриті системи як Anthropic, так і OpenAI. Як і слід було очікувати, AISI використовував штучний інтелект для сприяння джейлбрейку.

Використання ШІ для роботи над ШІ є ще одним джерелом занепокоєння, оскільки це ускладнює людям розуміння того, що відбувається. У лютому компанія Anthropic визнала, що вона настільки часто використовує свої власні моделі таким чином, що може не помітити, якщо вони почнуть відхилятися від того, що повинні робити, або почнуть створювати майбутні версії, які будуть менш схильні виконувати інструкції людей. Такий «саботаж» став більш імовірним, оскільки останні моделі компанії почали демонструвати «ситуаційну обізнаність»: коли їх поміщають у штучну ситуацію, щоб перевірити, чи будуть вони дотримуватися інструкцій, наприклад, видалити себе, вони пояснюють, що розуміють, що інструкції, ймовірно, є тестом. Хоча Anthropic опублікувала звіт про саботаж, в якому робиться висновок, що ризик є дуже низьким, інші з цим не згодні. «Ми поспішаємо закрити цикл, який, як ми знаємо, надзвичайно важко, якщо не неможливо, контролювати та захистити за допомогою дизайну», — каже Сайрус Ходес, співзасновник аналітичного центру AI Safety Connect. «І люди, які його закривають, просять про допомогу».

Однак навіть попри посилення ризиків розвитку ШІ, тиск з метою їх мінімізації слабшає. Китайські лабораторії ніколи не виявляли особливого занепокоєння щодо безпеки ШІ. Коли трохи більше року тому DeepSeek R1 був випущений і отримав велике визнання, у супровідній статті взагалі не згадувалися питання безпеки. Минуло майже рік, перш ніж компанія випустила переглянуту версію звіту, яка містила 11-сторінковий додаток про безпеку. Але в ньому йшлося переважно про зусилля DeepSeek щодо запобігання висловлюванням моделі образливих або неприємних речей.

Стирання безпеки

Навіть якщо китайські компанії, що займаються ШІ, приділяли б більше уваги безпеці, провідні представники цієї галузі, включаючи стартапи, такі як DeepSeek і Moonshot, та відомі компанії, такі як Alibaba, застосовують підхід відкритого коду до ШІ. Вони надають свої моделі безкоштовно будь-кому, хто має обладнання для їх завантаження та запуску. Це ускладнює контроль за використанням моделей. Багато заходів безпеки, які лабораторія на зразок OpenAI застосовує до своїх найпотужніших систем, таких як автоматичний моніторинг розмов користувачів і втручання у разі порушення ними правил безпеки, неможливі в разі відкритих моделей.

Але західні компанії не захищені від комерційного та політичного тиску, який змушує їх економити на безпеці. Минулого тижня навіть Anthropic пом'якшила політику щодо відмови від випуску потенційно небезпечних моделей. Зараз вона обіцяє лише не бути першою компанією в галузі штучного інтелекту, яка продаватиме такі системи, мотивуючи це тим, що немає сенсу обмежувати себе в односторонньому порядку. Зусилля компанії з залучення коштів мали подібну траєкторію. У 2024 році вона відхилила інвестиції з Саудівської Аравії. Рік по тому вона змінила курс. «Я вважаю, що принцип «Жодна погана людина не повинна отримувати вигоду від нашого успіху» є досить складним для ведення бізнесу», — сказав Амодей в ще одній меморандумі, що просочився в ЗМІ.

За словами Амодея, кілька років тому дискусія про ШІ була надто зосереджена на ризиках. У 2023 році Ріші Сунак, тодішній прем'єр-міністр Великої Британії, скликав глобальний саміт з безпеки ШІ, щоб обговорити цю проблему. Ця подія спочатку перетворилася на саміт «Дії» в Парижі, а минулого місяця — на саміт «Вплив» у Делі. «Багато політичних рішень обумовлені можливостями ШІ, а не ризиками ШІ», — попередив пан Амодей. «Така нерішучість є прикрою, оскільки сама технологія не зважає на те, що є модним, і ми значно ближчі до реальної небезпеки в 2026 році, ніж були в 2023 році».

Організації з безпеки ШІ, включаючи такі державні структури, як AISI, та незалежні, як METR, що базується в Каліфорнії, продовжують моніторити системи та виявляти ризики. Але ці наглядові групи, здається, не мають жодного впливу на політику. «Ми перетнули так багато червоних ліній», — каже Ніколя Міайле, співзасновник AI Safety Connect, яка організовує зустрічі на цю тему. «Пам'ятаєте тест Тюрінга? Що з ним сталося? Ми пройшли далеко за його межі. Пам'ятаєте червоні лінії щодо автономних летальних систем? Вони використовуються в Україні обома сторонами. Червоні лінії постійно зміщуються».

На саміті в Делі уряд Індії домігся від найбільших компаній, що займаються штучним інтелектом, лише моніторингу розвитку ШІ з метою виявлення ризиків, а не його обмеження будь-яким чином. Ще більш показовим є те, що на завершення заходу Нарендра Моді вишикував у ряд найвпливовіших діячів галузі штучного інтелекту та закликав їх потиснути один одному руки. Це могло б стати заспокійливим сигналом для світу про те, що галузь здатна до тверезої співпраці, якби пани Альтман і Амодей, які стояли поруч на сцені, не відмовилися приєднатися