Кажуть, що ізраільтяни минулого року могли вбити зайвих цивільних людей в Газі через те, що їхній Штучний Інтелект помилково визначив 3600 осіб як цілі. Про це пише «Bloomberg»:
Lavender — це база даних на базі ШІ, яка використовувалася для ідентифікації військових цілей, пов'язаних з Хамасом у Газі. Це не була велика мовна модель, але вона аналізувала величезні обсяги даних спостереження, таких як соціальні зв'язки та історія місцезнаходження, щоб присвоїти кожній особі оцінку від 1 до 100. Коли оцінка когось перевищувала певний поріг, Lavender позначала цю особу як військову ціль. Проблема полягала в тому, що Lavender помилялася в 10 % випадків, згідно з розслідувальним звітом, опублікованим ізраїльсько-палестинським виданням +972. «Близько 3600 осіб були помилково визначені як цілі», — розповідає мені Маріаросарія Таддео, професорка цифрової етики та оборонних технологій в Оксфордському інституті інтернету».
І це може дещо пояснювати як ізраільтяні заслужили гори хейту за невибіркові вбивства цивілів. Ну принаймні я так думав, що були невибіркові. А що якщо вони були не невибіркові, а помилкові? Ну от проглючив або шось не так ШІшка порахувала, або придумала шось... і на, людина, – получай бомбу по голові?
Це важливо, бо американці за допомогою Штучного Інтелекту планували операцію по захопленню Мадуро у Венесуелі, і зараз ведуть війну проти Ірану також за допомогою «Claude». Тобто ШІшка вже бере участь в знищенні людей і матеріальних цінностей в промислових масштабах.
Штучний інтелект Claude допоміг бомбардувати Іран. Але як саме?
Та сама модель штучного інтелекту, яка може допомогти вам скласти маркетинговий лист або швидкий рецепт вечері, також була використана для атаки на Іран. Згідно з повідомленням у Wall Street Journal, Центральне командування США використовувало штучний інтелект Claude від Anthropic для «оцінки розвідданих, ідентифікації цілей та моделювання бойових сценаріїв» під час ударів по країні.
За кілька годин до цього президент США Дональд Трамп наказав федеральним агентствам припинити використання Claude після суперечки з його виробником, але цей інструмент був настільки глибоко вбудований у системи Пентагону, що для його заміни на більш сумісний аналог знадобилися б місяці. Він також використовувався в січневій операції, яка призвела до захоплення Ніколаса Мадуро.
Але що на практиці означають «оцінка розвідданих» та «ідентифікація цілей»? Клод позначав місця для удару чи робив оцінку втрат? Ніхто не розкрив цю інформацію, і, що тривожно, ніхто не зобов'язаний це робити.
Штучний інтелект вже давно використовується у військовій справі для таких завдань, як аналіз супутникових знімків, виявлення кіберзагроз та керування системами протиракетної оборони. Але чат-боти — та сама технологія, яку мільярди людей використовують для повсякденних завдань, таких як написання електронних листів, — тепер застосовуються на полі бою.
У листопаді минулого року Anthropic уклала партнерську угоду з Palantir Technologies Inc., компанією з аналізу даних, яка виконує багато роботи для Пентагону, перетворивши свою велику мовну модель Claude на механізм міркування всередині системи підтримки прийняття рішень для військових.
Потім, у січні, Anthropic подала до Пентагону пропозицію на суму 100 мільйонів доларів щодо розробки технології автономних дронів з голосовим управлінням, повідомляє Bloomberg News. Пропозиція компанії: використовувати Claude для перекладу намірів командира в цифрові інструкції для координації флоту дронів.
Її пропозиція була відхилена, але конкурс вимагав набагато більше, ніж просто узагальнення розвідувальних звітів, як можна було б очікувати від чат-бота. Цей контракт передбачав розробку «усвідомлення та обміну інформацією про цілі» та «запуску до знищення» потенційно смертоносних роїв дронів.
Примітно, що все це відбувалося в умовах регуляторного вакууму та з використанням технології, яка, як відомо, допускає помилки. Галюцинації великих мовних моделей є результатом їхнього навчання, коли вони отримують винагороду за пошук відповіді, а не за визнання невизначеності. Деякі вчені стверджують, що постійна проблема конфабуляції ШІ може ніколи не бути вирішена.
Це не перший випадок використання ненадійних систем ШІ у військових діях. Lavender — це база даних на базі ШІ, яка використовувалася для ідентифікації військових цілей, пов'язаних з Хамасом у Газі. Це не була велика мовна модель, але вона аналізувала величезні обсяги даних спостереження, таких як соціальні зв'язки та історія місцезнаходження, щоб присвоїти кожній особі оцінку від 1 до 100. Коли оцінка когось перевищувала певний поріг, Lavender позначала цю особу як військову ціль.
Проблема полягала в тому, що Lavender помилялася в 10 % випадків, згідно з розслідувальним звітом, опублікованим ізраїльсько-палестинським виданням +972. «Близько 3600 осіб були помилково визначені як цілі», — розповідає мені Маріаросарія Таддео, професорка цифрової етики та оборонних технологій в Оксфордському інституті інтернету.
«У цих системах є неймовірні вразливості та надзвичайна ненадійність... для чогось настільки динамічного, чутливого та людського, як війна», — каже Ельке Шварц, професор політичної теорії в Лондонському університеті Квін Мері та автор книги «Машини смерті: етика технологій насильства».
Шварц зазначає, що штучний інтелект часто використовується у війні для прискорення процесів, що може призвести до небажаних наслідків. Швидші рішення приймаються у більшому масштабі і з меншим контролем з боку людини. За останні півтора десятиліття військове використання штучного інтелекту стало ще більш непрозорим, каже вона.
І секретність є невід'ємною частиною роботи лабораторій штучного інтелекту навіть до застосування у військових цілях. Ці компанії відмовляються розкривати, на яких даних навчаються їхні моделі та як їхні системи доходять висновків.
Звичайно, військові операції часто доводиться тримати в таємниці, щоб захистити бійців і не дати ворогам натрапити на слід. Але оборона суворо регулюється міжнародним гуманітарним правом і стандартами випробування зброї, які теоретично також повинні стосуватися використання штучного інтелекту. Однак такі стандарти відсутні або вкрай недостатні.
Таддео зазначає, що стаття 36 Женевської конвенції вимагає випробування нових систем озброєння перед їх розгортанням, але система ШІ, яка навчається на основі свого оточення, стає новою системою кожного разу, коли вона оновлюється. Це робить застосування цього правила майже неможливим.
В ідеальному світі уряди таких країн, як США, розкривали б інформацію про те, як ці системи використовуються на полі бою, і для цього є прецедент. Американці почали використовувати озброєні дрони після 11 вересня і розширили їх використання за адміністрації Барака Обами, відмовляючись визнавати існування такої програми.
Потрібно було майже 15 років витоків документів, постійного тиску з боку преси та судових позовів від Американського союзу громадянських свобод, перш ніж Білий дім Обами нарешті опублікував у 2016 році дані про кількість жертв ударів дронів. Вони були широко визнані заниженими, але дозволили громадськості, Конгресу та ЗМІ вперше притягнути уряд до відповідальності.
Контроль за штучним інтелектом буде ще складнішим і вимагатиме ще більшого тиску з боку громадськості та законодавців, щоб змусити непокірну адміністрацію Трампа створити подібну систему звітності.
За словами Шварца, мета полягає не в тому, щоб розкрити, як саме Клод використовувався в операції «Епічна лють», а в тому, щоб оприлюднити загальні контури. І, особливо, розкрити, коли щось йде не так.
У поточній публічній дискусії про конфлікт між Anthropic і Пентагоном — про те, що є законним і етичним для ШІ, коли йдеться про масове спостереження за американцями або створення повністю автономної зброї — не враховується більш важливе питання про відсутність інформації про те, як ця технологія вже використовується у війні. З огляду на те, що такі нові і неперевірені системи схильні до помилок, це вкрай необхідно. «Ми як суспільство ще не вирішили, чи згодні ми з тим, щоб машина вирішувала, чи слід вбивати людину», — каже Таддео.
Наполягати на такій прозорості вкрай важливо, перш ніж штучний інтелект у війні стане настільки звичним, що ніхто вже не буде про це запитувати. Інакше ми можемо опинитися в ситуації, коли будемо чекати на катастрофічну помилку і вимагати прозорості лише після того, як шкода вже буде завдана
