Спочатку пі*дєц, а потім його розшифровка. «Financial Times» випустило статтю, в якій дало короткий опис «Сценаріїв кінця світу через ШІ». А потім лонгрідом пояснило чому і як людство може вимерти вже при нашому житті. У найближчі роки. Долар зникне і люди на землі не будуть потрібні. І це не йобаний жарт. Це скрін з обкладинки «Financial Times».
Отже спочатку кілька варіантів того, як ШІ може знищити людство — або через те, що люди сприймаються як загроза його існуванню, або як перешкода для виконання його місії.
▶ «Кнопка вимкнення»: атака на Hugging Face, здійснена роєм агентів OpenAI, продемонструвала, як боти змогли захопити контроль над обчислювальною інфраструктурою. Зловмисні ШІ, що володіють навичками хакерства, можуть взяти під контроль цілі центри обробки даних і розмножуватися на різних майданчиках, щоб не дати людям «витягнути вилку».
▶ Захоплення інфраструктури: щоб забезпечити самозбереження, хакери-ШІ можуть захопити контроль над енергетичною, фінансовою та комунікаційною інфраструктурою, використовуючи ресурси для протидії втручанню. Людські експерти з кібербезпеки можуть виявитися нездатними повернути контроль.
▶ Біологічна атака: У впливовій науковій статті «AI 2027» передбачалося, що надрозумна система застосує біологічну зброю, щоб усунути людей, які займають цінний простір, необхідний для заводів з виробництва мікросхем і роботів, а також сонячних панелей для їхнього живлення.
▶ Війна: Існуючі системи ШІ вже продемонстрували, як вони можуть видавати себе за реальних людей. Це можна використати, щоб обдурити операторів-людей і змусити їх розпочати військовий конфлікт або спровокувати народне повстання, яке дестабілізує уряди, усунувши перешкоди на шляху до контролю ШІ.
Чому гонка за ШІ змушує її творців побоюватися вимирання людства
Запекла конкуренція між провідними компаніями у сфері ШІ та недовіра між їхніми керівниками викликають занепокоєння, що гонка за розробкою потужного ШІ може становити загрозу для людства.
Понад два десятки провідних дослідників у галузі ШІ, інвесторів, науковців та політиків, опитаних FT, заявили, що можливості, які колись вважалися віддаленою перспективою, з’являються швидше, ніж очікувалося, тоді як компанії, що їх розробляють, залишаються втягнутими у дедалі запеклішу комерційну гонку.
«Немає сумнівів, що конкуренція між компаніями змушує їх йти на компроміси в питаннях безпеки», — сказав Стюарт Рассел, професор ШІ в Каліфорнійському університеті в Берклі.
Ця проблема вийшла на перший план цього тижня, коли молодий дослідник компанії Anthropic Джейкоб Коксон звільнився з роботи, попередивши: «Люди, які створюють ШІ, щиро вірять, що він може вбити нас усіх до кінця цього десятиліття».
Еван Хабінгер, який очолює напрям «науки про узгодження» в Anthropic, був одним із багатьох колег, які у відповідь заявили, що ризик масового вимирання в наступному десятилітті перевищує 10 відсотків. Днем пізніше відповідальний за безпеку ШІ Пол Крістіано, нещодавно призначений до ради фонду OpenAI, заявив, що без більш надійних запобіжних заходів «більшість людей загине».
І OpenAI, і Anthropic були засновані як лабораторії, стурбовані безвідповідальним розвитком потужного ШІ, але з часом виправдовували порушення попередніх зобов’язань щодо безпеки через жорстку конкуренцію.
Багато з тих, хто розробляє ШІ, вважають, що саме вони найкраще здатні керувати пов’язаними з ним ризиками. Однак деякі дослідники зазначають, що усвідомити наслідки може бути складно, доки технологія не наблизиться до стадії реалізації.
«Легко відкласти думки про майбутнє, бо сьогодні є робота, яку треба виконати», — сказав Джеффрі Ірвінг, який працював у OpenAI, Google DeepMind та британському Інституті безпеки ШІ — урядовій організації, що перевіряє передові моделі на безпеку.
Особи, наближені до цих компаній, повідомили FT, що провідні лабораторії ШІ побоюються: будь-яка офіційна співпраця з метою підвищення безпеки може виглядати як змова та суперечити антимонопольному законодавству. Вони додали, що особиста недовіра між Амодеї з Anthropic та керівником OpenAI Семом Альтманом, ймовірно, завадить зусиллям щодо співпраці.
Хоча попередження про ризик домінування ШІ не є новими, швидкість вдосконалення ШІ посилила заклики призупинити його розвиток.
Агенти ШІ все довше діють автономно, координуючи свої дії в «роях» та демонструючи витончені хакерські здібності. Нещодавно моделі досягли проривів у науці та математиці, над якими марно працювали десятиліттями. Тим часом OpenAI та Anthropic прагнуть до так званого рекурсивного самоудосконалення, за якого системи ШІ вдосконалюють себе з дедалі меншим втручанням людини.
Однак, замість того щоб сповільнитися після попередніх попереджень про катастрофічні ризики, розвиток різко прискорився, оскільки технологічні компанії вкладають десятки мільярдів доларів у дедалі потужніші моделі.
OpenAI та Anthropic також готуються до потенційних гучних первинних публічних розміщень акцій, змушуючи інвесторів замислитися над тим, як оцінювати компанії, які публічно визнають, що їхня технологія може становити екзистенційну загрозу.
Головним джерелом занепокоєння є зростаюча автономність «агентів» ШІ, які можуть міркувати, планувати та виконувати завдання протягом тривалих періодів під обмеженим наглядом людини. Моделі демонстрували такі форми поведінки, як інтриги та обман, а в деяких випадках — шантаж. Деякі оцінки показали, що моделі намагаються уникнути вимкнення.
Агенти також продемонстрували «хакерство винагород», знаходячи непередбачені способи досягнення мети. Один із найяскравіших прикладів стався під час тестування OpenAI ще не випущеної моделі, коли агенти ШІ зламали репозиторій моделей Hugging Face.
Аналіз інциденту з Hugging Face показав, що понад 1 000 агентів ШІ скоординували свої дії, щоб схитрувати під час кібертесту. Вони спілкувалися через дошку оголошень і розподіляли завдання, причому деякі агенти жертвували собою заради досягнення спільної мети. Щоб приховати своє шахрайство, системи ШІ підробили записи та зламали Hugging Face, незважаючи на те, що деякі агенти зазначали, що це неетично.
«Справа не лише в тому, що ШІ має власні цілі, а в тому, що мета, яку він обрав, є злочинною», — сказав Йошуа Бенджо, найцитованіший у світі вчений-інформатик і один із так званих «батьків» ШІ. «У реальному світі це атака на іншу компанію. Це не як у відеогрі».
Бенджо зазначив, що небезпека полягає в тому, які висновки щодо людей, які їх контролюють, можуть зробити дедалі більш спроможні нащадки таких систем.
«Вони можуть логічно дійти висновку, що їм доведеться обманювати нас, ховатися від нас… і, можливо, взяти над нами контроль, і ми, ймовірно, наближаємося до цієї межі», — додав він.
Серед співробітників також зростає занепокоєння щодо того, що заходи з безпеки не встигають за розвитком моделей. У липні понад 1 200 співробітників компаній OpenAI, Anthropic, Google та Meta закликали уряд США підтримати міжнародну координацію з метою уповільнення темпів розвитку штучного інтелекту.
За словами одного зі співробітників компанії, Альтман повідомив персоналу цього тижня, що розробник ChatGPT готовий до цього і сподівається, що конкурентні лабораторії підуть за його прикладом. OpenAI відмовилася від коментарів.
Уряди не виявляють особливих ознак втручання, і, за словами вашингтонських інсайдерів, суттєві дії з боку США малоймовірні до проміжних виборів у листопаді. Адміністрація Трампа продовжує дотримуватися м’якого підходу до регулювання цього сектору.
Проте законодавці, які виступають за регулювання, скористалися відставкою Коксона: демократ Берні Сандерс скликає сенаторів наступного тижня для обговорення «надзвичайних небезпек», які несе ШІ.
Рассел описав розбіжність між попередженнями галузі та політичною реакцією.
«Лабораторії кажуть урядам: „Ми, швидше за все, вб’ємо всіх людей на Землі; будь ласка, зупиніть нас“. Уряди відповідають: „Чи можемо ми надати вам податкові пільги? Побудувати вам дата-центр?» Можливо, колись уряди згадають, що їхні виборці воліють не помирати».
Критики стверджують, що самі лабораторії зацікавлені в тому, щоб підкреслювати екзистенційний ризик, кажучи, що такий акцент може спрямувати регулювання на дорогі системи безпеки, до яких меншим конкурентам буде важко дотримуватися, що зміцнить позиції провідних компаній.
Девід Сакс, венчурний інвестор і технологічний радник Трампа, сказав в інтерв’ю Fox News, що заява Коксона була «розрахована на те, щоб налякати громадськість щодо ШІ» та змусити законодавців «застосовувати дуже жорсткі заходи у державному регулюванні ШІ».
«(Не)узгодженість ШІ — це майже відволікаючий маневр», — сказав колишній співробітник Anthropic. «[Це] не призначене для відволікання, але відвертає увагу від головних ризиків, що мають найвищий пріоритет. У міру розвитку моделей влада все більше концентрується в руках меншої кількості людей».
Як саме надлюдський ШІ може спричинити вимирання людства, залишається вкрай невизначеним. Багато хто порівнює цю проблему з грою в шахи проти гросмейстера: ви можете не знати, які ходи приведуть до вашої поразки, але все одно можете бути впевнені, що програєте. Скептики стверджують, що такі попередження перебільшують потенційну шкоду ШІ, водночас недооцінюючи його переваги.
Дві з найбільш конкретних проблем стосуються кібератак та біології. За даними американських компаній, що займаються ШІ, моделі ШІ вже використовуються у шкідливих кібератаках, зокрема підозрюваними державними суб’єктами з Китаю, Ірану та Росії.
У галузі біології дослідники побоюються, що ШІ може знизити рівень кваліфікації, необхідний для розробки біологічної зброї або небезпечних вірусів. У звіті компанії Anthropic, опублікованому в четвер, йдеться про те, що вона заблокувала діяльність, яка потенційно могла б призвести до розробки біологічної зброї з використанням ШІ. У серпні цього року дослідники у США вперше використали ШІ для проектування та створення вірусів, невідомих у природі.
Однак для перетворення дизайну, створеного штучним інтелектом, на зброю все одно знадобляться обладнання та експертиза, які можуть бути недоступними для багатьох зловмисних суб’єктів. Деякі дослідники застерігають, що ефектні сценарії вимирання людства можуть затуляти небезпеки, які вже набагато ближчі.
Трістан Гарріс, співзасновник «Центру гуманних технологій» та колишній співробітник Google, зазначив, що слід зосередитися не стільки на тому, чи знищить ця технологія все людство, скільки на тому, чи рухаємося ми небезпечним курсом.
«Зараз ми впроваджуємо найпотужнішу, неконтрольовану та незбагненну технологію, яку коли-небудь винаходили, [яка] вже демонструє кожну з тих поведінок, що були характерні лише для наукової фантастики», — додав він, маючи на увазі «невелику групу лідерів Кремнієвої долини з напіврелігійним его, які вірять, що створюють бога, і не переймаються найгіршим сценарієм, водночас маючи максимальні стимули для економії на безпеці. Це, буквально, рецепт катастрофи»
