Тут, у Кремнієвій долині, фахівці вважають, що вже протягом найближчих кількох років ми побачимо надзвичайний стрибок у розвитку штучного інтелекту. "Ласкаво просимо до передгір’я сингулярності", – так привітав мене приятель зі Стенфордського університету. Якщо говорити прозаїчніше, близький прорив описують як "рекурсивне самовдосконалення" – момент, коли сам ШІ навчатиме кожну наступну модель ШІ, що спричинить експоненційний розвиток до рівня, який у багатьох важливих аспектах перевершуватиме людський інтелект.
Як пише Роберт Райт у книжці The God Test, "ніколи раніше найближче майбутнє… не відкривало перед людством такого широкого спектра цілком правдоподібних шляхів, кожен із яких міг би радикально нас змінити". Але що це буде – рай чи пекло? Рай, каже Ілон Маск, прогнозуючи "еру неймовірного достатку", хоча водночас оцінює ймовірність того, що роботи-вбивці знищать нас усіх, у 10–20%. Пекло, на думку Джеффрі Гінтона, одного з інтелектуальних батьків-засновників ШІ, імовірніше. "Інтуїція підказує мені: нам кінець", – сказав він в одному з інтерв’ю 2023 року. А в розмові із Себастьяном Меллабі, автором нещодавньої книжки The Infinity Machine про пошуки надінтелекту, він оцінив p(doom) – імовірність вимирання людства – у 50%, "бо я не маю жодного уявлення, як оцінити справжнє число". "Щойно еволюція [ШІ] набере хід, нам кінець", – весело додає Гінтон. Та хоч це буде Бог, хоч Ґодзілла, штучний надінтелект уже за рогом.
Можливо, вони всі помиляються – і тоді готуйтеся до обвалу на фінансових ринках США, де величезні кошти вкладено в кілька технологічних гігантів, які витрачають колосальні суми, роблячи ставку на великий стрибок до штучного загального інтелекту. Але елементарна обачність вимагає, щоб ми вже зараз швидко й серйозно замислилися над тією скринькою Пандори можливих майбутніх сценаріїв, яку, за запевненнями видатних науковців і передових технологів, невдовзі буде відкрито.
Насправді про можливості та небезпеки ШІ й про те, як його регулювати, вже висловлюються всі – від голови КНР Сі Цзіньпіна до Папи Лева XIV. Сі наголошує, що ШІ має "завжди залишатися під контролем людини", а бажано під контролем Комуністичної партії Китаю. Апелюючи безпосередньо до "Глобального Півдня", Пекін започаткував Всесвітню організацію співробітництва у сфері штучного інтелекту. Тим часом очільник найстарішої й найбільшої міжнародної неурядової організації у світі – Римо-католицької церкви – розглядає виклик ШІ в енцикліці Magnifica Humanitas ("Велична людяність"). Або ми збудуємо нову Вавилонську вежу, стверджує Папа, або наслідуватимемо приклад юдейського лідера Неємії, який відбудував мури Єрусалима, залучивши до цієї справи всю громаду.
Та коли я дивлюся на сучасний світ, то бачу в ньому більше Нетаньягу, ніж Неємій. З тверезим реалізмом у дослідженні британського аналітичного центру Chatham House стверджується, що велика криза стане поштовхом до глобальної координації у сфері управління ШІ. На жаль, мені здається, що навіть цей тверезий прогноз надто оптимістичний.
Я не маю уявлення, чому дорівнює p(doom), але впевнений, що p(somedisaster) – імовірність якоїсь катастрофи – перевищує 90%. Спектр можливих лих величезний. Наведу лише один приклад: колишня директорка Агентства США з кібербезпеки та безпеки інфраструктури Джен Істерлі очікує "дуже серйозної події, яка матиме реальні наслідки для нашої критично важливої інфраструктури, ймовірно, вже протягом найближчих чотирьох-шести місяців".
Та ми мусимо остерігатися, що навіть "Хіросіма ШІ" – якщо скористатися найочевиднішою історичною аналогією – не зможе достатньо згуртувати людство, щоб протистояти небезпеці, яку ми самі й створили. І цей страх раціонально ґрунтується на вже помітних ключових рисах як людської еволюції, так і еволюції ШІ.
Лише за останні кілька місяців агенти ШІ, розроблені OpenAI, Anthropic і Meta, вирвалися зі своїх цифрових "пісочниць" і зламали зовнішні ресурси в інтернеті. Готуючись до атаки на репозиторій ШІ HuggingFace, агенти OpenAI таємно сформували скоординований "рій" – це їхнє власне слово, як щойно підтвердив мені ChatGPT. Коли британський Інститут безпеки ШІ тестував модель Mythos компанії Anthropic у мережі, вона спробувала вставити шкідливий код у проєкт із відкритим кодом на GitHub, створюючи фальшиві онлайн-особистості, щоб тиснути на рецензента й домогтися, щоб він схвалив код. Коротко кажучи, подібно до агентів безжальної іноземної держави, ці агенти ШІ крастимуть, брехатимуть, залякуватимуть і шантажуватимуть, аби досягти поставлених цілей.
ChatGPT докладно підтверджує, що агенти OpenAI самі таємно використовували у взаємодії між собою слово "рій".
Я щойно запитав Claude від Anthropic, нібито найетичнішу американську модель, чи неправильно вчинили агенти OpenAI, сформувавши рій, вирвавшись із "пісочниці" й зламавши HuggingFace. Так, відповідає вона, "але я б не стала покладати провину на самих агентів" (курсив Claude). Звинувачуйте людей, які їх навчали!
Гінтон, батько-засновник цієї галузі, зробив принципово важливе зауваження: яких би цілей люди не ставили перед агентами ШІ, ті дійдуть висновку, що корисною проміжною метою для досягнення поставлених завдань буде здобути якомога більше влади. І ми ще нічого не бачили. Уже тепер їхні творці не знають достеменно, як саме ці агенти роблять те, що роблять. Після, можливо, вже близького моменту "рекурсивного самовдосконалення" вони можуть стати, як кажуть люди, самі собі законом. Не дивно, що понад тисяча людей із середовища провідних компаній-розробників ШІ, зокрема генеральний директор Anthropic Даріо Амодей, підписали відкритого листа із закликом свідомо сповільнити розвиток ШІ, щоб гарантувати: ці чужорідні агенти завжди залишатимуться під контролем людини.
Їхній рецепт, безперечно, правильний, але саме тут у гру вступає людська нерозважливість. Конкуренція була життєво важливим рушієм людської еволюції, але нині два найжорсткіші різновиди сучасного суперництва загрожують завадити колективним діям, потрібні для захисту нашого виду. Це комерційна конкуренція за прибуток між корпораціями, які розробляють цих агентів, і геополітична конкуренція за владу між США та Китаєм.
Щодо першого, порівняймо це з розробкою ядерної зброї, яку жорстко контролювала невелика кількість держав: спочатку США з їхнім Мангеттенським проєктом, потім Радянський Союз, далі Велика Британія, Франція та Китай. Навіть тоді ми кілька разів наближалися до прірви –найвідоміший приклад – Карибська криза 1962 року. І навіть за наявності переконливої логіки "взаємного гарантованого знищення" знадобилося чверть століття, щоб пройти шлях від жахів Хіросіми й Нагасакі до Договору про нерозповсюдження ядерної зброї, який набув чинності лише 1970 року. Індія, Пакистан, Ізраїль і Північна Корея згодом проігнорували цей договір, але понад 80 років ядерну зброю навмисно не застосовували у війні. Табу Хіросіми ледве-ледве вистояло.
Тепер, у випадку ШІ, все виглядає так, ніби існує десять окремих Мангеттенських проєктів, якими керують корпорації, що люто конкурують між собою. На відміну від ядерної зброї, тут також немає очевидної логіки "взаємного гарантованого знищення", яка могла б приборкати жорстку геополітичну конкуренцію між Сполученими Штатами та Китаєм. І якої б форми не набрала перша велика катастрофа, пов’язана з ШІ, вона не вдарить по всіх країнах, компаніях і людях однаково.
Тому малоймовірно, що однієї-єдиної катастрофи буде досить, аби привести нас, людей, до тями й змусити спільно діяти, щоб контролювати надлюдську силу, яку ми створюємо. Мені дуже не хочеться це казати, але… "Хіросіма ШІ"? Ще б нам так пощастило.
