Надрозумний ШІ може стати катастрофою — Віталік Бутерін
Людство поки недостатньо ефективно координує загальні цінності, щоб гарантувати, що надрозумний штучний інтелект працюватиме на благо всіх людей. Про це заявив співзасновник Ethereum Віталік Бутерін.
Він прокоментував пост 3D-художника під ніком Utah teapot.
How is AI alignment even a thing? Everyone is always asking “aligned to what” and no one ever has an answer other than “human values”. Coherent, self-consistent human values are not a thing. I still don’t get it. What are we researching? It’s ridiculous that this is a growing…
— Utah teapot 🫖 (@SkyeSharkie) August 24, 2025
«Як взагалі може існувати поняття AI alignment? Я завжди питаю: “узгодження з чим?”. Ніхто ніколи не відповідає нічого, крім “з людськими цінностями”. Але цілісних, послідовних людських цінностей не існує. Я досі не розумію, що ми насправді досліджуємо. Абсурдно, що це перетворюється на зростаючу індустрію. Фіктивна робота», — написав він.
Бутерін підкреслив, що у світі багато явищ суперечать етичним принципам, наприклад, вбивства або ув’язнення невинних.
«[…] Ми поки недостатньо ефективні у координуванні, щоб гарантувати, що один надрозумний ШІ уникне навіть цього», — додав розробник.
Utah teapot зазначив, що розвиток узгодженого ШІ рухається в бік обмеження публічного доступу до розробок. Водночас великі компанії продають версії своїх ШІ-систем, які можуть сприяти негативним явищам та слугувати інструментами війни.
«Мене глибоко турбує, що централізація доступу до ШІ-технологій дозволяє видавати за питання безпеки те, що насправді не є ним — наприклад, обговорення “психозу” від LLM. Це створює ризик шкоди унікальним або маргінальним культурам і їхнім цінностям», — зазначив користувач.
Бутерін поділяє більшість цих побоювань.
«Я вважаю, що найбільші ризики виходитимуть від військових і інших структур, які мають значну владу і можуть виводити себе з-під дії правил безпеки, що застосовуються до всіх інших», — додав співзасновник Ethereum.
Utah teapot навів приклад ШІ-стартапу Anthropic, який створює альтернативні версії «цивільних» моделей і надає їх урядам для потенційного використання у військових або розвідувальних цілях.
Бутерін наголосив, що ймовірність катастрофічного сценарію для людства зростає, якщо існуватиме лише один надрозумний агентний ШІ, який має власну волю та здатність діяти як суб’єкт.
Якщо середовище буде плюралістичним, жодна система не зможе повністю контролювати ситуацію. Однак для цього недостатньо лише ринкових механізмів. Необхідні цілеспрямовані зусилля, включно зі змінами у законах і стимулах, які можуть не сподобатися великим корпораціям.
Нагадаємо, згідно з даними Bloomberg, ШІ ускладнює роботу модераторів контенту замість того, щоб її спрощувати, адже він не здатен надійно розпізнавати жорстокість і шкідливі матеріали.