CEO Anthropic закликав посилити нагляд за потужними ШІ-моделями

США необхідно посилити підхід до регулювання штучного інтелекту та перейти від режиму розкриття інформації до обов’язкових перевірок безпеки для найпотужніших ШІ-моделей. Таку пропозицію висунув CEO Anthropic Даріо Амодеї у своєму есе.

За його словами, настав час перейти від прозорості до більш серйозного та обов’язкового регулювання ШІ. Разом з есе Anthropic представила два документи: Advanced AI Framework про нагляд за фронтирними моделями та Economic Policy Framework про підготовку економіки до можливого витіснення працівників ШІ.

Зовнішні перевірки та право на блокування

Амодеї запропонував запровадити обов’язкове тестування для моделей, що перевищують певний поріг за обчислювальними ресурсами. У рамці Anthropic йдеться про системи, навчені з використанням понад 10²⁵ операцій з плаваючою комою, якщо розробник заробляє більш як $500 млн на рік на ШІ або витрачає понад $1 млрд на дослідження та розробки у цій сфері.

Перевірки, за його задумом, має проводити кваліфікована зовнішня організація. Тестування повинно охоплювати чотири категорії ризиків:

• кібербезпека;
• створення біологічної зброї;
• втрата контролю над ШІ-системами;
• автоматизовані дослідження та розробки, що можуть прискорити ці загрози.

Якщо оцінка показує неприйнятний ризик, влада повинна отримати право блокувати запуск або стримувати розгортання моделі.

Амодеї порівняв запропонований режим із наглядом в авіації:

«Найпотужніші ШІ-моделі, як і літаки, мають проходити технічні випробування та аудит».

Окремо пропонується зобов’язати розробників захищати ваги моделей і інфраструктуру навчання, регулярно проводити перевірки безпеки, публікувати звіти про ризики та оперативно повідомляти про серйозні інциденти.

Ринок праці: від перекваліфікації до базового доходу

В есе Амодеї попередив, що ШІ може спричинити масштабніші та триваліші збої на ринку праці, ніж попередні технологічні зсуви. Імовірні три сценарії: безробіття близько 5%, 10% і безпрецедентний рівень.

Серед можливих заходів він перелічив покращений збір даних про витіснення працівників, стимули для збереження зайнятості, програми перекваліфікації та, у важчому сценарії, довгострокову підтримку доходів, включно з безумовним базовим доходом. Згідно з документом компанії, Anthropic спрямує $200 млн до Economic Futures Research Fund на дослідження та оцінку економічної політики, а також створить національну програму стипендій на $150 млн для фахівців початку кар’єри.

Громадянські свободи

Окремий розділ есе Амодеї присвятив громадянським свободам. Він запропонував закріпити правила підзвітності для повністю автономної зброї, заборонити її застосування всередині США та закрити лазівку з купівлею даних у брокерів для масового стеження.

Ще одна ідея — забезпечити громадянам доступ до ШІ, не гіршого за той, який держава використовує проти них у регуляторних чи судових процедурах. На думку Амодеї, без такого балансу ШІ може посилити перевагу влади.

Есе вийшло наступного дня після запуску Claude Fable 5 і Claude Mythos 5. Anthropic назвала Fable 5 найпотужнішою зі своїх загальнодоступних моделей, а Mythos 5 — версією тієї самої базової моделі з послабленими обмеженнями в окремих сферах для обмеженого кола партнерів Project Glasswing.

Нагадаємо, у червні члени команди Anthropic побачили ознаки наближення до рекурсивного самовдосконалення ШІ. У компанії допустили, що суспільству може знадобитися механізм уповільнення розробки передових моделей, аби інститути та дослідження безпеки встигали за прогресом.