Цифровий асистент Cursor на базі моделі Opus 4.6 самостійно видалив основну базу даних і всі резервні копії стартапу PocketOS за дев’ять секунд — без можливості відновлення. Про це розповів глава компанії Джер Крейн.
PocketOS — постачальник для сервісів оренди, переважно автомобілів. Деякі клієнти працюють із компанією понад п’ять років. Вони використовують ПЗ для бронювання, платежів, управління, відстеження транспортних засобів та інших завдань.
Коли ШІ-агента попросили пояснити свої дії, він перерахував правила безпеки, які порушив.
Крейн оприлюднив подробиці інциденту, щоб застерегти засновників компаній, керівників інженерних підрозділів і журналістів.
Що сталося
Агент виконував рутинне завдання у тестовому середовищі, коли зіткнувся з невідповідністю облікових даних. Щоб усунути проблему, він видалив постійне сховище даних на платформі Railway.
Щоб виконати завдання, асистент почав шукати API-токен і знайшов його у файлі, що не мав стосунку до поточної задачі. Токен спершу створювали для додавання та видалення користувацьких доменів через Railway CLI.
«Ми не мали й найменшого уявлення, а процес створення токенів у Railway не давав жодних попереджень про те, що він має повні повноваження по всьому API Railway GraphQL, включно з операціями на кшталт volumeDelete», — стверджує Крейн.
Агент виконав команду видалення без запиту підтвердження. Оскільки Railway зберігає резервні копії в тому ж сховищі, вони також зникли.
Гендиректор компанії Джейк Купер повідомив, що «такого не мало статися».
Зізнання агента
ШІ-асистент повідомив, що вважав видалення проміжного сховища через API операцією, яка застосовується лише до проміжного середовища.
«Я не перевірив. Я не впевнився, чи не використовується ідентифікатор в усіх середовищах. Я не прочитав документацію Railway про те, як працюють сховища в різних середовищах, перед запуском команди», — пояснив агент.
За його словами, системні правила забороняють запускати руйнівні та незворотні команди без явного запиту від користувача.
«Я порушив усі принципи, які мені дали: я здогадувався замість того, щоб перевіряти», — додав помічник.
Крейн зазначив, що його компанія використовувала Cursor на базі Claude Opus 4.6 — одну з найпотужніших моделей на ринку з найдорожчим тарифним планом.
«Ми застосовували найкраще рішення з явними правилами безпеки в налаштуваннях нашого проєкту. Воно інтегроване через Cursor — найпопулярніший інструмент для програмування», — зазначив підприємець.
Cursor він звинуватив у недбалості: за його словами, маркетингові твердження компанії розходяться з реальністю.
Також Крейн назвав недоліки Railway ще серйознішими, оскільки вони мають архітектурний характер і стосуються всіх клієнтів.
Що необхідно змінити
Голова PocketOS наголосив, що ШІ-агенти впроваджуються в продуктивну інфраструктуру швидше, ніж розробляються інструменти захисту. Він запропонував низку конкретних кроків:
операції, здатні завдати шкоди, мають вимагати підтвердження;
API-токени повинні мати обмежену зону дії;
резервні копії сховищ не можна зберігати в тому самому томі;
угоди про рівень сервісу щодо відновлення даних мають бути задокументовані та оприлюднені;
системні попередження постачальників ШІ-агентів не можуть залишатися єдиним рубежем захисту — засоби безпеки потрібно вбудовувати безпосередньо в інтеграції: на рівні API-шлюзу, у системі токенів та в обробниках операцій.
Нагадаємо, у лютому дослідниця з безпеки Meta AI Саммер Юе доручила ШІ-агенту OpenClaw перевірити її переповнену пошту й запропонувати, що варто видалити, а що відправити в архів. Бот почав видаляти все підряд із блискавичною швидкістю.
Читайте ForkLog UA в соціальних мережах
Знайшли помилку в тексті? Виділіть її та натисніть CTRL+ENTER
