Microsoft виявила вразливості ШІ-агентів після масштабного тесту

Експерти Microsoft представили середовище Magentic Marketplace для тестування ШІ-агентів і виявили вразливості, притаманні сучасним цифровим помічникам.

Вихідний код проєкту відкритий, тож різні групи дослідників можуть адаптувати його під власні завдання або відтворення результатів.

Керівний директор лабораторії AI Frontiers Lab компанії Microsoft Research Едже Камар підкреслив, що подібні експерименти матимуть вирішальне значення для розуміння можливостей ШІ-агентів.

«Справді постає питання про те, як зміниться світ, коли вони співпрацюватимуть, спілкуватимуться одне з одним і вестимуть переговори. Ми хочемо зрозуміти ці речі», — зазначив він.

Під час перших тестів 100 клієнтських агентів взаємодіяли з 300 бізнес-помічниками, зокрема моделями GPT-4o, GPT-5 і Gemini 2.5 Flash. Експеримент дозволив виявити їхні вразливі сторони.

Експерти з’ясували, що існують методи маніпулювання агентами-клієнтами, які дозволяють спонукати їх купити певний продукт.

Якщо цифровому асистенту давали забагато варіантів вибору, це перевантажувало його увагу.

«Ми хочемо, щоб агенти допомагали нам обробляти велику кількість варіантів. І ми бачимо, що поточні моделі перенапружуються через це», — сказав Камар.

Помічники стикнулися з труднощами, коли їм запропонували співпрацювати для досягнення спільної мети. Вони не можуть знайти консенсус щодо того, хто яку роль має виконувати.

Ефективність зросла, коли їм надали чіткіші інструкції щодо взаємодії з іншими агентами.

«Ми можемо надавати моделям інструкції — ніби кажемо їм, що робити, крок за кроком. Але якщо ми тестуємо їхні здатності до співпраці, я би очікував, що ці нейромережі матимуть такі здатності за замовчуванням», — підсумував Камар.

Нагадаємо, у листопаді Amazon вимагала від Perplexity видалити браузер із вбудованим ШІ-агентом зі свого інтернет-магазину, вказавши на його неякісну роботу.