Дослідження: ШІ-боти справляються з CAPTCHA краще за людей

Штучний інтелект на 15% успішніше справляється з проходженням CAPTCHA, ніж живі люди. Такого висновку дійшли автори дослідження, на яке звернув увагу Quartz. 

Експеримент було проведено групою фахівців із Microsoft, Швейцарської вищої технічної школи Цюріха, Каліфорнійського університету в Ірвайні та Ліверморської національної лабораторії. 

У дослідженні взяли участь 1400 осіб, яким було запропоновано пройти тести на захист від роботів, що використовуються на 120 популярних ресурсах. Результати фахівці порівняли з показниками, які продемонстрували різні боти. 

«Точність ботів коливається в межах 85-100%, причому у більшості вона перевищує 96%. Це істотно краще за спостережуваний показник у людини (50-85%)», — ідеться в статті, опублікованій за підсумками експерименту.

Живі люди, за даними дослідників, можуть конкурувати з ШІ лише під час проходження reCAPTCHA. Середньостатистичний користувач справляється з цим завданням за 18 секунд. У ботів на це йде 17,5 секунди.

В інтерв’ю для New Scientist результати дослідження прокоментував один із його авторів Джин Цудік. На його думку, вони свідчать про те, що технологія захисту від роботів перестала справлятися зі своїми завданнями і тепер приносить лише незручності.

«Усі ми знаємо, що ніхто не любить [подібні тести]. Для цього не потрібно було проводити дослідження. Але не всі знають, чи варті того зусилля, які ми докладаємо для проходження CAPTCHA щодня, місяць, рік», — поскаржився вчений. 

Нагадаємо, у липні аналітики Стенфорда та Каліфорнійського університету опублікували дослідження, в якому стверджується, що новітні моделі чат-бота ChatGPT стали працювати гірше після «спілкування» з живими користувачам. Зокрема, ще в березні цього року остання версія штучного інтелекту ідентифікувала прості числа з точністю 97,6%. До червня цей показник впав до 2,4%.