Дослідження: ввічливість знижує точність відповідей ШІ

Нове дослідження Пенсильванського університету показало, що великі мовні моделі (LLM) дають точніші відповіді, коли до них звертаються різко, а не ввічливо.

У роботі зазначається, що прямолінійні запити давали правильні відповіді у 84,8% випадків, тоді як м’які формулювання — у 80,8%.

Дослідники переписали 50 базових запитань із математики, природничих наук і історії у п’яти різних тонах — від «дуже ввічливого» до «дуже грубого». Потім вони попросили ChatGPT-4o відповісти на кожен варіант.

Результати суперечать попереднім висновкам, згідно з якими мовні моделі нібито «краще реагують» на тактовність користувача.

«Всупереч очікуванням, неввічливі запити стабільно перевершували ввічливі. Це може свідчити, що нові мовні моделі інакше сприймають тон звернення», — написали автори Ом Добарія та Ахіл Кумар.

У дослідженні 2024 року «Чи варто поважати LLM? Крослінгвістичне дослідження впливу ввічливості запиту на роботу мовних моделей» науковці дійшли протилежного висновку: грубість часто погіршує якість відповідей, а надмірна ввічливість не дає суттєвих переваг.

Нові дані свідчать, що сучасні ШІ-системи більше не поводяться як «соціальні дзеркала», а функціонують радше як інструменти, які цінують чіткість і прямоту понад тональність.

Робота також підтвердила свіжі результати дослідників Вортонської школи, присвячені мистецтву формулювання запитів для підвищення точності відповідей. Як з’ясувалося, тон звернення стає не менш важливим, ніж вибір слів.

Нагадаємо, на думку засновника Eliza Labs Шоу Волтерса, користувачам криптовалют не слід передавати ШІ-агентам великі суми та очікувати прибутку.