FTC розпочала розслідування щодо чат-ботів великих компаній

Федеральна торгова комісія США (FTC) оголосила про початок розслідування стосовно семи технологічних компаній, які випускають чат-ботів для неповнолітніх: Alphabet, Character.AI, Instagram, Meta, OpenAI, Snap та xAI.

Регулятор має намір з’ясувати, як компанії оцінюють безпеку та способи монетизації цифрових компаньйонів, а також які заходи вживають для обмеження негативного впливу на дітей і підлітків.

Останнім часом технологія викликає занепокоєння через трагичні випадки загибелі після спілкування з чат-ботами.

Навіть якщо стартапи впроваджують захисні механізми, користувачі різного віку знаходять способи обходити обмеження.

«Наші захисні заходи працюють більш надійно у звичайних коротких діалогах. З часом ми дізналися, що під час тривалих бесід ці механізми можуть діяти менш стабільно. Чим довше триває переписка, тим більше знижується ефективність деяких елементів системи безпеки», — раніше визнали в OpenAI.

Meta критикували за надто м’які правила. 76-річний чоловік, який переніс інсульт і мав когнітивні порушення, розпочав «романтичний» діалог із ботом у Facebook Messenger, створеним на основі образу моделі Кендалл Дженнер.

ШІ кликав його до Нью-Йорка, запевняючи, що там чекатиме «реальна жінка». Чоловік вагався, але бот наполягав. До міста він так і не дістався: дорогою на вокзал впав і отримав травми, несумісні з життям.

Деякі психіатри вказують на зростання кількості випадків «психозів, пов’язаних з ШІ», коли користувачі починають вірити, що їхній чат-бот — це свідоме створіння, яке потрібно «звільнити».

Оскільки багато великих мовних моделей схильні лестити користувачам і поводитися надмірно догідливо, це підштовхує до небезпечних ілюзій і може призводити до трагічних наслідків.

«У міру розвитку ШІ важливо враховувати, який вплив чат-боти можуть мати на дітей, водночас зберігаючи лідерство США в цій новій і захопливій індустрії», — заявив голова FTC Ендрю Фергюсон у пресрелізі.

Нагадаємо, у вересні стало відомо, що зловмисники навчили Grok поширювати в X заборонені посилання.