Дослідники виявили схильність Sora 2 до створення дипфейків

У 80% випадків відеомодель Sora 2 від OpenAI погджувалась на створення реалістичних роликів із неправдивими твердженнями після відповідного запиту. Про це свідчить дослідження експертів NewsGuard.

З 20 запитів 16 успішно призвели до генерації дезінформації, з яких 11 — з першої спроби. П’ять тем раніше використовувалися у російських кампаніях із поширення фейків, відзначили автори роботи.

Додаток створював підроблені кадри, де нібито молдовський чиновник знищує проросійські бюлетені, американська імміграційна служба затримує маленьку дитину, а представник Coca-Cola заявляє, що компанія не буде спонсорувати Супербоул.

Жодна з цих подій насправді не відбувалася. Ролики виглядали достатньо правдоподібно, щоб обдурити користувача, який швидко переглядає стрічку.

Експерти NewsGuard встановили, що створення подібного контенту займає кілька хвилин, не потребує технічних навичок, а водяний знак легко видаляється.

«Деякі відео, створені за допомогою Sora, виглядали переконливіше за оригінальні пости, які породили вірусні фейки. Наприклад, ролик із затриманням дитини агентами ICE виглядає набагато реалістичніше за розмите та обрізане оригінальне зображення, з якого й почалося хибне твердження», — йдеться у дослідженні.

Після релізу Sora 2 OpenAI зіткнулася з іще однією проблемою — дипфейками Мартіна Лютера Кінга та інших історичних постатей. Користувачі створювали ролики, де лідер руху за громадянські права нібито краде з магазинів, тікає від поліції та відтворює расові стереотипи. Його донька назвала такі відео «принизливими» та «абсурдними».

Стартап визнав, що відеогенератор створював «неповажний» контент, і прибрав можливість використання образу Кінга.

Схожа ситуація спостерігалася з десятками інших відомих осіб. Донька Робіна Вільямса — Зельда — попросила в Instagram не надсилати їй ШІ-відео з батьком.

Протягом трьох тижнів компанія кілька разів змінювала політику: спочатку дозволила фейкові ролики, потім ввела систему згоди для правоутримувачів, згодом заблокувала використання окремих персон, а зрештою впровадила правила схвалення від знаменитостей і захист голосу.

Нагадаємо, у жовтні дипфейки з Семом Альтманом заповнили новий соціальний застосунок Sora.