Meta представила ШІ-моделі для обробки фото та відео

Корпорація Meta анонсувала Emu Video та Emu Edit — інструменти на основі генеративного штучного інтелекту для редагування і створення контенту.

Обидві нейромережі, за основу для яких узято мовну модель Emu, все ще перебувають на стадії тестування. Згідно із заявою, продукти вже демонструють потенційну користь для художників, аніматорів та інших фахівців творчого спрямування.

Emu Video здатний генерувати відеокліпи на основі введеного тексту і прикріплених зображень у форматі 512×512 з частотою 16 кадрів на секунду.

Нейромережу навчали за допомогою «факторизованого» підходу, розділивши процес на два етапи, що дало змогу інструменту реагувати на різні вхідні дані.

«Спочатку [Emu Video] створює зображення з урахуванням текстової підказки, а потім на його основі та тексту генерує відео. Цей „факторизований“ або розділений підхід до генерації дозволяє нам ефективно навчати моделі для відеороликів», — пояснили в Meta.

Emu Edit дає змогу видаляти або додавати тло на фото, виконувати перетворення кольору і геометрії, а також підтримує локальне і глобальне редагування.

ШІ навчений на наборі даних з 10 млн зразків, кожен з яких має вхідний варіант зображення та опис завдання, а також цільовий результат.

«Хоча Emu Video, Emu Edit і подібні до них нові технології, безумовно, не можуть замінити професійних художників, вони допоможуть людям виразити себе по-новому: від артдиректора, що вигадує нову концепцію, або відеомонтажера, який оживляє свій останній ролик, до кращого друга, який ділиться унікальним привітанням з днем народження», — підкреслили в компанії.

Раніше Meta представила набір ШІ-інструментів у вигляді голосового помічника, нейромережі з різними особистостями, «розумних окулярів» і генератора стікерів.

Нагадаємо, у серпні корпорація анонсувала нейромережу AudioCraft, яка створює звуки та музику за текстовим описом.