Luma випустила ШІ-редактор відео Ray3 Modify

Компанія Luma, що створює відео та 3D-моделі за допомогою штучного інтелекту, випустила нову нейромережу Ray3 Modify.

Інструмент дає змогу змінювати наявні відео з використанням референсних зображень персонажів і збереженням акторської гри з оригінального ролика.

Користувачі можуть вказати початковий і кінцевий кадри, щоб модель згенерувала проміжні матеріали.

Компанія заявила, що Ray3 Modify розв’язує проблеми збереження характеристик людини під час редагування чи генерації ефектів. LLM краще дотримується оригінального відео, зберігаючи рухи, таймінг, напрям погляду та передачу емоцій. Це дозволяє студіям використовувати живих акторів у роликах.

За допомогою нового рішення користувачі можуть задати референс персонажа для трансформації відео, змінивши зовнішність людини. Інформація про костюми, візуальну схожість та ідентичність зберігається протягом усієї зйомки.

«Генеративні відеомоделі неймовірно виразні, але їх складно контролювати. Ray3 Modify поєднує насиченість і реальний світ, надаючи креативним фахівцям повну владу. Вони можуть знімати виступи на камеру, а потім одразу змінювати їх: трансформувати локацію, костюми або навіть “перезнімати” сцену за допомогою ШІ без повторної фізичної присутності», — заявив співзасновник і CEO Luma AI Аміт Джейн.

Нова модель доступна на платформі Dream Machine. Реліз збігся із залученням $900 млн інвестицій у раунді, який очолила саудівська Humain. До фінансування також приєдналися чинні інвестори проєкту: a16z, Amplify Partners та Matrix Partners.

Стартап планує збудувати ШІ-кластер на 2 ГВт у Саудівській Аравії разом із Humain.

Нагадаємо, у травні американські технологічні фірми уклали угоду з компанією з арабської країни для масштабного розвитку сфери штучного інтелекту в регіоні.

У грудні ШІ-стартап Runway випустив нову відеомодель Gen 4.5, яка перевершує аналогічні рішення конкурентів в незалежному тестуванні.