Google объявил о разработке Lumiere. Это модель диффузии в пространстве и времени, созданная совместно с исследователями из Института наук Вейцмана и Тель-Авивского университета. Она позволяет генерировать реалистичные видеоролики, используя текстовые описания или статичные изображения.
Протестировать видеомодель пока нельзя, но можно ознакомиться с небольшой презентацией.
Lumiere способна создавать захватывающий видеоконтент с естественными движениями. Генерировать его можно по текстовым запросам. Также доступна функция превращения статичных изображений в динамичные ролики.
Что еще умеет модель:
- Рисовать и добавлять новые элементы в видео;
- Применять стиль изображения на целый видеоряд.
Система обучена на 30 миллионах видеоклипов вместе с их текстовым описанием. Основное преимущество модели – скорость генерации видео. По информации исследователей, Lumiere создает до 16 кадров в секунду.
Ранее Google внедрили Gemini в Google Ads. Модель поможет создать рекламные объявления.
