Инновации в видеопроизводстве. Как нейронные сети генерируют видео из написанного текста

Создание анимационных видеороликов больше не должно быть трудоемким процессом. Искусственный интеллект и глубокие нейронные сети обрабатывают наборы данных для создания видеороликов за меньшее время.
В этой статье описаны различные модели и методы искусственного интеллекта, используемые для генерации видео из текста.

Исследователи из Института искусственного интеллекта Аллена и Университета Иллинойса совместно создали модель ИИ под названием CRAFT. Это расшифровывается как Composition, Retrieval и Fusion Network. Модель CRAFT использовала текст/описание (подписи) от пользователей для создания сцен из знаменитого мультсериала «Флинтстоуны».

CRAFT полностью отличается от модели генерации пикселей, в которой значение пикселя показателями, сгенерированными предыдущими пикселями для создания видео. Он использует метод извлечения сегмента текста для сбора данных из видеобазы. Модель была обучена на более чем 25 000 видеороликов, каждый из которых длился три секунды и 75 кадров. Все видео были снабжены индивидуальными аннотациями с подробной информацией о персонажах в сцене и информацией о том, о чем идет речь в этой сцене. Это по-прежнему трудоемко, так как команде приходится работать над добавлением титров к каждой сцене.

Основные проблемы при создании анимационных видеороликов можно разделить на следующие категории:
Проблемы с общей точки зрения:

• Отнимает много времени и усилий

Существует высокий спрос на анимационные видеоролики, что приводит к разрыву между спросом и предложением. Дети и взрослые любят мультики, игры и т. д. Но предложений не так много, как хотелось бы зрителям. Это связано с тем, что технология еще не достигла стадии, когда можно создавать контент за считанные минуты и соответствовать растущим ожиданиям. Генерация видео по-прежнему является трудоемким процессом, требующим большого количества ресурсов и входных данных.

• Компьютеров недостаточно

Может показаться, что компьютеры — это ответ на все вопросы. Однако существующее программное обеспечение недостаточно совершенно, чтобы изменить процесс создания видео. В то время как исследователи и эксперты работают над новыми приложениями для быстрого создания видео, создателям все еще нужно подождать, чтобы испытать более высокий уровень инноваций.

Проблемы с точки зрения глубокого обучения:

• Добавление текста вручную

Например, у некоторых видео нет субтитров и нужно вручную добавить подписи, чтобы программа могла преобразовать текст в видео. Представьте, что вы делаете это для тысяч видеоклипов.

• Неправильная маркировка

Проблема не заканчивается добавлением подписей вручную. Вы также должны маркировать видео. Теперь, когда нужно работать с таким количеством клипов, вполне возможно, что вы что-то неправильно пометите или дадите неверную подпись к паре видео. Что, если вы заметите ошибку только после того, как смарт-видео будет сгенерировано из заданных текстовых титров? Не приведет ли это к еще большей трате ресурсов и некачественному видео?

Хотя модель CRAFT действительно является достойным изобретением, миру нужно что-то лучшее и более продвинутое, чем это. Более того, модель CRAFT ограничена созданием мультфильмов и не может работать со всеми видами видеоклипов.

Исследователи трудятся над поиском способов использования искусственного интеллекта и глубокого обучения для облегчения создания видео из текста. Решения включают использование предварительно обученных моделей с открытым исходным кодом и обширных наборов данных.

Предварительно обученные модели с открытым исходным кодом

Microsoft GODIVA

Microsoft Research Asia и Университет Дьюка совместно разработали систему машинного обучения, которая может генерировать видео исключительно из текста без использования GAN (Generative Adversarial Networks). Обнародованный ранее в 2021 году проект получил название GODIVA и был построен на аналогичных подходах, используемых в системе синтеза изображений DALL-E от OpenAI.

GODIVA берет текст из меток в наборах данных. Он содержит 136 миллионов видеороликов (с субтитрами), собранных за пятнадцать лет с YouTube и включает 23 000 помеченных действий.

Это означает, что в наборе данных можно найти почти все возможные действия, которые только можно придумать.

Генерация короткометражного видеоклипа

Цель проекта — создать конвейер глубокого обучения, который принимает текстовые описания для создания привлекательных и уникальных описаний видео. В проекте создания коротких видеоклипов используется генерация видео GAN, алгоритм глубокого обучения, который создает уникальный и реалистичный видеоконтент, связывая две нейронные сети друг с другом.

Модель имеет генеративные и дискриминационные нейронные сети, где генератор создает новый контент, а дискриминатор различает настоящий и поддельный.

Генерация новостей

Термин «синтетические медиа» относится к новостному контенту (изображение, текст и видео), созданному компьютерной программой. NUIS.TV — это агрегатор новостей для мобильных устройств, который преобразует новости в тексте в видео контент, а диктор с искусственным интеллектом играет роль ведущего.
Ролики длятся 30-40 секунд и делятся с пользователями небольшими сводками новостей. Платформа бесплатна для использования и не содержит рекламы.

Мультипликационные анимационные видео

Мультипликационные видеоролики можно создавать с помощью различных онлайн-инструментов. Технологии на основе искусственного интеллекта упростили преобразование текста, изображений и видеоклипов в анимацию. Это можно использовать как для маркетинга, так и в образовательных целях. Создание анимационных видеороликов с небольшой продолжительностью занимает всего несколько минут.

Некоторые компании, занимающиеся искусственным интеллектом, уже разработали приложения глубокого обучения преобразования текста в видео для личного и коммерческого использования. Давайте рассмотрим пять лучших на рынке программных инструментов для создания видео из текста.

1.GliaCloud

GliaCloud был основан Дэвидом Ченом в 2015 году. Тайваньский стартап предоставляет приложения и решения для анализа данных и машинного обучения. Компания создала GliaStudio, продукт искусственного интеллекта, который генерирует видео на основе текста из статей. Видео являются кратким изложением статьи, введенной в качестве входных данных. GliaStudio поставляется в трех тарифных планах или категориях:

• Pro — 300 долларов в месяц для профессиональных рассказчиков.
• Бизнес — 550 долларов США в месяц для использования в бизнесе с пользовательскими темами и разрешением 1080p.
• Предприятие — Индивидуальные цены для крупных предприятий с массовым производством видео.

Компания предоставляет 14-дневную бесплатную пробную версию, чтобы попробовать создателя видео.

• GliaStudio также использует алгоритм NLP для сканирования контента на наличие ключевых слов и основных моментов, чтобы автоматически создавать видео, обобщающие текст.
• Ввод может быть предоставлен с помощью URL-адреса или путем загрузки файла. Сначала создается видеоскрипт для движка ИИ, который ищет релевантные клипы и связывает их вместе для видео.
• Создать разные тестовые версии для одних и тех же входных данных очень просто. Это помогает выбрать наиболее подходящее видео, созданное инструментом.

2. Vedia

Vedia была запущена в 2016 году для создания ИИ-видео для профессионального использования. Приложение было разработано, чтобы помочь издателям, рекламодателям и работникам СМИ автоматически создавать высококачественный контент для платформ OTT, CTV и DOOH.

С помощью этого программного обеспечения большие наборы данных могут быть преобразованы в текст. Автоматизированное программное обеспечение является масштабируемым и может работать с огромными объемами данных за меньшее время. Известно, что Vedia предоставляет целевые видеоролики, которые повышают вовлеченность пользователей. Это помогает увеличить конверсию и привлечь больше клиентов.

Предприятия могут запросить демонстрацию программного обеспечения через веб-сайт. Компания не опубликовала свой тарифный план.

Vedia следует простому трехэтапному процессу:

• Анализ: движок ИИ анализирует входные данные, ссылку, блог, текст или ленту, чтобы выбрать ключевые слова и основные моменты, необходимые для видео.
• Визуализация: затем он собирает соответствующие видеоклипы для выделенных частей и помещает их на временную шкалу видео. Далее добавляет к нему видео-повествование.
• Настройка: после автоматического создания видео его можно просмотреть, настроить для брендинга и опубликовать на различных платформах. Есть функция перетаскивания для настройки видео.

3. Lumen5

Lumen5 — одна из лучших платформ для преобразования текста в видео на основе искусственного интеллекта, которая не требует обучения или опыта. Он был основан в 2017 году и подходит для начинающих. Программа помогает в создании уникальных видео из текста. Для этой цели Lumen5 использует алгоритмы обработки естественного языка. Преобразование текста в высококачественное видео занимает всего несколько минут. Инструмент для создания видео содержит следующие категории:

• Категория сообщества — бесплатна для использования на всю жизнь, но с ограниченными возможностями.
• Категория Creator — 11 долларов в месяц для отдельных авторов.
• Премиум-категория — 59 долларов в месяц для профессиональных рассказчиков.
• Бизнес-категория — 149 долларов США в месяц для брендов и компаний (МСП).
• Категория предприятия — индивидуальные цены для крупных предприятий.

Количество функций увеличивается по мере увеличения требований категории. Начиная с премиальной категории, разрешение экрана составляет 1080p, и пользователи могут настраивать инструмент и видео по своему усмотрению.

Как работает Lumen5:

• Введите ссылку на статью, для которой необходимо снять видео. Lumen5 опирается на алгоритм НЛП, преобразовать текст в ссылку для создания раскадровки.
• Затем инструмент использует технологию компьютерного зрения, чтобы идентифицировать соответствующие визуальные и звуковые эффекты для текста.
• Создайте и настройте профиль пользователя, чтобы создавать видео, настраивать их и делиться видео в Интернете.
• Инструмент предлагает администратору эффективную панель инструментов для мониторинга процесса, просмотра видео и одобрения их для рекламных акций.

4. NIUS.TV

NIUS.TV был основан в 2017 году для конвертации блогов и новостные статьи в короткие видеоролики для легкого потребления. Это агрегатор новостей нового поколения, ориентированный на мобильные устройства, который использует программное обеспечение для создания видео на основе искусственного интеллекта, чтобы делиться сводками новостей с пользователями.

Заинтересованные лица могут получить приглашение присоединиться к списку подписчиков NIUS.TV через сайт компании.

5. Wibbitz

Компания использует запатентованную технологию интеллектуального анализа текста. Приложение автоматически находит основные моменты в истории/источнике ввода и создает для них видео. Технология искусственного интеллекта сочетает основные моменты с соответствующими кадрами/клипами из медиатеки. Wibbitz предлагает четыре тарифных плана, подходящих для индивидуального и коммерческого использования программного обеспечения.

• Стартовый план — 19 долларов в месяц для отдельных создателей контента.
• План Creator — 39 долларов США в месяц для стартапов и малого бизнеса (без водяных знаков).
• Бизнес-план — $ 119 / месяц для командного сотрудничества и среднего бизнеса.
• Корпоративный план: 489 долларов США в месяц для крупных предприятий. Также доступны настройки.

Wibbitz поставляется с 7-дневной бесплатной пробной версией программного обеспечения. Компания предлагает демонстрацию, чтобы объяснить, как это работает.

Как работает Wibbitz:

• Пользователям предоставляется самостоятельная экскурсия или практическое обучение, в зависимости от выбранного тарифного плана.
• Существуют готовые шаблоны для превращения статьи или входной истории в оптимизированное видео для привлечения пользователей.
• Редактируйте видео, вырезая, кадрируя, масштабируя кадры с помощью простых функций. Для работы с программным обеспечением не требуется никакого профессионального обучения.
• Пользователи могут добавлять к видео персональную озвучку вместо голосов, созданных искусственным интеллектом.
  Настройте видео, изменив цветовую схему, логотипы и т. д., бизнес-маркетинг целей.

Нейросети могут помочь с созданием видео на сложных наборах данных с использованием алгоритмов машинного обучения и моделей компьютерного зрения. Компании могут полагаться на существующие инструменты для создания видео или получать новые приложения, специально созданные для их бизнеса.

Используя программное обеспечение для создания смарт-текста в видео, компании могут генерировать уникальные и привлекательные видеоролики за меньшее время. Видео можно использовать в учебных целях, для продвижения бренда и для обмена новостными статьями с пользователями.