Вышла новая нейросеть, которая умеет создавать звуки, в том числе музыку, по текстовому описанию.
Возможно, популярность нового алгоритма ИИ поменьше, чем у нашумевшего текстового, потому что его создали университетские ученые, а не сотрудники частной коммерческой компании, однако он не менее увлекателен. Попробовать уже может любой желающий.
Ученые из Университета Суррея (Великобритания) приглашают протестировать их новую модель преобразования текста в аудио. Авторы разработки уверены, что алгоритм вызовет взрыв творчества в музыкальной индустрии и за ее пределами.
Что умеет AudioLDM?
AudioLDM — это новая система на основе искусственного интеллекта, которая в ответ на текстовый запрос создает аудиодорожку.
Создатели предлагают использовать систему при создании фильмов, игр, цифрового искусства, в метавселенной и в качестве цифрового помощника для слабовидящих.
Отмечается, что нейросеть позволяет создавать высококачественные и уникальные сэмплы за считанные секунды с очень небольшой вычислительной мощностью.
Модель построена с помощью метода, который позволяет обучать ИИ на огромных объемах разнообразных аудиоданных без текстовых меток, что значительно увеличивает возможности алгоритма.
Как пользоваться AudioLDM?
Объясним, как использовать AudioLDM, ИИ, который создает звуки из текста бесплатно и быстро.
Откройте веб-сайт AudioLDM.
В баре, где появляется пример «Молоток бьет по деревянной поверхности» напишите точное описание звука, который вы хотите. Мы рекомендуем использовать много прилагательных в описании звука, использовать общие термины, избегая абстрактных описаний (таких как звук банана), и напиши это на английском (воспользуйтесь переводчиком, если вы не говорите на этом языке).
Далее нажмите “отправить” и ждите, пока ИИ выполнит свою работу.
Наконец, появится созданный файл, и вы можете нажать на аудио, чтобы воспроизвести его удерживайте, чтобы загрузить его (на мобильном телефоне) или (если вы на компьютере) щелкните его правой кнопкой мыши и нажмите “сохранить видео как”.
Какие еще нейронные сети создают звук и музыку?
Среди них — алгоритм MelNet, алгоритм WaveNet и Deep Convolutional Generative Adversarial Network (DCGAN), которые добились значительных успехов в создании реалистично звучащей речи, музыки и других форм аудио.
MelNet — это передовой алгоритм ИИ, который использует генеративную модель для создания высококачественного звука на основе спектрограмм. Спектрограммы — это визуальные представления частоты и интенсивности звуковых волн, и MelNet использует их для создания реалистично звучащей речи, которая в точности имитирует человеческую речь. Этот алгоритм находит многочисленные применения в разработке виртуальных помощников, устройств с голосовым управлением и программ преобразования речи в текст.
WaveNet генерирует музыку и речь путем прямого моделирования необработанных аудиосигналов, что делает его универсальным инструментом для широкого спектра приложений, связанных с аудио. Он использует глубокие нейронные сети для создания сложных звуковых сигналов, которые очень похожи на человеческие, что делает его популярным выбором для производства музыки, записи голоса за кадром и других задач по созданию аудио.
DCGAN — это еще одна мощная нейронная сеть, которая может генерировать музыку, обучаясь на существующих образцах и создавая новые произведения на основе этих образцов. DCGAN использует сверточные нейронные сети для анализа музыкальных образцов и создания новых композиций, которые похожи на эти образцы с точки зрения ритма, мелодии и других музыкальных атрибутов. Этот алгоритм обладает огромным потенциалом в области музыкальной композиции, позволяя музыкантам быстро и легко генерировать новые произведения.
В заключение следует отметить, что ИИ оказал значительное влияние на область обработки и анализа звука, а такие нейронные сети, как MelNet, WaveNet и DCGAN, расширили границы возможного в плане создания реалистично звучащей речи, музыки и других форм звука. Поскольку технология ИИ продолжает развиваться, вполне вероятно, что в ближайшие годы мы увидим еще более продвинутые и сложные приложения, связанные с аудио.
