Казахстанский телеканал «Атамекен Бизнес» презентовал первую в стране виртуальную ведущую новостей — i-Sana.
Реальным прототипом новой виртуальной ведущей стала Сания Темирхан, журналистка, телеведущая, обладательница Гран-при «Казак аруй». Техническая сторона проекта велась на языке Python.
Для работы с моделями машинного обучения разработчики использовали широко распространенный фреймворк PyTorch, а для покадрового преобразования видео — модель машинного обучения wav2lip. Для преобразования голоса разработчики использовали программу AutoVC, а для синтеза речи — Tacotron 2, нейронную сеть для генерации речи из голоса.
Одним из уникальных аспектов проекта является то, что разработчики создали виртуального ведущего, который максимально приближен к реальному человеку, вплоть до артикуляции, мимики и синтезированной казахской речи. Создание реалистичного лица для виртуального ведущего, говорящего на казахском языке, было сложной задачей, потребовавшей от экспертной модели определения соответствия фрагмента аудио и видео, тщательной подготовки входных данных и прохождения нескольких этапов машинного обучения.
Новый синтезированный голос может озвучивать информацию любой сложности, четко и выразительно, насколько это возможно с помощью искусственного интеллекта.
Запуск i-Sana является значительным достижением для Atameken Business и позитивным шагом на пути развития и интеграции казахского языка в глобальные технологические процессы и системы.
