Клонирование голоса

[Lukina-Tver]

Уважаемый Владислав!
Подскажите, в чём проблема? Мы решили клонировать мужской голос и загрузили аудиофрагмент длительностью около 1 мин (моно, 44,1 кГц). Получили на выходе нечленораздельные звуки. Попробовали пересохранить его с частотой 22,05 кГц, и результат также неудовлетворительный. Что мы сделали неправильно? Результат можно послушать здесь: https://cloud.mail.ru/public/FhoH/QtSmjLTwS (в папке 4 файла - образцы голоса для клонирования 44,1 / 22,05 кГц, результат клонирования и синтез той же самой речи встроенной моделью "Русский мужчина").

[wladradchenko]

На какой язык вы делаете клонирование голоса? На данный момент доступен только китайский и английский. Модели на русском нет, следовательно клонирование голоса на русский будет выдавать не то, что вы ожидаете.

Также, если вы клонируете голос из аудио вам требуется удалить тишину в начале и конце, и избавиться от шипения на всей длине дорожки.

[wladradchenko]

Клонироание голоса на русский добавлено, выйдет в обновлении 1.5.5

[Lukina-Tver]

Мы продолжаем изучать клонирование голоса. Установили версию 1.5.5 и загрузили тот же самый голос. Клонирование удалось, но голос оказался непохожим. Тогда мы почистили голос от шипения с помощью встроенного шумодава в Sound Forge 10.0 и загрузили голос заново. Ничего не изменилось. Тогда мы загрузили женский голос, но на выходе всё равно получился мужской голос. Кажется, первый вариант загруженного нами голоса где-то запомнился в программе, как бы его удалить?

[wladradchenko]

Если вам кажется, что новая модель не скачались. Вы можете пройти в директорию .wunjo/rtvc/ru и удалить модель sytnesizer.pt. Однако, текущая модель обучалась всего на 4 голосах, и вероятнее, просто выбирается один из 4 голосов, так как данных не достаточно. Модель на большем количестве данных YouTube нарезки звуков ещё обучается, и на сколько будет качественно клонирование голоса новой модели, я ещё не знаю.

[Lukina-Tver]

Я удалила файл sytnesizer.pt, после чего получилось синтезировать женский голос, который, опять-таки, оказался непохожим. Ну что же, подождём результатов обучения модели.

[wladradchenko]

Я удалила файл sytnesizer.pt, после чего получилось синтезировать женский голос, который, опять-таки, оказался непохожим. Ну что же, подождём результатов обучения модели.

На данный момент это итоговая модель, и новых данных нет, чтобы её до обучать. На текущий момент это финальная версия, и работа в 1.6 будет направлена на то, что скопировать больше характеристик от изначального голоса на синтезированный результат, не обучением модели, а дополнительным кодом.