RVC¶
RVC представляет из себя программное обеспечения для преобразования одного голоса в другой. Вы можете обучать собственные модели, основываясь на нескольких минутах записи нужного вам голоса.
Так же в комплекте идут утилиты для изменения голоса в реальном времени.
Как установить?¶
У данной системы существует множество варинтов UI, здесь будет рассмотрена установка самого популярного варианта - Retrieval-based-Voice-Conversion-WebUI.
Скачайте последнюю версию RVC WebUI по данной ссылке.
- Выберите zip-архив рядом с надписью For Nvidia GPU users если у вас NVidia
- В противном случае выберите For AMD/Intel GPU users
На этом всё - никаких дополнительных установок и манипуляций в консоли проводить не нужно. Все зависимости (включая нужную версию Python и библиотек) вшиты в архив.
Для открытия основного UI запустите файл go-web.bat. Вы увидите консоль, в которой будет указан URL, через который вы будете открывать данный UI.
Так же в комплекте идут утилиты для изменения голоса в реальном времени. Для их запуска необходимо запустить файл go-realtime-gui.bat.
Где взять и как установить готовые модели?¶
Онлайн-каталоги моделей:
https://discord.gg/aihub (канал voice-models)
https://www.weights.gg
https://voice-models.com
https://huggingface.co (ищите по имени спикера + rvc, например "letov rvc")
https://google.com (аналогично предыдущему пункту)
https://t.me/AINetSD_bot
Модели состоят либо из одного файла pth, либо из двух файлов - pth и index.
Помещать модели необходимо сюда:
- файлы .pth в директорию /weights
- файлы .index в директорию /logs
Как использовать?¶
Рассмотрим основные элементы управления RVC WebUI. Всё, что необходимо для преобразования голоса, находится в верхней части первого таба.
1. Inferencing voice: выпадающий список со всеми моделями из каталога /weights. Выбираем нужный вам файл с моделью
2. Index file: выпадающий список с index-файлами. Отображаются все файлы из каталога /logs. Если для вашей модели идёт index-файл в комплекте, укажите его здесь. В противном случае, оставьте пустым
3. Transpose: Относительная высота голоса, указывается в полутонах (одна октава = 12 полутонов).
В общем случае рекомендуется использовать следующие значения для данного параметра:
Если меняете мужской голос на женский = 12
Если меняете женский голос на мужской = -12
В остальных случаях = 0
Вам ничего не мешает указывать и другие значения, если вы хотите задрать голос выше/ниже. Для преобразования голоса в песнях стоит указывать значения, кратные 12, в противном случае ваш спикер может фальшивить.
4. Audio file path: Путь до файла с аудиодорожкой, которую меняем. RVC, в отличии от SVC, всеядный и съест любые аудио и видеоформаты. Аудиофайл не должен содержать в тебе ничего, кроме вокала, иначе ваш спикер попытается озвучить все звуки.
5. Pitch extraction algorithm: Алгоритм преобразования. Опции pm и harvest считаются более быстрыми но менее качественными, в то время как преобразование через crepe и rmvpe занимает больше времени. На момент написания этой статьи default опцией считается rmvpe - в большинстве случаев вам нужно использовать именно её.
6. Нажатие на кнопку "Convert" запускает преобразование трека.
7. Здесь вы увидите мини-плеер для запуска преобразованного трека. При нажатии на символ ⋮ откроется меню, в котором вы сможете сохранить преобразованный трек
Что ещё нужно знать?¶
Качество каверов определяется в первую очередь тем, насколько качественно вы сможете разделить дорожку на составляющие в виде вокальной части и инструменталки. Если у вас в треке есть хор или беквокал, то земля пухом в попытке преобразовать это.
В комплекте с RVC идёт несколько UVR5-моделей, которые можно использовать для отделения вокальной части песен от инструментальной через вкладку Vocals/Accompaniment Separation & Reverberation Removal в основном UI. Однако, выбор моделей там небольшой и наилучшие модели отсутствуют в комплекте. В связи с этим, я рекомендую вам поставить Ultimate Vocal Remover отдельно.
Прочие ссылки¶
TODO¶
- Альтернативные UI
- Как разделять дорожку?
- Как обучать свои модели?