Retrieval-based-Voice-Conversion-WebUI
VITS ๊ธฐ๋ฐ์ ๊ฐ๋จํ๊ณ ์ฌ์ฉํ๊ธฐ ์ฌ์ด ์์ฑ ๋ณํ ํ๋ ์์ํฌ.English | ไธญๆ็ฎไฝ | ๆฅๆฌ่ช | ํ๊ตญ์ด (้ๅ่ช) | Tรผrkรงe
๋ฐ๋ชจ ์์์ ํ์ธํด ๋ณด์ธ์!
RVC๋ฅผ ํ์ฉํ ์ค์๊ฐ ์์ฑ๋ณํ: w-okada/voice-changer
๊ธฐ๋ณธ ๋ชจ๋ธ์ 50์๊ฐ ๊ฐ๋์ ๊ณ ํ๋ฆฌํฐ ์คํ ์์ค VCTK ๋ฐ์ดํฐ์ ์ ์ฌ์ฉํ์์ผ๋ฏ๋ก, ์ ์๊ถ์์ ์ผ๋ ค๊ฐ ์์ผ๋ ์์ฌํ๊ณ ์ฌ์ฉํ์๊ธฐ ๋ฐ๋๋๋ค.
์ ์๊ถ ๋ฌธ์ ๊ฐ ์๋ ๊ณ ํ๋ฆฌํฐ์ ๋ ธ๋๋ฅผ ์ดํ์๋ ๊ณ์ํด์ ํ๋ จํ ์์ ์ ๋๋ค.
์๊ฐ
๋ณธ Repo๋ ๋ค์๊ณผ ๊ฐ์ ํน์ง์ ๊ฐ์ง๊ณ ์์ต๋๋ค:
- top1 ๊ฒ์์ ์ด์ฉํ์ฌ ์ ๋ ฅ ์์ ํน์ง์ ํ๋ จ ์ธํธ ์์ ํน์ง์ผ๋ก ๋์ฒดํ์ฌ ์์์ ๋์ถ์ ๋ฐฉ์ง;
- ์๋์ ์ผ๋ก ๋ฎ์ ์ฑ๋ฅ์ GPU์์๋ ๋น ๋ฅธ ํ๋ จ ๊ฐ๋ฅ;
- ์ ์ ์์ ๋ฐ์ดํฐ๋ก ํ๋ จํด๋ ์ข์ ๊ฒฐ๊ณผ๋ฅผ ์ป์ ์ ์์ (์ต์ 10๋ถ ์ด์์ ์ ์ก์ ์์ฑ ๋ฐ์ดํฐ๋ฅผ ์ฌ์ฉํ๋ ๊ฒ์ ๊ถ์ฅ);
- ๋ชจ๋ธ ์ตํฉ์ ํตํ ์์์ ๋ณ์กฐ ๊ฐ๋ฅ (ckpt ์ฒ๋ฆฌ ํญ->ckpt ๋ณํฉ ์ ํ);
- ์ฌ์ฉํ๊ธฐ ์ฌ์ด WebUI (์น ์ธํฐํ์ด์ค);
- UVR5 ๋ชจ๋ธ์ ์ด์ฉํ์ฌ ๋ชฉ์๋ฆฌ์ ๋ฐฐ๊ฒฝ์์ ์ ๋น ๋ฅธ ๋ถ๋ฆฌ;
ํ๊ฒฝ์ ์ค๋น
poetry๋ฅผ ํตํด dependecies๋ฅผ ์ค์นํ๋ ๊ฒ์ ๊ถ์ฅํฉ๋๋ค.
๋ค์ ๋ช ๋ น์ Python ๋ฒ์ 3.8 ์ด์์ ํ๊ฒฝ์์ ์คํ๋์ด์ผ ํฉ๋๋ค:
# PyTorch ๊ด๋ จ ์ฃผ์ dependencies ์ค์น, ์ด๋ฏธ ์ค์น๋์ด ์๋ ๊ฒฝ์ฐ ๊ฑด๋๋ฐ๊ธฐ ๊ฐ๋ฅ
# ์ฐธ์กฐ: https://pytorch.org/get-started/locally/
pip install torch torchvision torchaudio
# Windows + Nvidia Ampere Architecture(RTX30xx)๋ฅผ ์ฌ์ฉํ๊ณ ์๋ค๋ฉด, https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/issues/21 ์์ ๋ช
์๋ ๊ฒ๊ณผ ๊ฐ์ด PyTorch์ ๋ง๋ CUDA ๋ฒ์ ์ ์ง์ ํด์ผ ํฉ๋๋ค.
#pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
# Poetry ์ค์น, ์ด๋ฏธ ์ค์น๋์ด ์๋ ๊ฒฝ์ฐ ๊ฑด๋๋ฐ๊ธฐ ๊ฐ๋ฅ
# Reference: https://python-poetry.org/docs/#installation
curl -sSL https://install.python-poetry.org | python3 -
# Dependecies ์ค์น
poetry install
pip๋ฅผ ํ์ฉํ์ฌ dependencies๋ฅผ ์ค์นํ์ฌ๋ ๋ฌด๋ฐฉํฉ๋๋ค.
pip install -r requirements.txt
๊ธฐํ ์ฌ์ ๋ชจ๋ธ ์ค๋น
RVC ๋ชจ๋ธ์ ์ถ๋ก ๊ณผ ํ๋ จ์ ์ํ์ฌ ๋ค๋ฅธ ์ฌ์ ๋ชจ๋ธ์ด ํ์ํฉ๋๋ค.
Huggingface space๋ฅผ ํตํด์ ๋ค์ด๋ก๋ ํ ์ ์์ต๋๋ค.
๋ค์์ RVC์ ํ์ํ ์ฌ์ ๋ชจ๋ธ ๋ฐ ๊ธฐํ ํ์ผ ๋ชฉ๋ก์ ๋๋ค:
./assets/hubert/hubert_base.pt
./assets/pretrained
./assets/uvr5_weights
V2 ๋ฒ์ ๋ชจ๋ธ์ ํ
์คํธํ๋ ค๋ฉด ์ถ๊ฐ ๋ค์ด๋ก๋๊ฐ ํ์ํฉ๋๋ค.
./assets/pretrained_v2
# Windows๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ ์ด ์ฌ์ ๋ ํ์ํ ์ ์์ต๋๋ค. FFmpeg๊ฐ ์ค์น๋์ด ์์ผ๋ฉด ๊ฑด๋๋ฐ์ด๋ ๋ฉ๋๋ค.
ffmpeg.exe
๊ทธ ํ ์ดํ์ ๋ช ๋ น์ ์ฌ์ฉํ์ฌ WebUI๋ฅผ ์์ํ ์ ์์ต๋๋ค:
python infer-web.py
Windows๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ RVC-beta.7z
๋ฅผ ๋ค์ด๋ก๋ ๋ฐ ์์ถ ํด์ ํ์ฌ RVC๋ฅผ ์ง์ ์ฌ์ฉํ๊ฑฐ๋ go-web.bat
์ ์ฌ์ฉํ์ฌ WebUi๋ฅผ ์์ํ ์ ์์ต๋๋ค.