Spaces:
Running
Çekme Temelli Ses Dönüşümü Web Arayüzü
VITS'e dayalı kullanımı kolay bir Ses Dönüşümü çerçevesi.
Değişiklik Geçmişi | SSS (Sıkça Sorulan Sorular)
İngilizce | 中文简体 | 日本語 | 한국어 (韓國語) | Türkçe
Burada Demo Video'muzu izleyebilirsiniz!
RVC Kullanarak Gerçek Zamanlı Ses Dönüşüm Yazılımı: w-okada/voice-changer
Ön eğitim modeli için veri kümesi neredeyse 50 saatlik yüksek kaliteli VCTK açık kaynak veri kümesini kullanır.
Yüksek kaliteli lisanslı şarkı veri setleri telif hakkı ihlali olmadan kullanımınız için eklenecektir.
Lütfen daha büyük parametrelere, daha fazla eğitim verisine sahip RVCv3'ün ön eğitimli temel modeline göz atın; daha iyi sonuçlar, değişmeyen çıkarsama hızı ve daha az eğitim verisi gerektirir.
Özet
Bu depo aşağıdaki özelliklere sahiptir:
- Ton sızıntısını en aza indirmek için kaynak özelliğini en iyi çıkarımı kullanarak eğitim kümesi özelliği ile değiştirme;
- Kolay ve hızlı eğitim, hatta nispeten zayıf grafik kartlarında bile;
- Az miktarda veriyle bile nispeten iyi sonuçlar alın (>=10 dakika düşük gürültülü konuşma önerilir);
- Timbraları değiştirmek için model birleştirmeyi destekleme (ckpt işleme sekmesi-> ckpt birleştir);
- Kullanımı kolay Web arayüzü;
- UVR5 modelini kullanarak hızla vokalleri ve enstrümanları ayırma.
- En güçlü Yüksek tiz Ses Çıkarma Algoritması InterSpeech2023-RMVPE sessiz ses sorununu önlemek için kullanılır. En iyi sonuçları (önemli ölçüde) sağlar ve Crepe_full'den daha hızlı çalışır, hatta daha düşük kaynak tüketimi sağlar.
- AMD/Intel grafik kartları hızlandırması desteklenir.
- Intel ARC grafik kartları hızlandırması IPEX ile desteklenir.
Ortamın Hazırlanması
Aşağıdaki komutlar, Python sürümü 3.8 veya daha yüksek olan bir ortamda çalıştırılmalıdır.
(Windows/Linux) İlk olarak ana bağımlılıkları pip aracılığıyla kurun:
# PyTorch ile ilgili temel bağımlılıkları kurun, zaten kuruluysa atlayın
# Referans: https://pytorch.org/get-started/locally/
pip install torch torchvision torchaudio
# Windows + Nvidia Ampere Mimarisi(RTX30xx) için, https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/issues/21 deneyime göre pytorch'a karşılık gelen cuda sürümünü belirtmeniz gerekebilir
#pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
Sonra poetry kullanarak diğer bağımlılıkları kurabilirsiniz:
# Poetry bağımlılık yönetim aracını kurun, zaten kuruluysa atlayın
# Referans: https://python-poetry.org/docs/#installation
curl -sSL https://install.python-poetry.org | python3 -
# Projeyi bağımlılıkları kurun
poetry install
Ayrıca bunları pip kullanarak da kurabilirsiniz:
Nvidia grafik kartları için
pip install -r requirements.txt
AMD/Intel grafik kartları için：
pip install -r requirements-dml.txt
Intel ARC grafik kartları için Linux / WSL ile Python 3.10 kullanarak:
pip install -r requirements-ipex.txt
Mac kullanıcıları run.sh aracılığıyla bağımlılıkları kurabilir:
sh ./run.sh
Diğer Ön Modellerin Hazırlanması
RVC'nin çıkarım ve eğitim yapması için diğer ön modellere ihtiyacı vardır.
Bu ön modelleri Huggingface alanımızdan indirmeniz gerekecektir.
İşte RVC'nin ihtiyaç duyduğu diğer ön modellerin ve dosyaların bir listesi:
./assets/hubert/hubert_base.pt
./assets/pretrained
./assets/uvr5_weights
V2 sürümü modelini test etmek isterseniz, ek özellikler indirmeniz gerekecektir.
./assets/pretrained_v2
V2 sürüm modelini test etmek isterseniz (v2 sürüm modeli, 9 katmanlı Hubert+final_proj'ün 256 boyutlu özelliğini 12 katmanlı Hubert'ün 768 boyutlu özelliğiyle değiştirmiştir ve 3 periyot ayırıcı eklemiştir), ek özellikleri indirmeniz gerekecektir.
./assets/pretrained_v2
Eğer Windows kullanıyorsanız, FFmpeg ve FFprobe kurulu değilse bu iki dosyayı da indirmeniz gerekebilir.
ffmpeg.exe
https://huggingface.co/lj1995/VoiceConversionWebUI/blob/main/ffmpeg.exe
ffprobe.exe
https://huggingface.co/lj1995/VoiceConversionWebUI/blob/main/ffprobe.exe
En son SOTA RMVPE vokal ton çıkarma algoritmasını kullanmak istiyorsanız, RMVPE ağırlıklarını indirip RVC kök dizinine koymalısınız.
https://huggingface.co/lj1995/VoiceConversionWebUI/blob/main/rmvpe.pt
AMD/Intel grafik kartları kullanıcıları için indirmeniz gereken:
https://huggingface.co/lj1995/VoiceConversionWebUI/blob/main/rmvpe.onnx
Intel ARC grafik kartları kullanıcıları Webui'yi başlatmadan önce source /opt/intel/oneapi/setvars.sh komutunu çalıştırmalı.
Daha sonra bu komutu kullanarak Webui'yi başlatabilirsiniz:
python infer-web.py
Windows veya macOS kullanıyorsanız, RVC-beta.7z dosyasını indirip çıkararak go-web.bati kullanarak veya macOS'ta sh ./run.sh kullanarak doğrudan RVC'yi kullanabilirsiniz.