RikkaBotan commited on
Commit
425e5b3
1 Parent(s): f8a46e9

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +214 -0
README.md CHANGED
@@ -1,3 +1,217 @@
1
  ---
2
  license: cc-by-sa-4.0
 
 
 
 
 
 
 
 
 
 
 
 
 
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  license: cc-by-sa-4.0
3
+ language:
4
+ - en
5
+ pipeline_tag: text-to-speech
6
+ tags:
7
+ - style-bert-vits2
8
+ - tts
9
+ - childish
10
+ - childish voice
11
+ - english
12
+ - text2audio
13
+ - text-to-audio
14
+ - text to audio
15
+ - audio
16
  ---
17
+
18
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6629ba7d59854b02da014f64/i64Rx7UbX_-KPLA3uJEEO.png)
19
+
20
+ # このモデルの長所は幼げなおっとりしたボイス生成を商用・非商用問わず無料で自由に使える点です。
21
+
22
+ # The advantage of this model is that you can freely use the childish and unapologetic voice generation for free, both commercial and non-commercial.
23
+
24
+ このモデルはRikkaBotanの英語バージョンです。
25
+ 日本語で論理的に話してほしい場合は、[coolバージョン](https://huggingface.co/RikkaBotan/style_bert_vits2_jp_extra_cool_original)
26
+ 日本語で感情的に話してほしい場合は[sweetバージョン](https://huggingface.co/RikkaBotan/style_bert_vits2_jp_extra_sweet_original)
27
+ 日本語のささやき声で話してほしい場合は[ASMRバージョン](https://huggingface.co/RikkaBotan/style_bert_vits2_jp_extra_asmr_original)
28
+ を試してみてください。
29
+
30
+ This model is english version.
31
+ If you want them to speak more descriptively in Japanese, try the [cool version](https://huggingface.co/RikkaBotan/style_bert_vits2_jp_extra_cool_original).
32
+ If you want them to speak emotionally in Japanese, try the [sweet version](https://huggingface.co/RikkaBotan/style_bert_vits2_jp_extra_sweet_original)
33
+ If you want them to speak whisper voice in Japanese, try the [ASMR version](https://huggingface.co/RikkaBotan/style_bert_vits2_jp_extra_asmr_original).
34
+
35
+ # モデルのサンプル音声/sample voice
36
+
37
+ このモデルのサンプル音声①です
38
+
39
+
40
+ <audio controls src="https://cdn-uploads.huggingface.co/production/uploads/6629ba7d59854b02da014f64/9_6mZQC1npBF1jplsnNeF.mpga"></audio>
41
+
42
+
43
+ このモデルのサンプル音声②です。
44
+
45
+
46
+ <audio controls src="https://cdn-uploads.huggingface.co/production/uploads/6629ba7d59854b02da014f64/9UnbNsOsUsjy0yvCu3Lfh.mpga"></audio>
47
+
48
+
49
+ # モデルの説明/model description
50
+
51
+ このモデルはTTS(text-to-speech)モデルである、
52
+ style_bert_vits2を独自の音声データで学習させたモデルです。
53
+ これまでのモデルと比較して高精度かつ自然な音声生成が可能となっています。
54
+ 学習データはモデルを作成した研究者本人の音声のみであるため、
55
+ ライセンスはstyle_bert_vits2と同様に
56
+ 商用・非商用問わず、自由に無料でご使用いただけます。
57
+
58
+ This model is a TTS (text-to-speech) model.
59
+ This is a model that has trained style_bert_vits2 with my own voice data.
60
+ style_bert_vits2 is a speech generation model.
61
+ Compared to previous models, it is possible to generate highly accurate and natural speech.
62
+ Since the training data is only the voice of the researcher who created the model,
63
+ The license is the same as style_bert_vits2
64
+ You can use it freely and free of charge, regardless of whether it is commercial or non-commercial.
65
+
66
+ # モデルを使うときのお約束/limitation
67
+
68
+ 〇できること/What you can do
69
+
70
+ 成果物の加工 Processing of deliverables
71
+
72
+ 成果物の商用利用 Commercial use of deliverables
73
+
74
+ 成果物の学習素材としての利用 Use of deliverables as learning materials
75
+
76
+ R-18、R-18G表現への利用(ただしゾーニングは必須です(小さなお友達のことをちゃんと考えてあげてね))
77
+
78
+ Use for R-18 and R-18G expressions (but zoning is required (please think about your little friends))
79
+
80
+
81
+ ×できないこと/What you cannot do
82
+
83
+ 音声モデルの二次配布 Secondary distribution of voice models
84
+
85
+ 人を批判・攻撃すること Criticizing or attacking others
86
+
87
+ 特定の政治的立場・宗教・思想への賛同または反対を呼びかけること Calling for support or opposition to a particular political position, religion, or ideology
88
+
89
+ 刺激の強い表現をゾーニングなしで公開すること Publishing R-18 voice without zoning
90
+
91
+ なりすましなど、提供者に不利益をもたらすこと detrimental to the provider
92
+
93
+ # 商用利用可能なVRMも作りました。/ VRM(Vroid) model for commercial use
94
+
95
+
96
+ AITuberや動画解説などに用いてください。/Please use this for AITuber and video creations
97
+
98
+
99
+ [VRM(Vroid)Model](https://hub.vroid.com/characters/610722650807128806/models/3779097297253430502)
100
+
101
+
102
+ # できればやって欲しいこと/If you like
103
+
104
+ X(Twitter)や説明文でこのモデルを使ったことを書いてもらえると作者が喜びます。(必須ではありません)
105
+ If you write that you are using this model, I will be glad!
106
+
107
+
108
+ # モデルの使い方/how to use (コードはgoogle colab用です。 For google colab)
109
+
110
+
111
+ 2通りの使用方法があります。必要に応じて選択してください。There are 2 ways to use model.
112
+
113
+
114
+ 1.style-bert-vits2のアプリを使って���イスを生成する/to use style-bert-vits2 app
115
+
116
+
117
+ ①Style-Bert-VITS2 インストール先の Style-Bert-VITS2/model_assets/rikka_botan/ フォルダに config.json, safetensors, style_vectors.npy の 3ファイルを置きます。
118
+ Put 3 files on Style-Bert-VITS2/model_assets/rikka_botan/ folder
119
+ 以下のプログラムで自動的に保存できます。By using this program, we can save files.
120
+ ```python
121
+ from google.colab import drive
122
+ drive.mount("/content/drive")
123
+ %cd /content/drive/MyDrive/
124
+ !mkdir Style-Bert-VITS2/
125
+ %cd Style-Bert-VITS2/
126
+ !mkdir model_assets/
127
+ %cd model_assets/
128
+ !mkdir rikka_botan/
129
+ from huggingface_hub import snapshot_download
130
+
131
+ model_name = "RikkaBotan/style_bert_vits2_english_original"
132
+ download_path = snapshot_download(
133
+ repo_id=model_name,
134
+ local_dir = f"rikka_botan/",
135
+ local_dir_use_symlinks=False
136
+ )
137
+ ```
138
+
139
+ ②以下のプログラムを実行します execute this program
140
+
141
+ ```python
142
+ !git clone https://github.com/litagin02/Style-Bert-VITS2.git
143
+ %cd Style-Bert-VITS2/
144
+ !pip install -r requirements.txt
145
+ !python initialize.py --skip_jvnv
146
+
147
+ from google.colab import drive
148
+ drive.mount("/content/drive")
149
+
150
+ dataset_root = "/content/drive/MyDrive/Style-Bert-VITS2/Data"
151
+ assets_root = "/content/drive/MyDrive/Style-Bert-VITS2/model_assets"
152
+ import yaml
153
+ with open("configs/paths.yml", "w", encoding="utf-8") as f:
154
+ yaml.dump({"dataset_root": dataset_root, "assets_root": assets_root}, f)
155
+
156
+ !python app.py --share
157
+ ```
158
+ ③public URLにアクセスします。access public url
159
+
160
+ 2.以下のコードを利用します。use this code
161
+
162
+ ```python
163
+ # At first, we will install the required libraries
164
+ !git clone https://github.com/litagin02/Style-Bert-VITS2.git
165
+ %cd Style-Bert-VITS2/
166
+ !pip install -r requirements.txt
167
+ !pip install style-bert-vits2 --no-build-isolation # To avoid bugs
168
+
169
+ # load Japanese bert model
170
+ from style_bert_vits2.nlp import bert_models
171
+ from style_bert_vits2.constants import Languages
172
+
173
+ bert_models.load_model(Languages.EN, "microsoft/deberta-v3-large")
174
+ bert_models.load_tokenizer(Languages.EN, "microsoft/deberta-v3-large")
175
+
176
+ # save model files to model_assets dir
177
+ from pathlib import Path
178
+ from huggingface_hub import hf_hub_download
179
+
180
+ model_file = "rikka_botan_english.safetensors"
181
+ config_file = "config.json"
182
+ style_file = "style_vectors.npy"
183
+
184
+ for file in [model_file, config_file, style_file]:
185
+ print(file)
186
+ hf_hub_download(
187
+ "RikkaBotan/style_bert_vits2_english_original",
188
+ file,
189
+ local_dir="model_assets"
190
+ )
191
+
192
+
193
+ # By using saved model, we will test text-to-speech demo
194
+ from style_bert_vits2.tts_model import TTSModel
195
+
196
+ assets_root = Path("model_assets")
197
+
198
+ model = TTSModel(
199
+ model_path=assets_root / model_file,
200
+ config_path=assets_root / config_file,
201
+ style_vec_path=assets_root / style_file,
202
+ device="cuda" # If you cannot use cuda, please input cpu
203
+ )
204
+
205
+ # Please input the English text
206
+ from IPython.display import Audio, display
207
+
208
+ sr, audio = model.infer(text="please write text here")
209
+ display(Audio(audio, rate=sr))
210
+ ```
211
+
212
+
213
+ # 謝辞/Acknowledgments
214
+ style-bert-vits2を開発してくださった[litagin](https://huggingface.co/litagin)さんに感謝いたします
215
+ また、本モデルは多くの研究者さんの努力の上にできています。先人たちの努力に深く感謝します。
216
+ We would like to thank Mr./Ms. [litagin](https://huggingface.co/litagin) for developing style-bert-vits2.
217
+ Additionally, this model was created based on the efforts of many developers. We are deeply grateful for the efforts of our predecessors.