Automatic Speech Recognition
Transformers
Safetensors
Japanese
moss_transcribe_diarize
text2text-generation
asr
japanese
custom_code
Instructions to use rose3/moss-anime with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use rose3/moss-anime with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("automatic-speech-recognition", model="rose3/moss-anime", trust_remote_code=True)# pip install -U transformers accelerate # Load model directly from transformers import AutoProcessor, AutoModelForMultimodalLM processor = AutoProcessor.from_pretrained("rose3/moss-anime", trust_remote_code=True) model = AutoModelForMultimodalLM.from_pretrained("rose3/moss-anime", trust_remote_code=True, device_map="auto") - Notebooks
- Google Colab
- Kaggle
moss-anime
日本語のアニメ・ゲーム音声向けに追加学習した ASR(0.9B)です。 OpenMOSS-Team/MOSS-Transcribe-Diarize(Apache-2.0)をベースにしています。
個人の実験の成果物を供養として公開するものです。
- 精度は anime-whisper と同程度
使い方(最低限)
pip install -r code/requirements.txt # torch は環境に合った CUDA 版を先に入れる
python code/transcribe.py voice.wav
python code/transcribe.py ep01.wav --srt ep01.srt
python code/transcribe.py folder --out result.jsonl
出力は [開始-終了] S01: テキスト です。動作確認は Python 3.12、torch 2.11 + CUDA 12.8、transformers 5.20.2、RTX 3060 です。
音声の読み込みに librosa と av が必要です(code/requirements.txt に含めています)。
おすすめ設定は「既定(greedy)」
- 長い音声では、
--num_beams 4を付けると、同じ文を繰り返す暴走が出ることがありました(49〜100 秒の音声で確認)。長尺では付けないでください。 - 「!」「?」を多く残したいときは
--punct_bias 1を試せます。ただしビームサーチとは併用しないでください。 - 安全装置(ループ防止・出力長の上限・温度を上げた再デコード・無音ゲート)は既定でオンです。
評価(参考)
- 成人向けゲーム音声 100 件: CER 21.7%。誤りの大半は喘ぎ・吐息など非言語の表記ゆれで、台本にもアドリブとのずれがあります
分かっている弱点
- 高い声のアニメ声の聞き取りは anime-whisper よりやや弱い
- 文末の「!」「?」「っ」を落としやすい
- 固有名詞(人名・作品固有語)は外れやすい
- 喘ぎ・吐息などの非言語音は、表記が一意に決まらないため正解との一致が低い
- ビームサーチでの暴走(上記)
学習
- ベース: MOSS-Transcribe-Diarize
- v1: 合成会話(約 2,100 時間)を 1 エポック
- v2: v1 から続けて、未使用クリップで再学習(約 2,160 時間、25,027 ステップ、学習率 7e-6)
ライセンス
コードと重みはベースモデルに従い Apache-2.0 です(LICENSE)。
学習音声の権利は各権利者に帰属します。利用は自己責任でお願いします。
- Downloads last month
- 19
Model tree for rose3/moss-anime
Base model
OpenMOSS-Team/MOSS-Transcribe-Diarize