moss-anime

日本語のアニメ・ゲーム音声向けに追加学習した ASR(0.9B)です。 OpenMOSS-Team/MOSS-Transcribe-Diarize(Apache-2.0)をベースにしています。

個人の実験の成果物を供養として公開するものです。

  • 精度は anime-whisper と同程度

使い方(最低限)

pip install -r code/requirements.txt     # torch は環境に合った CUDA 版を先に入れる
python code/transcribe.py voice.wav
python code/transcribe.py ep01.wav --srt ep01.srt
python code/transcribe.py folder --out result.jsonl

出力は [開始-終了] S01: テキスト です。動作確認は Python 3.12、torch 2.11 + CUDA 12.8、transformers 5.20.2、RTX 3060 です。 音声の読み込みに librosa と av が必要です(code/requirements.txt に含めています)。

おすすめ設定は「既定(greedy)」

  • 長い音声では、--num_beams 4 を付けると、同じ文を繰り返す暴走が出ることがありました(49〜100 秒の音声で確認)。長尺では付けないでください。
  • 「!」「?」を多く残したいときは --punct_bias 1 を試せます。ただしビームサーチとは併用しないでください。
  • 安全装置(ループ防止・出力長の上限・温度を上げた再デコード・無音ゲート)は既定でオンです。

評価(参考)

  • 成人向けゲーム音声 100 件: CER 21.7%。誤りの大半は喘ぎ・吐息など非言語の表記ゆれで、台本にもアドリブとのずれがあります

分かっている弱点

  • 高い声のアニメ声の聞き取りは anime-whisper よりやや弱い
  • 文末の「!」「?」「っ」を落としやすい
  • 固有名詞(人名・作品固有語)は外れやすい
  • 喘ぎ・吐息などの非言語音は、表記が一意に決まらないため正解との一致が低い
  • ビームサーチでの暴走(上記)

学習

  • ベース: MOSS-Transcribe-Diarize
  • v1: 合成会話(約 2,100 時間)を 1 エポック
  • v2: v1 から続けて、未使用クリップで再学習(約 2,160 時間、25,027 ステップ、学習率 7e-6)

ライセンス

コードと重みはベースモデルに従い Apache-2.0 です(LICENSE)。 学習音声の権利は各権利者に帰属します。利用は自己責任でお願いします。

Downloads last month
19
Safetensors
Model size
0.9B params
Tensor type
BF16
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for rose3/moss-anime

Finetuned
(32)
this model

Space using rose3/moss-anime 1