litagin commited on
Commit
ec5c9b8
·
verified ·
1 Parent(s): 327394c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +8 -7
README.md CHANGED
@@ -12,7 +12,7 @@ pipeline_tag: automatic-speech-recognition
12
 
13
  # Anime Whisper 🥰🎤📝
14
 
15
- **Anime Whisper** は、特に日本語のアニメ調演技セリフドメインに特化した日本語音声認識モデルです。
16
  このモデルは [kotoba-whisper-v2.0](https://huggingface.co/kotoba-tech/kotoba-whisper-v2.0) をベースモデルとして、約5,300時間373万ファイルのアニメ調の音声・台本データセット [Galgame_Speech_ASR_16kHz](https://huggingface.co/datasets/litagin/Galgame_Speech_ASR_16kHz) でファインチューニングしたものです。
17
  特にアニメ演技音声ドメインに特化していますが、それ以外の音声でも、他のモデルにはない特徴や高い性能を持っています。
18
 
@@ -26,7 +26,8 @@ Anime Whisperは、他モデルに比べて一般的に次のような傾向が
26
  - 他のモデルでスキップされがちな言い淀みや、笑い声や叫びや吐息などの非言語発話も忠実に書き起こす
27
  - 「。、!?…」の句読点が音声のリズムや感情に合わせて適切に付き、セリフ台本として違和感がない自然な文体で書き起こされる
28
  - アニメ調な演技セリフに対しては特に精度が高い
29
- - 他モデルでは書き起こしが不可能なNSFW音声(喘ぎ声やチュパ音等)もきちんとした文体で書き起こされる
 
30
 
31
  ## 使い方例 🚀
32
 
@@ -52,12 +53,12 @@ print(result["text"])
52
 
53
  ## 評価 📊
54
 
55
- **詳しい観察レポートや評価コードは[GitHubリポジトリ](https://github.com/litagin02/anime-whisper)で公開予定です。**
56
 
57
  ### CER (Character Error Rate, 文字誤り率)
58
 
59
  - 「学習データと同じアニメ調セリフのドメインではあるが、学習データには含まれていない、個人的に所持している5本ノベルゲーム(合計約75kファイル)」で評価
60
- - OpenAIのWhisper系は繰り返しのハルシネーションがよく起こるので、それを抑止する`no_repeat_ngram_size=5`のパラメータで生成した
61
  - CERは適切な正規化を行った結果に対するCER
62
 
63
  ![figs/cer_ngram5.png](figs/cer_ngram5.png)
@@ -83,7 +84,6 @@ print(result["text"])
83
  ## バイアス等 🚨
84
 
85
  - 人名等の固有名詞が学習データのビジュアルノベルに存在する場合、その登場人物名の漢字で書き起こされることが多い
86
- - 一部卑語の書き起こしに伏せ字「○」が含まれることがある
87
  - [データセットの正規化](https://huggingface.co/datasets/litagin/Galgame_Speech_ASR_16kHz#modifications) により、以下のものは出力結果にほぼ現れない:
88
  - 母音や長音符の連続: `ああああーーーー`
89
  - 同じ感嘆符の連続: `こらーっ!!!!` `なにそれ!?!?!?!?`
@@ -91,12 +91,13 @@ print(result["text"])
91
  - 数字とアルファベットと感嘆符は半角で書き起こされる
92
  - 一部特定の単語が通常とは異なる書き起こしになることがある(例: `からだ` → `身体` 等や、その他固有名詞等)
93
  - 文末の「。」はほぼ常に省略される
 
94
 
95
  ## 例 👀
96
 
97
- すべて上記CERと同じ、**学習元には入っていない**ノベルゲームのセリフです。パラメータはopenai/whisper系のハルシネーションを抑制するため`no_repeat_ngram_size=5`としています。
98
 
99
- 基本的にwhisper-large-v3程度の性能が出るのに加え、他モデルとの差が顕著な例(特に非言語発話や感情的な音声等)のみいくつか抜粋しています。
100
 
101
  | **正解テキスト** | **Anime Whisper** | whisper-large-v3 | kotoba-whisper-v2.0 | reazonspeech-nemo |
102
  | --- | --- | --- | --- | --- |
 
12
 
13
  # Anime Whisper 🥰🎤📝
14
 
15
+ **Anime Whisper** は、特に日本語のアニメ調演技セリフのドメインに特化した日本語音声認識モデルです。
16
  このモデルは [kotoba-whisper-v2.0](https://huggingface.co/kotoba-tech/kotoba-whisper-v2.0) をベースモデルとして、約5,300時間373万ファイルのアニメ調の音声・台本データセット [Galgame_Speech_ASR_16kHz](https://huggingface.co/datasets/litagin/Galgame_Speech_ASR_16kHz) でファインチューニングしたものです。
17
  特にアニメ演技音声ドメインに特化していますが、それ以外の音声でも、他のモデルにはない特徴や高い性能を持っています。
18
 
 
26
  - 他のモデルでスキップされがちな言い淀みや、笑い声や叫びや吐息などの非言語発話も忠実に書き起こす
27
  - 「。、!?…」の句読点が音声のリズムや感情に合わせて適切に付き、セリフ台本として違和感がない自然な文体で書き起こされる
28
  - アニメ調な演技セリフに対しては特に精度が高い
29
+ - [kotoba-whisper](https://huggingface.co/kotoba-tech/kotoba-whisper-v2.0) ([whisper-large-v3](https://huggingface.co/openai/whisper-large-v3)の蒸留モデル) ベースなので軽量で高速
30
+ - 他モデルでは書き起こしがほぼ不可能なNSFW音声(喘ぎ声やチュパ音等)もきちんとした文体で文字起こし可能
31
 
32
  ## 使い方例 🚀
33
 
 
53
 
54
  ## 評価 📊
55
 
56
+ **詳しい評価・観察レポートや評価コードは[GitHubリポジトリ](https://github.com/litagin02/anime-whisper)で公開予定です。**
57
 
58
  ### CER (Character Error Rate, 文字誤り率)
59
 
60
  - 「学習データと同じアニメ調セリフのドメインではあるが、学習データには含まれていない、個人的に所持している5本ノベルゲーム(合計約75kファイル)」で評価
61
+ - OpenAIのWhisper系は繰り返しのハルシネーション抑止のため`no_repeat_ngram_size=5`のパラメータで生成
62
  - CERは適切な正規化を行った結果に対するCER
63
 
64
  ![figs/cer_ngram5.png](figs/cer_ngram5.png)
 
84
  ## バイアス等 🚨
85
 
86
  - 人名等の固有名詞が学習データのビジュアルノベルに存在する場合、その登場人物名の漢字で書き起こされることが多い
 
87
  - [データセットの正規化](https://huggingface.co/datasets/litagin/Galgame_Speech_ASR_16kHz#modifications) により、以下のものは出力結果にほぼ現れない:
88
  - 母音や長音符の連続: `ああああーーーー`
89
  - 同じ感嘆符の連続: `こらーっ!!!!` `なにそれ!?!?!?!?`
 
91
  - 数字とアルファベットと感嘆符は半角で書き起こされる
92
  - 一部特定の単語が通常とは異なる書き起こしになることがある(例: `からだ` → `身体` 等や、その他固有名詞等)
93
  - 文末の「。」はほぼ常に省略される
94
+ - 一部卑語の書き起こしに伏せ字「○」が含まれることがある
95
 
96
  ## 例 👀
97
 
98
+ 上記評価と同じ、**学習元には入っていない**ノベルゲームのセリフの書き起こし比較です(同様に`no_repeat_ngram_size=5`での生成)。
99
 
100
+ だいたいwhisper-large-v3程度の性能が出て、以下では他モデルとの差が顕著な例(特に非言語発話や感情的な音声等)のみいくつか抜粋しています。
101
 
102
  | **正解テキスト** | **Anime Whisper** | whisper-large-v3 | kotoba-whisper-v2.0 | reazonspeech-nemo |
103
  | --- | --- | --- | --- | --- |