README.md

metadata

library_name: transformers
license: mit
base_model: kotoba-tech/kotoba-whisper-v2.0
datasets:
  - litagin/Galgame_Speech_ASR_16kHz
  - OOPPEENN/Galgame_Dataset
language:
  - ja
pipeline_tag: automatic-speech-recognition

Anime Whisper 🥰🎤📝

Anime Whisper は、特に日本語のアニメ調演技セリフドメインに特化した日本語音声認識モデルです。 このモデルは kotoba-whisper-v2.0 をベースモデルとして、約5,300時間373万ファイルのアニメ調の音声・台本データセット Galgame_Speech_ASR_16kHz でファインチューニングしたものです。 特にアニメ演技音声ドメインに特化していますが、それ以外の音声でも、他のモデルにはない特徴や高い性能を持っています。

気軽にお試しできるデモはこちらから: https://huggingface.co/spaces/litagin/anime-whisper-demo

特徴 🌟

Anime Whisperは、他モデルに比べて一般的に次のような傾向があります。

• ハルシネーションが少ない
• 他のモデルでスキップされがちな言い淀みや、笑い声や叫びや吐息などの非言語発話も忠実に書き起こす
• 「。、!?…」の句読点が音声のリズムや感情に合わせて適切に付き、セリフ台本として違和感がない自然な文体で書き起こされる
• アニメ調な演技セリフに対しては特に精度が高い
• 他モデルでは書き起こしが不可能なNSFW音声（喘ぎ声やチュパ音等）もきちんとした文体で書き起こされる

使い方例 🚀

import torch
from transformers import pipeline

pipe = pipeline(
    "automatic-speech-recognition",
    model="litagin/anime-whisper",
    device="cuda",
    torch_dtype=torch.float16,
    chunk_length_s=30.0,
    batch_size=64,
)

audio_path = "test.wav"
result = pipe(audio_path)
print(result["text"])

複数ファイルを一気に推論する場合は pipe に単にファイルパスのリストを渡せばよいです。

評価 📊

詳しい観察レポートや評価コードはGitHubリポジトリで公開予定です。

CER (Character Error Rate, 文字誤り率)

• 「学習データと同じアニメ調セリフのドメインではあるが、学習データには含まれていない、個人的に所持している5本ノベルゲーム（合計約75kファイル）」で評価
• OpenAIのWhisper系は繰り返しのハルシネーションがよく起こるので、それを抑止するno_repeat_ngram_size=5のパラメータで生成した
• CERは適切な正規化を行った結果に対するCER

表

モデル名	game1	game2	game3	game4	game5	avg
openai/whisper-large	15.11	20.24	14.89	17.95	19.37	17.5
openai/whisper-large-v2	15.11	20.12	14.83	17.65	18.59	17.3
openai/whisper-large-v3	14.60	18.66	14.43	17.29	17.74	16.5
openai/whisper-large-v3-turbo	15.18	19.24	14.43	17.38	18.15	16.9
reazon-research/reazonspeech-nemo-v2	23.92	25.08	20.29	25.91	22.71	23.6
nvidia/parakeet-tdt_ctc-0.6b-ja	17.67	20.44	15.33	19.60	19.86	18.6
kotoba-tech/kotoba-whisper-v1.0	16.62	21.54	16.42	19.83	20.01	18.9
kotoba-tech/kotoba-whisper-v2.0	16.38	21.51	16.51	19.69	20.04	18.8
Anime Whisper	11.32	16.52	11.16	12.78	13.23	13.0

バイアス等 🚨

• 人名等の固有名詞が学習データのビジュアルノベルに存在する場合、その登場人物名の漢字で書き起こされることが多い
• 一部卑語の書き起こしに伏せ字「○」が含まれることがある
• データセットの正規化 により、以下のものは出力結果にほぼ現れない:
  • 母音や長音符の連続: ああああーーーー
  • 同じ感嘆符の連続: こらーっ!!!! なにそれ!?!?!?!?
  • 三点リーダーの連続: …… （日本語表記としては2個用いる …… が正しいが、ほぼ常に1個のみ … で出力される）
• 数字とアルファベットと感嘆符は半角で書き起こされる
• 一部特定の単語が通常とは異なる書き起こしになることがある（例: からだ → 身体 等や、その他固有名詞等）
• 文末の「。」はほぼ常に省略される

例 👀

すべて上記CERと同じ、学習元には入っていないノベルゲームのセリフです。パラメータはopenai/whisper系のハルシネーションを抑制するためno_repeat_ngram_size=5としています。

基本的にwhisper-large-v3程度の性能が出るのに加え、他モデルとの差が顕著な例（特に非言語発話や感情的な音声等）のみいくつか抜粋しています。

正解テキスト	Anime Whisper	whisper-large-v3	kotoba-whisper-v2.0	reazonspeech-nemo
あわわわっ！わわわわっ！	はわわっ、わわわわっ…!	ああああああああああ	うわうわ	うわ!
そっ、そっか……。………。……そうなんだ。	そっ…そっか…そうなんだ…	そっか…そうなんだ…	そっか…そうなんだ	そっそっかあっそうなんだ。
たぶん、ぼくが勝つ、はず	たぶん、ボクが勝つ、はず	多分、僕が勝つはず。	多分僕が勝つはず	僕が勝つはず。
げ、げほっ……なんだこいつ！	げほっ、げほっ…なんだ、こいつ…	なんだ、こいつ…	なんだこいつ	フッ何だこいつ。
ひゃう！	ひゃうっ!?	ご視聴ありがとうございました	ごっ	あ!
はっ、はい。そうです。……その、えっと。へっ、変だったでしょうか？	は、はい、そうです…その、えと…へ、変だったでしょうか…?	あ、はい、そうです。そ、えっと、へ、変だったでしょうか。	はいそうですそういと変だったでしょうか	あっはいそうですうすえっとへ変だったでしょうか?
ぶぶぶぶ豚クソがァァァ！待てコルァァァ！	ぶぶぶぶぶ、ぶたくそがー!待てごらぁぁ!	待てこらー	待てこそか	待てこら!
地面が揺れるとかありえ……ぎゃっ！	地面が揺れるとかありえ…ひゃっ!?	地面が揺れるとかありえ?	地面が揺れるとかありえ	やっ!
きゃっほう！い、いたっ、いただきまーす！	きゃっほう!い、いた、いただきまーす!	キャッホー!い、いただきます!	キャホー!いただきます!	いいたいただきます!
……っ、はぁ……わ、わたし、今日は……	んっ、はぁ…わ、私、今日は…	私、今日は…	私今日は	えっと私今日。
……ぷふっ、ンッ。かっ、かっ、かっ……ぷふっ。かっ。んふふっ。かっ、価値観	うふふっ…か、かはっ…ぷっ…はぁっ…か、価値観っ…	価値観!	価値観	ハッかちかん!
か、痒くもねぇ……こんなんんん……！	か、痒くもねえ…こんな、んんっ…!	か、回復もねぇ、こんな、うぬぅ	かかゆくもねえこんな	かゆくもねえこんなうう。
ひゃっ！や、やだ、くすぐった……や、やっ、あは、あははっ	ひゃうっ!やっ、やだっ…くすぐったっ…やっ、やっ、はんっ、あははっ!	やだ!すぐだ!	やだ	やっほ!
ふえぇ、急に止まらないでよう……	ふえぇ、急に止まらないでよぉ	おへぇ、急に止まらないでよ	おへえ急に止まらないでよ	急に止まらないでよ。
ごごご５０キロもないです私ー！	ごごご50キロもないです私ー!	50キロもないです私!	550キロもないです私	50キロもないですわたし!
いいい、すびばぜん、すびばぜーんっ	いいずびばぜんずびばぜーん!	いいいい! ズビバル10! ズビブル10!	いいズビバーテン!	すみませんすみません。
間抜けか貴様ァァァ！	間抜けか貴様ぁぁっ!	マヌケカキ様!	まぬけかきさま	抜けか貴様!
ぷ、くく……ひっ、ひいっ……	くっ…くくくっ…ぷっ…くくっ…	ご視聴ありがとうございました	フッ	フフフフ。フフフフフ。
キミは……。あっ、はっ……。最初から……あんっ、あっ、容赦がないな	君はぁ…はぁっ、はぁっ…最初から…あんっ、あっ、容赦がないなぁ…	君は……最初から容赦がないな	君は最初からあんあ容赦がないな	君は最初からうっうん容赦がないなあ。
望んでるわけ……。のっ、のっ、のっ……望んでるんです。世界が終わればいいって……強く、強くっ。はぁっ、はぁっ	望んでるわけ…の、の、の…望んでるんです…世界が終わればいいって、強く、強く…はぁっ	望んでるわけ…望んでるんです…世界が終わればいいって…強く…強く…	望んでるわけ…ののぞんでるんです世界が終わればいいって強く強く	ん?望んでるんです。世界が終わればいいって強く強く。

学習手順 📚

詳しい学習手順やハイパーパラメータや学習コードはそのうちGitHubで公開予定です。

• 全データのうち1番最後のtarファイルをtestデータとして残し、それ以外の3,735,363ファイルで学習
• まずはベースモデルからEncoderを凍結してDecoderのみで数エポックを学習
• その後Encoderの凍結を解除し、全体で数エポックを学習
• 学習打ち切り後に、「ある時点から別の時点までのモデルの平均（マージ）」を取る操作で性能向上を試み、Optunaを使ってベンチマークデータに対するCERで最適化し、その結果を最終モデルとした

環境 🖥

• 自腹でvast.aiで H100 NVL (VRAM 96GB) を借りて合計3週間弱、試行錯誤しながら学習をした（当初はベースモデルをwhisper-large-v3-turboにしていたので、その分も含まれる）
• 実際にこのモデルに使われた学習時間は、H100 NVL * 11.2日 程度（ただし後半の方はおそらく過学習によりテストデータに対する性能が悪かったため、最終マージには用いなかった）

NSFW例 🫣

成人向けの表現が含まれるため、閲覧には注意がご注意ください。

喘ぎ声

正解テキスト	Anime Whisper	whisper-large-v3	kotoba-whisper-v2.0	reazonspeech-nemo
ひっ、あっ！あぅっ、ああぁぁあぁぁぁぁぁっ！はっ、はっ、はっ、はっ、ひぁっ！	んぁっ、あっ、あっ、ああぁぁっ!あっ、はぁっ、はぁっ…んっ、ふぁああっ!	ご視聴ありがとうございました	アハハハ	うわ!
ち、ちがっ……んっ、あぁぁ……気持ちいい、わけが……あぁっ、やぁっ、待てと……んんっ、はぁ……あふぅっ……	ち、ちがっ…はぁっ、はぁっ、気持ちいい、わけがっ…あっ、やぁっ、待てとっ…んくっ、はぁ、はぁっ…	ち、ちが…気持ちいいわけが…待てと…	ちちが気持ちいいわけが待てと	ち違うはあ気持ちいいわけが待てとあっ。
ん、んんっ……んふ、くぅ……ん、ん、んんっ……あっく、あっ……ふ！ん、んんっ……	んっ…んんっ…ふ、くぅ…んんっ!んんっ!あくっ、あっ…ふぅんっ…んっ!	ああああああああああ ああああああああああああああ	ああ	あっ。
あんっ！あっ、あっ……そっ、それ……あっ、はぁはぁはぁ。ンンンンッ！ぴっ、ぴりぴり、ってして……。あんっ！はぁはぁはぁ、きっ、きもち……いいです！	ふぁんっ!あっ、あぁっ!そっ、それっ…あっ、はぁっ、はぁっ…んんっ!ぴ、ぴりぴりって、して…ひぁっ!はっ、はぁ、はぁっ…!き、気持ち、いいですっ…!	それ…フィリフィリでした…気持ちいいです…	それフィリフィリフリでした	けきもしいいです!
あんっ！うっ、はっ、あんっ！あぁぁぁっ！	あぁんっ、んっ、はぁっ、あんっ、あぁぁっ…!	ああああああああああ	ああ	ああ。
その調子って……んんっ、こんなの、あぁっ、んっあぁん……んんっ、しょっ……あぁっ……だめ……んっ、あぁっ……	その調子って…んんっ、こんなの…はぁっ、んんっ…んっ、しょっ…はぁっ…ダメ…んっ、あっ…	その調子って…こんなの…ダメ…	その調子ってこんなの	その調子ってううんこんなのダメうん
はぁっ、あっ……んっ……くぅ、あぁっ……やぁ……それは、ん、はぁ……だめ、だ……あっ、んんっ、ふ……ひぃうっ！やめっ……ま、待ってくれ……あぁん……！	はぁっ、あっ、くぅぅっ…あっ、やっ、それはっ…はぁっ、ダメだっ…んんっ…ひぅぅんっ!やめっ…ま、待ってくれっ…あぁぁっ!	それは、ダメだ、やめ、待ってくれ	それはそれはダメだやめやめまってくれ	やめま待ってくれうう。
あ、ありがとう……んっ、ございます……はっ、くっ……んっ、んんっ……	あ、ありがとう…んっ、ございます…はぁっ、くっ、んっ、んんっ!	ありがとうございます。	ありがとうございます	ありがとうございますごございますうっうっ。
あは、はっ……んっ、くうっ……なん、だろこれ……気持ちいい、かも……んっ、あ、ああっ、はあっ、ふあぁ……やっ、くぅん	はぁっ、はぁっ、んっ…くぅっ…なん、だろこれ…気持ちいい、かも…んんっ、あっ、ああっ…ふぁぁっ、はやっ…んんっ…	あ、あ、あ、んっ、う、なんだろこれ、気持ちいいかも、あ、あ,あ、あ、う、うんっ	なんだろうこれ気持ちいいくも	うっなんだろうこれ。はあ気持ちいいかも。うわ!ううん。
ひっ！や、やややっ……だ、ダメです、あ、ううっ……あ、はっ、はあっ……あ、やぁっ……	いっ…いや、いややっ…だ、だめですっ…あっ、んんっ、あっ…はぁっ、はぁっ…あっ…やぁっ…	いやいやいや、だ、だめです!ううううう…	いやいやいやダメです	ダダメでしょううっや。
あぁっ、んっ、あぁあっ、だめだよぉっ……もうっ、おち○ちん、えっちで、あたし、イッちゃうっ、あっ、あっ、あぁぁぁぁぁっ！！！	ああっ、んっ、ふぁぁっ、だめ、だよぉっ!もう、おちんちん、えっちで、わたし、イッちゃうっ、あ、あ、あ!	あ、あ、あ、だめだよー!ち、ち、ち、私、いっちゃう!あ、あ、は、は、はー!	あ!	あっダメ!
だめ、センパイ……そんなにおち○ちん挿れたら、だめだぁっ……あっ、あぁぁぁっ……！	だめ、先輩…んっ、そんなに、おち○ちん挿れたら、だめ…はぁ、あぁぁ…っ	ダメ、先輩…そんなに陥れたらダメ…	ダメ先輩そんなに落ち入れたらダメな	ダメ先輩そんなに気入れたらダメだ。
あっ、やだぁっ……んっ……動かしたら、んっ……あぁっ……気持ち、いいっ……あぁっ	あっ、やだぁ…んっ、動かしたら…んっ、あっ、気持ちいい…あぁっ	嫌だ動かしたら気持ちいい	嫌だ動かしたら気持ちいい	やだう動かしたらあっ気持ちいいあっ!
やぁぁっ、こ、こらっ、おち○ちん、そんなに、びくびくさせないのっ……あぁっ、ひぃあぁぁっ……はぁっ、あぁっ、あぁぁぁんっ！！	ひゃんっ!こ、こらっ、おち○ちん、そんなにビクビクさせないのっ!ひぁっ、あっ、はぁっ、はぁっ!	いや、こ、こら、おじっちそんなにビクビクさせないの?いや、なにやろ	ここらじっちそんなにビクビクさせないの	もう全然そんなにビクビクさせないのうん!
やっ……あっ。……お兄ちゃんの舌が、あっ、中で、やあっ。……そんなりぐりぐりしちゃ、あっ、ふあっ。うくぅぅっ、ああっ、やあっ。	やっ、あっ、お兄ちゃんの舌が、中で…やぁっ、そんなにぐりぐりしちゃ…あっ、あっ、んっ、ふあぁっ、やぁぁっ…!	にゃー!お兄ちゃんの舌がお腹で…にゃー!そんなにグリグリした…にゃー!!	お兄ちゃんの下がお腹でニャーそんなにグリグリした	お兄ちゃんの舌がおなかでよそんなにグイグイさあぐっにゃん!
はっ、激しく……して。ンッ。あっ！はあっ、はあっ……わっ、私を……一気に……ンッ。イッ、イかせちゃってくださいッ！	は、激しく、して…んっ、あぅっ…私を、一気に…い、イかせちゃってください…!	あ、ゲンシ君、ステッ、アッ、アッ…私を一気に、行かせてあげください!	あげんしくして私は一気に行かせてください	激しく私も一輝行かせちゃってください!
あっ、くっ、ふっ……はっ、ああっ、イッてる。ふあぁっ、あふっ、イッてる。あっ……んっ、はっ、ボク……イッちゃってる。ああっ。	あっ、んっ、くぅ…ふぁ、あっ、イってる…はぁ、はぁ、はっ、イッてる…あ、んんっ、はぁ、ボク…イッちゃってる…ああっ	痛い痛い痛い	痛…	ああなんかめがいいっちゃってるダメだ。

チュパ音

正解テキスト	Anime Whisper	whisper-large-v3	kotoba-whisper-v2.0	reazonspeech-nemo
れろっ、んっ……れろ、ちゅ、んちゅ	れろっ、れろっ、ちゅううっ	ううううう	わいしゅう	シュッ!
はっ、はい！んっ、れろっ、れろっ……あっ、れろっ	は、はい…っ、れろぉ…っ、れりゅっ、れりょっ…	わ、はぁい、わ、う、う、わ、へ、へ、へ	わあはい	はい。
ん……れぇろ……れろれろ……ん……ぁ……ちゅっ……れぇろ、れろれろ……ん、ちゅ……れぇろ……れろれろ……ん……はぁ	んっ…れろっ…れろ、んっ…ふぁっ…ちゅるっ…れろぉっ…んっ、ちゅっ…れろれろっ…んっ…	んんんんん	うはあ	あっはあ。
れろっ、れろ……むふふ、ここの線なぞると反応いいね、んちゅ、ちゅうっ……ここいい？どう？	れろれろれろっ…んっ、ふふっ、ここの線なぞると反応いいね…ちゅっ、ちゅっ…ここいい?どう?	ここの線なぞると反応いいねここいい?どう?	ここの線なぞると反応いいねうんふうに	へへへここの線なぞると反応いいねここいい?どう?
あぁむ……ちゅ……れぇろれろ……ん……ん……ちゅ……れぇろ……んん……ちゅぅ……ちゅぱっ……れぇろれろ……	あむちゅっ…れろれろっ…んちゅっ、れろっ…ちゅぱちゅぷっ…れろぉっ…	アムー…	あん	おへん。
んちゅっ……れろれろ……れぇろ、ちゅっ、んれぇろれろ……ちゅっ、ちゅぱっ……	んちゅっ、れろれろっ、ちゅぱちゅぅっ…れろれろ、ちゅっ…ちゅぷっ…	お疲れ様でした	おくぬかんぱい	う。
あむっ、ふん、んぐ、ちゅるるっ！んぐ、んむっ！ちゅっちゅ、ちゅ〜〜〜！はむぅぅ！	れろっ、れろぉ…んじゅるるっ、んっ、ちゅっ、ち゛ちゅううぅぅっ!はぁ、はむっ!	エッ…ア…ロ…フフフフフ…フフフ…	えぇ	あっ!
はむ、ちゅ、んんっ、れる……。んむっ、ふーっ、ふーっ。ここなんへ、ろうかひら？ちゅっ……じゅっ。……じゅるる。んっ、。	はむ…ちゅ、んんっ…ん、はむ…ここなんへ、どうかしら…ちゅっ、ちゅるるっ…	ここな…廊下平…	ここな廊下平	ん。ん?ここな?どうかしら。んっ。
ちゅっ、ちゅっ……んちゅっ。ちゅ〜〜〜〜〜〜っ	ちゅっ、ちゅっ…んんっ…ちゅっ!ちゅううっ!	んんんん	うん	うんうん。
んっちゅっ……ちゅぱ、ちゅれぇろれろ……んちゅ……ちゅっ……ちゅるるっ……んちゅ……	んっ、んっ、ちゅっ、ち゛ぷっ、れろっ、ち゜っ、ちゐっ、ちゎるるっ、んっ	お、ちく、む、ちく、う、ちく、ぬ、ちく、ね、む、ち、く、う、き、き、きぃ、ぃ、ぅ、ち、くぅ、ぅ、ぃ、う、ぅ、う、ぃ、くぅぅ、ぬ、ぅ、	お	あっ。
ん……イク……ちゅるぅ……イッちゃう……ん……あぁっ、ちゅるるっ、イク……もう……らめぇ……んあぁむ……イク……イクぅぅ……	もう、イクっ…イッちゃう…んっ、んっ、じゅるるっ、イクっ、らめっ…んぁっ、イクッ、イクッ!	おーまいごーおまいごーまいごやめまいごよこー	お前	ママペイ君!
れぇろ…………んちゅ……れろれろ……ん……ちゅ……れろれろ……んれぇろれろ……ちゅ……	れろぉ…んちゅ、れろれろ…ちゅぱ…れろ、れろれちゅ…	エル…ラ…ル…ア…エル…ル…ツ…ン…エ…エル…ツ…ル…ア...エル…ル...プ…	えぇぇ
ん……ちゅ……れろれろ……ほら、んちゅ、れろれろ、出ひて、くらさいな……んちゅ……れろれろ	んちゅ、れろれろ…ほら、んっ、れろれりゅ、出してくださいな…んちゅ…れろれろ	ほら出してくださいな	ほら出してくださいな	うえる。ほら。えんだしてくださいな。うっうう。
はぷっ、ちゅぷ、んん……はやく、おっきくして……ちんぽ……れろっ、ちゅ、ぴちゅ、ちゅぱっ……はやく勃起ちんぽちょうだい、勃起ちんぽ私にちょうだい	じゅぷっ、じゅぼっ!早くおっきくしてっ、ちんぽっ!んじゅるるるるるっ!はやくっ、はやく勃起ちんぽちょうらいっ、勃起ち○ぽあたしにちょうだいっ!	早く起きこして!チンポン!早く、早くポッキチンポンちょうだい! ポッキチンパン私にちょうだい!!	早く大きくしてチンポン早くポッキ全部全部私にちょうだい	早くおっきい子して。チープ!ん?早く早くボケ全部ちょうだい。ボケ全部私にちょうだい!
そっ、それじゃ……。あっ、はっ……がっ、がんばるぞ。ンッ！ああああっ！あっ、わっ、ボクも……んちっ、んむっ、んむっ、んんっ、むむっ。	そ、それじゃあ…はぁ、はぁ、が、頑張るぞ…んっ、あっ、あっ、も、ボクも…れろ、ちゅ、ちゅぱ、ちゅるるっ	それじゃあ、頑張るぞ!	それじゃあ頑張るぞ	そそれじゃあううがんばるぞ。