|
--- |
|
license: mit |
|
language: |
|
- ja |
|
--- |
|
|
|
# ドミニオン日本語LLM for Whisper（2023/12/19 1.0版） |
|
|
|
## 概要 |
|
Whisperでドミニオン（ボードゲーム）のカード用語などを含んだ音声を文字起こし出来ることを目標にチューニングされたLLMです。<br> |
|
open-ai/largeモデルをベースにファインチューニングすることで生成されています。<br> |
|
2023/12/19時点、全てのカードを学習済み。通常のlargeモデルと比較して適切に出力される様子が確認できると思います。<br> |
|
|
|
※認識しにくい語の例 |
|
* 寵臣（調子）、出納官（水筒感）など他の一般語に含まれやすい語 |
|
* 岐路（木）、馬丁（バテー）、鉄工所（鉄工場）など語尾の音が弱い語 |
|
* 執事（羊）など活舌によって揺れやすい語 |
|
|
|
## 実行例 |
|
|
|
```python |
|
from faster_whisper import WhisperModel |
|
from transformers import WhisperForConditionalGeneration, WhisperProcessor |
|
|
|
from datasets import load_dataset, DatasetDict, Dataset |
|
from datasets import Audio |
|
|
|
MODEL_PATH = "trained_model" # ローカルにダウンロードしたketman/whisper_for_dominionの入ったフォルダ |
|
fileList = ["out_4315_1.wav","out_4369_1.wav","out_4436_1.wav","out_4494_1.wav","out_4557_1.wav"] |
|
|
|
processor = WhisperProcessor.from_pretrained("openai/whisper-large", language="Japanese", task="transcribe") |
|
|
|
# チューニング済モデルを定義 |
|
model = WhisperForConditionalGeneration.from_pretrained(MODEL_PATH) |
|
model.config.forced_decoder_ids = processor.get_decoder_prompt_ids(language = "ja", task = "transcribe") |
|
model.config.suppress_tokens = [] |
|
|
|
# Dataset準備 |
|
common_voice = DatasetDict() |
|
common_voice["train"] = Dataset.from_dict({"audio": fileList}).cast_column("audio", Audio(sampling_rate=16000)) |
|
|
|
# Whisper実行（transcription） |
|
for i in range(len(common_voice["train"])): |
|
inputs = processor(common_voice["train"][i]["audio"]["array"], return_tensors="pt") |
|
input_features = inputs.input_features |
|
|
|
generated_ids = model.generate(inputs=input_features) |
|
|
|
transcription = processor.batch_decode(generated_ids, skip_special_tokens=True)[0] |
|
|
|
print(transcription) |
|
``` |
|
|
|
# 参考文献 |
|
[自作データセットでWhisperをファインチューニングしたら、独自用語だらけのクラロワ実況でも使えるようになった：「ファインチューニング編」](https://zenn.dev/k_sone/articles/4d137d58dd06a6) |
|
|
|
|
|
|
