請問繁中的語音模型可以怎樣微調？
#1
by
doggy8088
- opened
我想請問繁中的語音模型可以怎樣微調？不知道是否可以提供一些參考資源，謝謝！
sandy1990418
changed discussion status to
closed
sandy1990418
changed discussion status to
open
我目前使用的方式是用繁中資料(Common Voice 選擇zh-TW)＋LoRA去訓練，但這種方法沒有辦法將模型完全調整成繁中的模式，所以inference時候會再用OpenCC轉換，整個Fine tune的流程我是參考Whisper-Finetune 這個Repo。
據我所知，要調整成完全繁中的話需要變更vocabulary跟tokenizer的部分，會要去做全參數的Training，vocabulary跟tokenizer這部分蠻推薦參考OpenaAI tiktoken的內容。
希望說明對你有幫助> <