Breeze-ASR-26-int8_float16-CT2

本模型由 MediaTek-Research/Breeze-ASR-26 轉換為 ctranslate2 量化格式，未額外微調。

量化

• 後端：ctranslate2
• 量化：int8_float16

評估

資料來源：教育部臺灣台語常用詞辭典例句音檔，取 hanzi 長度最長的 100 筆樣本。

• 教育部臺灣台語常用詞辭典相關資源

CER 以原始 HF float16 推論結果作為偽參考，用來衡量轉換/量化後的輸出偏移；這不是人工標註逐字稿 CER。計算前會先移除所有空白，再計算字元級 Levenshtein 距離。

量化部署建議優先使用 CT2 int8：100 筆全數成功，VRAM 約 2097-2129 MiB，相對 HF float16 基準的 CER 為 0.1263。

版本	結果檔	成功/總數	VRAM MiB
vLLM HF float16	vllm-hf-float16.jsonl	100/100	21267-21267
CT2 float16	ct2-float16.jsonl	100/100	3991-3991
CT2 int8_float16	ct2-int8_float16.jsonl	100/100	2103-2135
CT2 int8	ct2-int8.jsonl	100/100	2097-2129
whisper.cpp / GGML q4_0	whisper-cpp-ggml-q4_0.jsonl	100/100	1843-1843
whisper.cpp / GGML q4_1	whisper-cpp-ggml-q4_1.jsonl	100/100	1935-1935
whisper.cpp / GGML q5_0	whisper-cpp-ggml-q5_0.jsonl	100/100	2027-2027
whisper.cpp / GGML q8_0	whisper-cpp-ggml-q8_0.jsonl	100/100	2575-2575

相對 HF 基準的 CER

基準：vllm-hf-float16.jsonl。

比較版本	CER	字元錯誤 / 參考字元	完全一致
ct2-int8_float16.jsonl	0.1157	633/5470	11
ct2-float16.jsonl	0.1176	643/5470	7
ct2-int8.jsonl	0.1263	691/5470	5
whisper-cpp-ggml-q5_0.jsonl	0.1803	986/5470	5
whisper-cpp-ggml-q8_0.jsonl	0.1879	1028/5470	6
whisper-cpp-ggml-q4_0.jsonl	0.1927	1054/5470	2
whisper-cpp-ggml-q4_1.jsonl	0.2558	1399/5470	2

更多資訊

評估程式、資料準備與完整報表： https://github.com/phate334/stt-eval