日本語講義音声のリアルタイム分割・英訳手法の評価

本論文は，カスケード方式の同時音声翻訳において，句点，バッファー最大長，VAD，並びにこれら3手法の音声分割手法を同時に用いた際の，翻訳精度および英語字幕としての可読性に与える影響を評価した．音声認識ではWhisper[1]，翻訳ではDeepLを使用した．評価指標として，音声認識精度や翻訳精度の評価で広く使われるCOMET[2]に加え，埋め込みベクトルのCosine類似度や分割適合率・再現率・F1を用いた．評価の結果，音声認識精度が高いだけでは，字幕に適切な翻訳を生成できず，分割F1などで表される分割精度も重要であることを示した．