訳出の同時性に特化した評価データを用いた同時音声翻訳モデルの評価と分析

同時通訳(SI)にて，同時通訳者(通訳者)は原発話を小さな単位に分割し逐次的に処理する(サラミ技法[1])ことで，目的発話の語順変更を最小限に抑え，原言語に対する目的言語側の語順の単調性（単調性）を維持しながら低遅延かつ高品質な訳出を行なっているとされる[2]．同時音声翻訳(SiST)や同時翻訳(SiMT)でも同様に,品質と遅延のバランスをとるために，原言語文の文分割の最適化[3,4,5]や，原言語文の語順にできるだけ沿うよう目的言語文を書き換える方法が提案されている[6,7,8]．一方で，現在SiSTやSiMTの評価時に使用されるテストデータは，一文の入力を終えてから訳出を開始する音声翻訳評価で使用されるテストデータと同じであることから，訳出の同時性が求められるSiSTやSiMTの評価に適さない可能性が指摘されている[9,8]．また，実際のSIの書き起こしをテストデータとして用いた研究があるが[10,11]，SIには訳出の誤り等が含まれているため，評価の適切性に欠くことが指摘されている[9,12]．そこで，SiMTの評価に特化したテストセットが提案され[13],その効果も検証されている[7,9]．このテストデータは，発話をより短い単位であるチャンクに区切りながら順次訳出する順送り方略[14]をルールベースで定義し，そのルールに基づいて英→日で作成している．しかし，このテストデータは言語ペアに限りがあることやテストデータの大きさ，そして理想的な単調性の程度が明らかでない．本研究では，SiSTやSiMTに特化した評価データsimul-tst-COMMONを提案する．本テストセットは，既存の音声翻訳の評価データtst-COMMONの英→{日,中,独}を対象に，単語・句の単調性に焦点を当て，音声の書き起こし，原言語の語順になるべく沿った翻訳，通訳者による品質チェックを通じて作成している．実験結果から，既存の評価データよりもsimul-tst-COMMONの方がSiST評価に適していることを示した．また分析の結果から，既存の品質・遅延評価の限界も明らかになった．