MQM-Chat:対話翻訳のための多次元品質指標

ニューラル機械翻訳（NMT）の進展により，形式化された書き言葉であるニュース記事や学術論文などの翻訳性能は著しく向上している[1]．一方，話し言葉である対話を翻訳する場合，対話に含まれる曖昧さ，話者の感情や個性，文化的ニュアンスなどを反映して適切に翻訳できるかが課題となる[2]．対話翻訳性能を向上させるには，現行の機械翻訳モデルがどれだけ適切に対話に対応できるかを定量化する指針，すなわち評価指標が鍵となる．しかし，従来の評価指標では，対話中に頻出する表現を起因とする翻訳エラーをうまく捉えきれないという課題がある．具体的には，原文中のタイプミスやスラング，主語省略などによるエラーを引き起こすことがある（表1）．このため，対話翻訳では話者の意図したニュアンスやスタイル，対話の一貫性を評価する枠組みが必要となる．そこで本研究では，対話翻訳の評価に特化した「対話翻訳のための多次元品質評価基準（MultidimensionQualityMetricsforChatTranslation,MQM-Chat）」を提案する．MQM-Chatは，既存の多次元品質評価基準∗東北大学の学術研究員としての成果曖昧さと過度な訂正（AmbiguityandDisambiguation）原文知ってｒ？昨日、ヘレンとあったよ参照訳uknowwaht,IsawHelenyesterdayエラー訳Youknowwhat,IsawHelenyesterday流行語・借用語の問題（BuzzwordorLoanwordIssues）原文草wwwwww参照訳lolエラー訳grass対話の不整合性（DialogueInconsistency）原文まどかは昨日買い物に行ったよ-行った？聞いてないよ！参照訳Madokawentshoppingyesterday.-Shewent?Ididn’thearaboutit!エラー訳Madokawentshoppingyesterday.-Youwent?Ididn’thearaboutit!（MultidimensionQualityMetrics,MQM）1）[3,4,5]を基に，誤訳，省略・追加，用語・固有名詞の誤り，不自然なスタイル，曖昧さ，流行語，対話不整合性を重視した7つのエラータイプで構成される。本研究では，5つの機械翻訳モデルに対し，中英・日英の対話翻訳能力の評価をMQM-Chatで行った．結果，MQM-ChatはMQMより細分化された評価分類を提供し，標準MQMでのエラーのうち約30%が対話特有の問題として分類された．これは，既存のMQMでは対話翻訳特有の課題をつぶさに評価できず，MQM-Chatを用いることで，それらの課題に対する現行モデルの強み・弱みを詳細に評価することができることを示している．また，few-shot学習を用いたMQM-Chatによる自動評価も試みた．結果として，few-shot学習によるMQM-Chatの自動評価は，システム全体評価において人手評価と一致する程度の性能を示したが，精度面では課題があることが判明した．まとめると，本研究では(1)MQM-Chatの提案(2)1）https://themqm.org/.MQM-Core,黄:MQM-Full）とMQM-Chat（緑）のエラータイプの対応．色が濃いブロックは，対応するサブカテゴリ全てがMQM-Chatに含まれ，統合されている．灰色のテキストが表示されているブロックは，重大なエラーのみマークされるエラーである．中英・日英の対話翻訳データの構築(3)MQM-Chatを用いた人手・自動評価実験の3つを行った．これらの貢献は，現状の対話翻訳の問題点・理解を深化させ，今後の進展に役立つと考えられる．