順送り訳データに基づく英日同時機械翻訳の評価

同時通訳(simultaneousinterpreting;SI)とは，原発話の終了を待たずにリアルタイムに翻訳していくタスクである．SIは時間的制約が厳しいだけでなく，聞く・理解する・翻訳する・話すといった複数のタスクを同時に行う必要があるため，その遂行には高い認知的負荷がかかる．そのため通訳者は，発話をより短い単位(チャンク)に区切りながら，それらのチャンク順に訳出していく順送り方略や，発話全体を理解する上で無くても支障が小さい箇所を省略・要約して訳出する短縮方略など，様々な方略を用いることで，認知的負荷を抑制しつつリアルタイムな訳出を実現している[1]．その結果，同時通訳文はオフライン翻訳文と異なる特徴を持つことが知られているが，利用可能な同時通訳文データが限られているため，同時機械翻訳モデルの学習と評価では主にオフライン翻訳コーパス(例：MuST-C[2])が用いられている[3,4,5]．Weconductexperiments/toaddressthisissue.原発話私たちは実験をして/この問題に対処します。SIモデル評価データ＜オフライン翻訳＞原発話のすべての内容を評価可能語順が大きく異なるこの問題を解決するために/私たちは実験をします。＜同時通訳＞省略や要約されている内容は評価できないSIらしい語順を評価可能実験をして、/解決します。＜順送り訳＞EN——原発話のすべての内容を評価可能SIらしい語順を評価可能JA——私たちは実験をして、/この問題を解決します。この課題に対して，英語・日本語間では複数の同時通訳コーパスが構築されている[6,7,8]．大規模な同時通訳コーパスであるNAIST-SIC[8]のデータ対して，文単位の対応づけを自動で行なったNAIST-SIC-Aligned[9]が提案されたことで，同時機械翻訳モデルの学習に同時通訳データを用いることが可能となった．[10,9]は実際に同時通訳データを用いて同時機械翻訳モデルを学習・評価している．NAIST-SICには，プロの同時通訳者が実際に同時通訳を行なったデータが収録されているが，実際の同時通訳データを同時機械翻訳モデルの評価に用いることは，モデル性能を過小評価してしまう可能性がある．同時通訳者は要約や省略といった短縮方略を用いるため，発話全体の理解に影響を及ぼさない語句は必ずしも翻訳されないことがある．図1の例では，同時機械翻訳モデルは“toaddressthisissue”を「この問題に対処します」と翻訳しているのに対し.て，同時通訳者は「解決します」と翻訳している．このように，同時通訳者が訳出しなかった語句を同時機械翻訳モデルが訳出した場合，モデルが「正しい翻訳」を出力していたとしても適切に評価することができない．この課題に対して，原発話の内容の要約や省略を含まず，順送り方略のみを適用して作成された，順送り訳評価データ[11]が提案された．[11]では，構築されたデータの品質を人手評価を通して検証していたが，同データを用いて同時機械翻訳モデルを評価する実験は行われていない．そこで本研究では，英日オフライン機械翻訳モデルと同時機械翻訳モデルの出力を順送り評価データを用いて評価し，既存のオフライン翻訳ベースの評価データ，および同時通訳ベースの評価データを用いた評価との比較を行った．順送り訳データを参照訳に用いると同時機械翻訳モデルの評価が高くなるのに対して，オフラインデータを参照訳に用いるとオフライン機械翻訳モデルの評価が高くなり，同時機械翻訳モデルの評価で語順を考慮することの必要性が明らかになった．また，同時通訳データを参照訳に用いると，モデル性能を過小評価してしまう恐れがあることが示唆された．