機械翻訳向けの原文編集(前編集)を支援する方法の1つとして、単語レベルの翻訳品質推定ラベル(OK/BAD)を原文側に表示する方法が考えられる。本研究では、そのような技術の実現に向けて品質ラベル付きデータセットを構築した。具体的には、前編集支援を目的とした品質ラベルの付与指針を定め、行政分野の日本語原文書(18文書)と日英機械翻訳出力(2種類)における計2,090文対に、人手で品質ラベルを付与した。また、構築したデータセットを用いて翻訳品質推定モデルを実装・評価することで、前編集支援における既存の自動ラベル付け手法の不十分さと現在の品質推定技術の課題を示した。

機械翻訳(MT)を活用する手法として、翻訳対象の原文を事前に編集する前編集(pre-editing)がある。ニューラルMTに対する前編集の潜在的な有効性は示されているが[1]、実務において前編集を支援する技術の開発は十分進んでいない。これまでルールベースMTや統計的MTにおいては、原文中の特定の言語表現特徴を規制する制限言語的アプローチが有効とされてきたが[2,3,4]、挙動が予測しづらいニューラルMTにおいては限界がある。特定の言語表現特徴を有することが常に翻訳品質の低下につながるとは限らず1）、事例ごとに翻訳品質に関する判断をする必要がある。本研究では、とりわけ起点言語モノリンガルの前編集者に対して、編集を行うべきかの判断材料を提供しうるものとして、翻訳品質推定(translationqualityestimation;TQE)タスクにおける、原文側への1）例えば、原文内の主語の不在という特徴は、日英MTにおいて常に主語の欠落や誤訳を引き起こすわけではなく、MTが文脈から正しく主語を補うことは十分ありえる。[ＰＥ]Willyoupaythetaxnow?BADBAD[ＭＴ]Willyoupayyourtaxessoon?編集対象編集対象BAD[原文]税金をすぐに払いますか。編集対象利用した原文編集対象の同定;MTにおいてPEとの差分は編集対象(BAD)であるが、原文においてそれに対応する箇所をそのまま編集対象と見なせるとは限らない品質ラベル付与タスクに注目する。TQEは人手の参照翻訳文を使わずに、機械翻訳の個々の出力の品質を予測するタスクで、文レベル・単語レベルの両方で取り組まれてきた[5,6]。単語レベルのTQEは、MT訳の単語列(トークン列)に対して、翻訳品質に問題のないトークンにOKのラベル、問題のあるトークンにBADのラベルを付与するタスクに加えて、それらに対応する原文側へのOK/BADのラベル付けを行うタスクもある[7]。前編集の支援に有用な原文への品質ラベル付与の実現に向けて、TQEの訓練・評価データに関する課題が大きく分けて2つある。まず、根本的な課題として、既存のラベル付けの基準・方針が必ずしも前編集に適していないことが挙げられる。従来手法では、MT訳における人手後編集（post-editing;PE）箇所やMQM等の翻訳エラー体系に基づいて特定されたイシュー箇所にBADのラベルを付与し、そのまま原文側にラベルを伝播させる[6,8]。しかし、図1の日英MT訳の例に示すように、英語における単数形・複数形や冠詞の問題(“yourtaxes”→“thetax”)は、直接対応する表現のない日本語側の前編集によって解消することは困難であると予想される。すなわち、言語依存性を考慮しながら、前編集の観点からMT結果の改善につながりうる箇所にのみBADラベルを付与する必要がある。さらに、人手で.ラベル付けされたデータがないという課題もある。従来手法では、原文側へのラベルの伝播は、単語アライメントツールの結果を用いて自動で行われるが[8]、特に日英などの言語構造が大きく異なる言語対では、その精度が十分とはいえない。技術の発展のためには、定められた基準に沿って高い精度でラベル付けされたデータを整備することが重要である。以上をふまえ、本稿では、日英MT向けの前編集支援技術の開発に向けた出発点として、原文への品質ラベル付けモデルの訓練・評価に使える人手ラベル付きデータセットを構築した試みについて報告する。まず、日英翻訳の特性を考慮した単語レベルのラベルの付与指針について説明する(2節)。続いて、自治体分野の文書を対象に、2種類のMT訳と人手PE訳を用いて、MT側・原文側ともに人手で品質ラベルを付与した過程と結果を説明する(3節)。さらに、構築したデータセットを用いてTQEモデルを構築・評価することで、人手ラベル構築の必要性を示す(4節)。構築したデータセットは、CC-BYライセンスで公開する2）。