疑似訓練データに基づく機械翻訳の教師なし品質推定

機械翻訳の品質推定（TranslationQualityEstimation；TQE）[1]とは，参照訳を用いず原言語文とそれに対する機械翻訳文のみを参照して，機械翻訳文の品質を推定する技術である．人手評価との相関が高いTQE手法を開発することにより，機械翻訳文をそのまま使用するか，後編集を行うか，他の機械翻訳を利用するかという判断を支援できる．このように，機械翻訳の実世界での利用を進める上でTQEは重要な技術である．機械翻訳に関する国際会議WMTにおけるTQEシェアードタスク[2,3]を中心に，多くのTQEモデル[4–8]が提案されてきた．これらのうち多くの手法は，「原言語文・機械翻訳文・人手評価値」の組を教師データとして用いる教師あり手法である．このような教師データの作成には，原言語と目的言語の両方に精通したアノテータによる主観評価（DAスコア）あるいは機械翻訳文の後編集（必要な編集量；HTER[9]）が必要であるため，非常にコストが高い．さらに，機械翻訳器によって機械翻訳文の品質の分布は大きく異なりうるが，複数の機械翻訳器の各々に対して教師データを作成することも現実的ではない．そのため，WMT21のTQEタスク[3]においても，TQEモデルの訓練に使用できる教師データはわずか7言語対分しか蓄積されていない．TQEにおける訓練データの作成コストの課題を解決するために，教師なしTQE手法[10–13]が研究されている．本研究では，対訳コーパスおよび訓練済みの機械翻訳器を用いてTQE用の疑似的な訓練データを作成し，この疑似訓練データのみを用いてTQEモデルを訓練する手法について述べる．WMT20のTQEタスクにおける実験の結果，疑似訓練データのみを用いて訓練したモデルは，既存の教師なしTQE手法を上回る性能を示した．WMT21のTQEタスクにおいても，少資源言語対を中心に既存の教師なしTQE手法よりも高い性能を達成した．