文脈情報を考慮した高速な英日文アラインメント

文アラインメントは対訳となっている文書対から対訳文対を自動で抽出するタスクである．抽出された大量の対訳文対からなるデータセットは対訳コーパスといい，機械翻訳モデルを始めとした言語横断モデルの学習に用いられる．特に，高精度なニューラル機械翻訳（NeuralMachineTranslation;NMT）モデルの学習には高品質かつ大量の対訳文が不可欠であることが知られている[1]．そのため，Webからクロールするなどして得られる大量の対訳文書対から高精度な対訳文アラインメントを高速に抽出できる手法が必要とされている．近年ではニューラルネットワークを用いたスコアリングに基づく文アラインメント手法が多数提案されている．Vecalign[2]は文ベクトルの類似度に基づくスコアを用いてアラインメントを行う手法である．この手法は比較的高速に文対応付けを計算できる一方で，精度が文ベクトルに用いる多言語文埋め込み表現の精度に大きく影響されるため，英語やドイツ語に比べて低資源な日本語を含む言語対では精度が大きく減少してしまう．SpanAlign[3]は言語横断スパン予測モデルとその予測時に得られるスコアを基にアラインメントを行う手法である．このスパン予測モデルは文脈情報および言語横断でのアテンションを行うことが可能で，高精度な文アラインメントを抽出することができる．一方で，モデルに入力するトークン数が増えるに従って予測にかかる計算量が非常に大きくなってしまうため，大規模データに対して適用することが難しい．本論文では，先行研究の高速な予測速度を維持しながら高精度な文アラインメントの予測を行う手法を提案する．提案手法では，対訳文書の各文を事前学習済みの多言語モデルで文ベクトルにエンコードし，両方の言語の文脈情報を考慮した文ベクトルを求め，その文ベクトルに基づいて対訳文書間の任意のアラインメント候補に対するスコアを一度に計算する．これにより，高精度な文アラインメントが高速に自動抽出できることが期待される．日英新聞記事を用いた実験で，高速な既存手法と比べて提案手法が予測速度を維持しながら精度をF値で0.032pts向上することを確認した．