多言語事前学習モデルを前提とした非英語間ピボット翻訳の特徴調査

多言語ニューラルネットワークモデルは、複数の言語を一つのモデルで学習させたもので、機械翻訳や言語横断処理に有効である。処理対象に類似した言語（たとえば、同じ言語属のもの）もリソースとして活用することで、低リソースでも処理対象言語の精度を向上させられるという利点がある。1）機械翻訳の場合、原言語と目的言語の組み合わせで翻訳を行うため、言語特化モデルでは組み合わせ数のモデルを用意しなければならない。多言語モデルを用いると、さまざまな言語対を一つのモデルで扱えるため、管理が容易となる。そのため、対訳コーパスで事前学習したエンコーダ・デコーダモデルもいくつか公開されている。たとえば、OPUS-100コーパスを事前学習した多言語翻訳モデル[1]2）が公開されている。これは、1）高リソース条件では、多言語モデルより一つの言語に特化した言語特化モデルの方が、一般的には精度は高い（多言語の呪い(curseofmultilinguality)と呼ばれている）。2）https://github.com/bzhangGo/zero/tree/master/docs/multilingual_laln_lalt#pretrained-multilingual-models-many-to-many100言語と英語間の翻訳モデル（いわゆる英語中心English-Centricモデル）である。M2M-100モデル[2]3）の対象も100言語であるが、英語以外の対訳コーパスを追加することで、2,200方向の事前学習を行っている。なお、mBART[3,4]もエンコーダ・デコーダ型の事前学習モデルだが、これは単言語コーパスだけで訓練されている。100言語を翻訳対象とした場合、のべ9,900方向の翻訳を行う可能性があるが、多言語翻訳モデルを用いても、対訳コーパスで学習されていない言語対（ゼロショット翻訳[5]と呼ばれている）の翻訳品質は非常に悪く、実用に適さない場合が多い。対訳コーパスの入手が困難な言語対で、ある程度精度のよい翻訳を実現する方法として、ピボット翻訳[6]がある。これは、原言語と目的言語の間にピボット言語を設け、ピボットを介して原言語→ピボット言語→目的言語を実現する（図1(a)）。ピボットには、対訳コーパスが豊富な言語が有利なため、英語が用いられることが多い。ピボット翻訳は統計翻訳でよく利用されていたが、ニューラル機械翻訳にも適用可能である。多言語事前学習モデルにピボット翻訳を適用することで、対訳コーパスが存在しない言語間（ゼロリソース言語。主に非英語間）の翻訳であっても、1つのモデルで実用的な翻訳が実現できる。本稿では、ゼロリソース言語対に対して、多言語事前学習モデルを用いたピボット翻訳を適用し、翻訳品質の測定と、逆翻訳を併用した品質向上法について議論する。