Dualformerにおける教師なし対訳語彙獲得過程の調査

Dualformerは,Transformerを双方向の系列変換に拡張したニューラルアーキテクチャである.機械翻訳に適用する場合,例えば英日翻訳と日英翻訳を一つのモデルで実現可能である.また,単言語データでDualformerを学習するための補助タスクとして,OnlineRound-tripTranslation(ORT)が提案され,ドメイン適応実験の結果,ターゲットドメインに対する翻訳性能を大幅に改善した.これはパラメータを更新する処理が逆翻訳そのものであり,実質的にオンラインでIBTを行うのと同等の効果が得られたためであると推測される.IBTに対する優位性を検証するため,IBTを行った単方向モデルとORTを適用した双方向モデルにて翻訳性能と対訳語彙獲得過程を調査した.調査の結果,IBTを行った単方向モデルと同様にORTを適用した双方向モデルは,翻訳性能が改善されるとともに対訳語彙獲得率が上昇した.また対訳語彙の獲得量,獲得速度ともにORTの方が高くなった.