Dualformerにおける教師なし対訳語彙獲得過程の調査

機械翻訳における双方向学習は,翻訳方向を一方向に限定せず,言語対の両方向（例：英語→日本語および日本語→英語）を同時に学習するアーキテクチャである.特に,大規模な対訳データが入手困難な低資源言語環境において,双方向学習は有効な手法として注目されている.このような双方向学習は,その実装レベルの違いから,大きくモデルレベルとデータレベルのアプローチに分けることができる.モデルレベル双方向学習の代表例として,Xiaらの研究[1]があり,ChienらはこのアーキテクチャをDualformer[2]と呼んでいる.Dualformerは、Transformer[3]を双方向の系列変換に拡張したニューラルアーキテクチャである.Dualformerはパラメータを部分的に共有しているため,双方向翻訳を一つのモデルで実現可能である.また加藤らは単言語データでDualformerを学習するための補助タスクとして,OnlineRound-tripTranslation(ORT)を提案している[4].一方,データレベル双方向学習の代表的手法として,IterativeBack-Translation（IBT）が知られている[5][6].IBTは,Back-Translation[7]を拡張した手法である.この手法により,対訳データが限られている状況でも単言語データを効果的に活用できる点が利点である。先行研究[4]にてORTは,ドメイン適応実験の結果,ターゲットドメインに対する翻訳性能を大幅に改善している.これはパラメータを更新する処理が逆翻訳そのものであり,実質的にオンラインでIBTを行うのと同等の効果が得られたためであると推測されている[4].こうしたORTとIBTの関連性について,複数の評価を行うことで調査を行った.先行研究[4]では,翻訳性能としてBLEU[8]のみで評価している.本研究では,それに加えてCOMET[9]による翻訳性能と対訳語彙獲得率[10][11]で評価を行った.特に対訳語彙獲得率に注目し,学習ステップごとに計算することで対訳語彙獲得過程を調査した.