ニューラル機械翻訳における単語分割器のドメイン適応

単語分割は自然言語処理タスクの精度に影響を与える重要な処理である．これまでの研究から，モデルの性能が向上するような適切な単語分割はタスクやモデルの構造などによって異なることがわかっている[1,2,3,4,5]．近年では，タスクやモデルに応じて単語分割を自動で最適化する手法が研究されており，その内の1つに平岡ら[6]による単語分割同時最適化手法がある．これは，タスクに用いるモデルと単語分割器を同時にEnd-to-Endで学習する手法である．平岡らは，機械翻訳タスクでの単語分割同時最適化の評価実験ではin-domainデータのみでモデルと単語分割器の学習を行い，翻訳性能の向上を確認している1）．一方，ドメインに特化した機械翻訳システムは高い需要があるが，一般的に機械翻訳モデルの学習に1）平岡らの機械翻訳タスクでの実験では，単語単位に分割した後に単語分割同時最適化をおこなっているため，サブワード単位への分割を学習しているといえる．本研究でも同様にサブワード単位への分割を学習する．は大規模なコーパスが必要であるため，in-domainデータのみを用いてモデルを作成することは困難である．この問題を解決するため，ドメイン適応では，大規模なgeneral-domainデータで事前学習したモデルを，目的のin-domainデータで微調整する（図1a）．ドメイン適応により，in-domainデータが限定的であっても，高い翻訳性能のモデルを学習できる．しかしながら一般的なドメイン適応はタスクのモデルのみを微調整し，単語分割器はgeneral-domainデータのものをin-domainデータに対してそのまま使用する．前述の通り単語分割はモデルの性能に大きく関与するため，general-domainの単語分割器がin-domainにおいて最適とは限らない．そこで本稿では，平岡らの単語分割同時最適化を用いて，翻訳モデルと単語分割器の両方のドメイン適応を行い，in-domainデータにおける翻訳精度の改善に取り組む（図1b）．提案手法はまず事前学習の際に単語分割同時最適化を適用することで，事前学習に用いるgeneral-domainデータに適した単語分割器と翻訳モデルを獲得する．その後，翻訳モデルのみでなく単語分割器もin-domainデータに適したものにするために，微調整の際にも単語分割同時最適化を適用する．英日と英独の機械翻訳タスクにおける実験を通して，単語分割器のドメイン適応が，in-domainの翻訳性能向上につながることを示す．