バイリンガルサブワード分割のためのEMアルゴリズム

ブワード分割モデルが一体化しており，利用する場ニューラル機械翻訳（NeuralMachineTranslation,合には同時にNMTモデルの学習が必要となり，サ以下NMT）[1,2,3]では，予め指定した語彙に基づブワード分割および機械翻訳モデルの学習に大きないて計算を行うため，翻訳時の原言語文に低頻度語コストを要する．や未知語が表れると翻訳性能が低下する．このよう本論文では，対訳情報からサブワード列を得る新な語彙の問題に対処するため，バイトペア符号化たなサブワード分割法を提案する．提案手法は，分（BytePairEncoding,以下BPE）（Sennrichetal.2016）かち書きされない言語を含む翻訳性能を改善するた[4]やユニグラム言語モデル（Kudo2018）[5]などめ，SentencePieceによるユニグラム言語モデル分割によるサブワード分割が現在広く用いられている．に基づいたサブワード列を得る．バイリンガルサブBPEによるサブワード分割は事前トークナイズを要ワード分割のための確率モデルを新たに定義し，原すのに対し，SentencePiece（Kudo2018）[6]による言語のサブワードと目的言語のサブワードが対となユニグラム言語モデルは生文からサブワード列に直る確率をEMアルゴリズムを用いて求める．具体的接分割するため，日本語や中国語といった分かち書に，提案手法は，ユニグラム言語モデルによって得きされていない言語においても形態素解析器を必要られる原言語文と目的言語文それぞれの分割候補のとしない．組み合わせを求め，各対のサブワードのアライメンしかしながら，これらの分割法は対訳関係を考ト関係を取得し，ユニグラム言語モデルによる生起慮せず，各言語ごとにサブワード分割を学習する確率とアライメント確率を掛け合わせ，確率が最もため，機械翻訳タスクに適したサブワード分割に大きくなるサブワード列対を選択する．提案手法を―1469―.用いることで，原言語文と目的言語文のトークンの対訳関係が整うことになり，言語間でトークンが１対１に対応付けされやすくなる．そのため，従来のサブワード分割法よりNMTに適した分割が得られることが期待される．本手法は原言語文と目的言語文の対訳アライメント関係を利用して分割するため，対訳コーパスが与えられる訓練時には問題は起きないが，原言語文しか与えられない翻訳時にはそのままではサブワード分割ができない．そこで提案手法では，EMアルゴリズムによって求められたアライメント確率の周辺化を行い，ユニグラム言語モデルによる生起確率と各原言語文サブワードの周辺確率を掛け合わせ，確率が最も大きくなるサブワード分割候補を選択する．WATAsianScientiﬁcPaperExcerptCorpus（以下，ASPEC）[9]英日・日英タスクにおいて，従来法と提案手法を用いた翻訳性能を比較したところ，TransformerNMTモデルの性能が改善した．