label{introduction}ニューラル機械翻訳\cite{bahdanau2014neural,sutskever2014sequence,cho2014learning}は，ソース言語を数値ベクトルによる分散表現で表し，それをニューラルネットワークを用いて変換して求めた数値ベクトルからターゲット言語の単語列を求めることで翻訳を行う手法である．従来の統計的機械翻訳\cite{koehn2003statistical}では対訳コーパスから求めた変換規則の確率を用いてソース言語の単語やフレーズをターゲット言語への単語やフレーズに変換していたため，フレーズ同士の長い区間でのつながりが十分に反映されていなかった．これに対して，ニューラル機械翻訳では，リカレントニューラルネットワークおよびLSTM(LongShortTermMemory)の利用により，長い区間での単語のつながりが考慮されている．そのため，ニューラル機械翻訳を用いると従来の統計的機械翻訳と比べて流暢な文を生成できるが，訳抜けや繰り返しがあることや，出力結果に未知語(UNK)が含まれる\cite{luong2015addressing,jean2015using}という問題が指摘されている．未知語が含まれる問題に対処するこれまでに提案されている主な手法には以下のものがある．まず，コーパスに前処理を行う方法としては，コーパス中の未知語をすべて未知語トークンに置き換え，位置情報を付け加えて学習を行うPosUNK\cite{luong2015addressing}がある．通常の手法では，語彙制限のために未知語が生じた場合は，ソース言語およびターゲット言語内の未知語を一律に特殊な未知語トークンUNKで置き換える．一方PosUNKにおいては，ソース言語内の未知語はすべてUNKに置き換えるのは同じだが，ターゲット言語の未知語は位置情報を利用して区別する．具体的には，ソース言語を{$f_1$,\ldots,$f_n$}とし，ターゲット言語を{$e_1$,\ldots,$e_m$}として，ソース言語に未知語{$f_i$}が存在したとする．{$f_i$}に対応する未知語{$e_j$}がターゲット言語内に存在した場合は，相対位置{$d=j-i$}を利用して，{$e_j$}を位置情報付き未知語トークンPosUNK{$_d$}に置き換える．ただし，ソース言語に対応する未知語を持たないターゲット言語の未知語は，空集合{$\phi$}に対応するPosUNK{$_\phi$}に置き換える．これにより学習した翻訳機は，未知語を一律にUNKとしてではなく，PosUNK{$_d$}として相対位置付きで推定するため，dを利用して対応するソース言語内の単語を推定することができる．しかしながら，この手法を日英の言語対で実験を行ったところ，効果が低かった（4.3節参照）．この手法は，ターゲット言語とソース言語において，単語間の相対位置は同一であると仮定しているため，日英のような文法構造が大幅に異なる言語間では適用が困難であるためと考えられる．また，コーパス中の単語を分割して全体の単語の種類を少なくするBPE(BytePairEncoding)\cite{sennrich2016neural}がある．BPEは頻度の低い単語を複数の文字列に分割することで，単語の頻度を増やし学習しやすくする方法である．この手法も日英の言語対で実験を行ったところ，効果が低かった（4.3節参照）．ヨーロッパ言語などの文字の種類が少なく単語の成り立ちが類似する言語間に比べ，日本語と英語では単語の構成が大きく異なり，日本語は文字の種類が多いことが原因だと考えられる．ニューラル機械翻訳のモデルを変更する方法としては，アテンションの計算で単語翻訳確率を考慮する方法\cite{arthur2016incorporating}，coverageを導入する方法\cite{tu2016modeling,tu2017context}，統計的機械翻訳で作成したフレーズテーブルを組み入れる方法{\cite{stahlberg2016syntactically,khayrallah2017neural,zhang2018guiding}}，入力文中の単語が既知語の場合はそのまま処理し，未知語の場合は単語を文字に分解して処理する方法\cite{luong2016achieving}などがあるが，いずれもニューラルネットワークの性能を改善させることが主眼であり，未知語そのものを完全に消去することを目的としていない．ニューラル機械翻訳の出力結果の単語列を統計的機械翻訳を用いて並べ替える手法\cite{skadina2016towards}もあるが，この手法では単語の辞書を作るためだけにニューラル機械翻訳を使っており，最終的な翻訳は統計的機械翻訳で行っている．よってニューラル機械翻訳の利点である単語間の長区間でのつながりを考慮した流暢性が失われてしまう．以上のように従来の手法の多くは，未知語を減少させることはできているが，日英翻訳では翻訳精度の向上が期待できない．そこで本論文では，ニューラルネットワークのモデルや探索方法を変更することなく未知語を減少させ，かつ翻訳精度を向上させる手法を提案する．そのために，アテンションに基づいたニューラル機械翻訳をソース言語に対して適用することで生成されたアテンションを利用する．アテンションは翻訳におけるソース言語の単語とターゲット言語の単語の対応を数値化したもの{\cite{bahdanau2014neural}}で，統計的機械翻訳における2言語間の単語の対応を表す単語アライメント表\cite{koehn2003statistical}と類似したものである．{\cite{hashimoto2016domain}}及び{\cite{freitag2016fast}}では，この性質を利用し，アテンションを元に対応する未知語を推定する手法を提案している．ともに未知語が対応する単語はアテンションが最も高い値を持つ単語だとしている．しかしながら，類似しているとはいえ，アテンションは単語アライメント表そのものではなく，数値の大小と実際のアライメントが一致しない場合も多い．また，言語学的な性質を満たしているとも限らない．本研究では，隣接関係等の，単語間の対応関係の言語学的性質に関するヒューリスティックを利用して，アテンションから単語アライメント表を推定する手法を提案する．そして，その単語アライメント表を利用して未知語を置き換える．これによりニューラル翻訳の利点を生かしたアテンションと言語学的な性質の双方を組み合わせた未知語問題の解決を行う．本論文はアテンションを用いた未知語解決に関する論文\cite{ibe2018}の内容を発展させたものである．ASPECと{\ntcir}の2つのコーパスに提案手法を適用したところ，未知語を完全に除くことができ，BLEU値も上昇させることができた．