近年，自然言語処理の多くのタスクにおいて，ニューラルネットワークが活用されている．機械翻訳の分野においてもその有効性が示されており，その中でも，Transformer\cite{transformer}というモデルがリカレントニューラルネットワーク(RNN)を用いたモデルや畳み込みニューラルネットワーク(CNN)を用いたモデルの翻訳性能を上回り，注目を浴びている．これまでに，統計的機械翻訳やニューラル機械翻訳では原言語や目的言語の文構造を考慮することで翻訳性能が改善されており\cite{pathbased_smt,sdrnmt,rnng_nmt}，TransformerNMTにおいても文構造の有用性が示されている\cite{dep2dep}．そこで本研究では，Transformerモデルで係り受け構造を考慮することで翻訳性能の改善を試みる．Transformerの特徴の一つであるself-attentionは文内における単語間の関連の強さを考慮することができ，機械翻訳のみならず，言語モデルの獲得や意味役割付与など，様々なタスクにおいて精度の向上に寄与してきた．Strubellらは意味役割付与の性能を向上させるため，Transformerエンコーダのself-attentionで文の係り受け構造を捉える，linguistically-informedself-attention(LISA)と呼ばれるモデルを提案している\cite{lisa}．LISAでは，multi-headself-attentionのうちの1つのヘッドを，各単語が係り先の単語を指すように，係り受け関係に基づいた制約を与えて学習させている．本研究は，Transformerエンコーダとデコーダのself-attentionで，それぞれ，原言語の文と目的言語の文の係り受け構造を捉えるTransformerNMTモデルを提案する．以降，この係り受け関係を捉えるself-attentionをdependency-basedself-attentionと呼ぶ．具体的には，NMTモデルの訓練時に，エンコーダとデコーダのself-attentionの一部を，各単語が係り先の単語を指すように，原言語の文や目的言語の文の係り受け関係に基づいた制約を与えて学習させる．そして，推論時には制約を与えて学習したself-attentionが文の係り受け関係を捉えながら翻訳する．ただし，推論時には目的言語文が明らかでないため，LISAの手法を直接TransformerNMTモデルのデコーダに適用することはできない．そこで，提案のdependency-basedself-attentionでは，まだ予測していない単語に対してアテンションを向けないように，デコーダ側のself-attentionを学習する際は，自身の単語より後方に係る係り受け関係にマスクをかけた制約を用いる．また，近年のニューラル機械翻訳モデルの多くは，文を単語列ではなくサブワード列として扱うことで低頻度語の翻訳に対応している\cite{subword}．そこで，本研究では，dependency-basedself-attentionをbytepairencoding(BPE)などによるサブワード列に対しても適用できるように拡張する．AsianScientificPaperExcerptCorpus\(ASPEC)\データ\\cite{aspec}を用いた日英・英日翻訳の評価実験において，提案のTransformerモデルと従来の係り受け構造を考慮しないTransformerモデルを比較し，dependency-basedself-attentionを組み込むことでBLEUがそれぞれ1.04ポイント・0.30ポイント向上することを確認した．また，実験では，原言語側のdependency-basedself-attentionと目的言語側のdependency-basedself-attentionのそれぞれの有効性とBPEに拡張したときの有効性も確認した．本稿の構成は以下の通りである．まず2章で提案手法が前提とするTransformerモデルについて説明したのち，3章で提案手法であるdependency-basedself-attentionを示す．4章で提案手法を組み込んだモデルの翻訳性能を評価することで手法の有効性を示す．5章で提案手法の拡張であるsubworddependency-basedself-attentionの有効性，提案手法のdependency-basedself-attentionが捉える係り受け構造，従来モデルと提案モデルの翻訳文の違い，提案モデルの設定に関する比較実験をそれぞれ示す．6章で関連研究の文構造を考慮したニューラル機械翻訳モデルについて議論し，7章で本稿のまとめとする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%