本稿ではニューラル関係分類モデルの中間表現中の不要な情報の除去に取り組む．関係分類とは，文書内のエンティティのペア間について，その文書内の言及に基づいた関係を識別するタスクである．本研究では特に一文中に存在するエンティティペア間の関係分類を扱う．このタスクにおいては，文の依存構造情報の利用が有用であることが知られている\cite{culotta-sorensen-2004-dependency}．特に，依存木上のエンティティペア間を繋ぐ最短経路内に存在するトークンのみを関係分類モデルの入力にするヒューリスティックを用いることで，さらなる識別性能の向上が報告されている\cite{H05-1091}．この手法は，エンティティペア間の関係についての言及は依存構造木上でそのペア間を繋ぐ最短経路上に大抵の場合存在するという観察結果に基づいている．この手法によって，入力文が非常に長い場合や，エンティティペアの間に多くのトークンが含まれるような場合であっても，そのうち構文的にエンティティペアを直接繋げる比較的少量のトークンのみを抜き出すことができる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{27-2ia3f1.eps}\end{center}\hangcaption{最短経路やその子ノードを含む部分木を取り出すヒューリスティックの例．注目エンティティペアをe1とe2で示した．}\label{fig:dependency_tree}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%最短経路のヒューリスティックは，元々SupportVectorMachine(SVM)による特徴量ベースの関係分類モデルにおいて提案されていたが，ニューラルネットワークによるニューラル関係分類モデルにおいても有効であることが報告されている\cite{xu-EtAl:2015:EMNLP2,xu-etal-2016-improved,P16-1105:lstm-er}．しかしながら，関係についての言及は常に最短経路上にのみ存在するわけではなく，そのような例外のケースでは最短経路上の情報のみを入力とするのは不十分である．例えば図\ref{fig:dependency_tree}の\textit{cable}と\textit{insulation}間の関係分類を行うときを考えると，所有格の\textit{s}は最短経路上には含まれず，最短経路上のトークンのみから関係分類を行う場合，関係の向きが不明瞭になってしまう．ZhangらはGraphConvolutionalNetwork(GCN)で依存木を用いて計算を行う際，最短経路上のトークンのみではなく，最短経路上のトークンから数ステップの距離にある子トークンも含めた部分木を利用することで，木全体や最短経路上のトークンのみを利用する場合よりも性能向上を達成できる手法を提案した\cite{D18-1244:GCN-PrunedTree}．この手法で距離1までのトークンを利用する場合，図\ref{fig:dependency_tree}における所有格の\textit{s}を含めることができる．しかし，\textit{the}や\textit{ethernet}といった関係分類に不要なトークンも含めてしまうため，さらに良い選択規則が存在することを示唆している．本研究では，関係分類の識別性能の向上を目指し，ニューラルネットワークによる重要トークンの判別を行う\textit{マスク機構}と，それを用いたニューラル関係分類モデルを提案する．この提案機構では，ヒューリスティックの代わりに，学習を通じて重要トークンの判別規則を獲得する．学習は関係分類のタスク損失からEnd-to-Endに行われ，追加のアノテーションの必要はない．マスク機構の訓練ではGumbelトリックを用いたサンプリング\cite{gumbel}を行うことで，離散的なトークンの選択処理を自然に表現する．加えて，訓練中はマスク機構内にノイズを加えることで，マスクされるトークンの量をコントロールする．さらに，アテンション機構を用いることでマスクされた入力を元に計算された表現を集約する．提案モデルは再帰型／木構造ニューラルネットワークによる関係分類モデルであるLSTM-ERモデル\cite{P16-1105:lstm-er}をベースに，提案機構を導入する形で構築する．実験では提案モデルと，提案機構を導入せず代わりに依存木全体やヒューリスティックによる部分木を用いたモデルと比較することで，提案手法の有効性を確認した．本研究の貢献は以下の三つである．\begin{enumerate}\item最短経路のヒューリスティックを用いる代わりに，学習から重要なトークンの判別規則を学習するマスク機構を提案した．マスク機構はGumbelトリックを用いることで訓練可能な離散的なマスクを表現し，追加のアノテーションなしにタスク損失からEnd-to-Endに学習が可能である．\item提案機構を導入した関係分類モデルにより，最短経路のヒューリスティックを上回る性能を得た．また依存木全体を用いるベースラインモデルに対し有意な性能向上を達成した．\item提案機構により学習されたマスクと最短経路のヒューリスティックの類似度について調査した．学習されたマスクは最短経路と高い類似度となった一方，異なる学習試行ごとのマスク間の類似度はさらに高く，最短経路と一部異なる判別規則を学習していることを確認した．\end{enumerate}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%