\section{はじめに}
\label{sec:intro}関係抽出はテキストにおけるエンティティ（実体）の関係を認識するタスクである．従来の関係抽出は，文内に閉じて関係を認識するタスク設定の研究が多く\cite{doddington-etal-2004-automatic,han-etal-2018-fewrel,hendrickx-etal-2010-semeval,zhang-etal-2017-position,alt-etal-2020-tacred}，テキスト中で複数の文にまたがって表現される関係は対象外となってしまうため，適用範囲が狭いという課題があった\cite{yao-etal-2019-docred}．これに対して，複数の文で言及される関係にも対応したタスク，すなわち\textbf{文書レベル関係抽出}(\textbf{DocRE}:\textbf{Doc}ument-level\textbf{R}elation\textbf{E}xtraction)が提案された\cite{yao-etal-2019-docred,li-etal-2016-cdr,verga-etal-2018-simultaneously}．DocREでは，複数の文における情報の取捨選択や統合をしながら，エンティティ間の関係を推定する必要がある\cite{huang-etal-2021-three,xie-etal-2022-eider,xu-etal-2022-document}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{31-1ia4f1.pdf}\end{center}\hangcaption{DocREDのアノテーションの例．斜体は関係を予測したいエンティティの言及（メンション）であり，下線はその他のエンティティの言及である．}\label{fig:example}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%DocREにおいて情報の取捨選択に用いられるのが\textbf{根拠}(evidence)である．根拠はDocREで広く用いられるデータセットDocRED\cite{yao-etal-2019-docred}で初めて定義され，関係を推定するために必要最小限な情報を含む文の集合としてラベル付けされた．図~\ref{fig:example}の例では，\textit{PrinceEdmund}と\textit{Blackadder}における関係\textit{presentinwork}を認識するための必要最小限な情報は文1と2であるため，この関係の根拠は文1と2とラベル付けされる．既存研究では，DocREのサブタスクとして\textbf{根拠認識}に取り組み，エンティティ組の関係を推定する際に必要な情報の取捨選択を行うことが多かった\cite{yao-etal-2019-docred,huang-etal-2021-three,xie-etal-2022-eider,xiao-etal-2022-sais}．ただし，これらの研究は，DocREと根拠認識を別々のタスクとしてモデル化しているため\cite{huang-etal-2021-three,xie-etal-2022-eider,xiao-etal-2022-sais}，両タスクの関連性を考慮できない．これに対し，本稿ではDocREと根拠認識のモデルを統合した新手法として，\textbf{D}ocument-level\textbf{R}elation\textbf{E}xtractionwith\textbf{E}vidence-guided\textbf{A}ttention\textbf{M}echanism(DREEAM)を提案する．DREEAMでは，根拠を単語（トークン）や文の重要度に関する情報としてテキストのエンコーダに統合する．具体的には，BERT\cite{devlin-etal-2019-bert}などの事前学習済み言語モデルのエンコーダにおける自己注意機構\cite{NIPS2017attention}への教師信号として根拠を導入し，根拠に高い重みを配分するように誘導しながらDocREのモデルを学習する．これにより，根拠認識に特化したモデルが不要となり，パラメータ数の削減や推論時のメモリ使用量の低減も実現できる．なお，文書レベルの関係アノテーションはコストが高いため，学習データが不足しがちな状況にある．表~\ref{tab:dataset}に示すように，現時点で最大規模のデータセットであるDocREDでも，人手でラベルが付与された文書は5,051件しかない．DocREDではデータ不足を緩和するため，遠距離教師あり学習(DistantSupervision,\citeA{mintz-etal-2009-distant})を用いて関係ラベルを自動付与しているが，根拠ラベルの自動付与は行われていない．本研究では，提案手法であるDREEAMを用いて根拠の疑似的な教師信号を自動的に付与し，大量の自動関係ラベル付けデータに根拠の疑似ラベルを追加する．これにより，大量の自動ラベル付けデータを関係抽出及び根拠認識双方の学習に活用できる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[b]\input{04table01.tex}%\caption{DocREDデータセットの統計情報}\label{tab:dataset}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%提案手法の有効性を検証するため，DocREDベンチマークで実験を行った結果，提案手法は関係抽出と根拠認識の双方において，現時点の世界最高性能を達成した．DocREDを改良したベンチマークRe-DocREDで実験を行っても，提案手法は既存手法を上回る性能を示した．また，推論時では，提案手法のメモリ使用量は既存手法の30\%以下であり，根拠の予測におけるメモリ効率を大幅に改善できた．提案手法の実装を\url{https://github.com/YoumiMa/dreeam}で公開している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{予備知識}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{タスクの定義}文書レベル関係抽出の目的は，文の集合$\setX_D=\{x_i\}_{i=1}^{|\setX_D|}$からなる文書$D$における全てのエンティティ$\setE_D=\{e_i\}_{i=1}^{|\setE_D|}$の組が持つ関係を推定することである．文書$D$におけるエンティティ$e\in\setE_D$の言及（メンション）を$\setM_e=\{m_i\}_{i=1}^{|\mathcal{M}_e|}$とし\footnote{ここでは，エンティティの集合$\setE_D$及びエンティティ$e$におけるメンションの集合$\setM_e$は前提として与えられるものとする．}，エンティティの組$(e_s,e_o)$が持つ全ての関係から成る集合を$\setR_{s,o}\subseteq\setR$とする．ただし，$\setR$は関係ラベルの集合である．$(e_s,e_o)$の間に関係$r\in\setR$が存在する場合，$(e_s,e_o,r)$に関する根拠を$\setV_{s,o,r}\subseteq\setX_D$で表す．根拠認識の目的は，全ての関係予測と共に，その根拠を提供することである．そのため，関係抽出と根拠認識を同時に行うと，エンティティの組$(e_s,e_o)$に対し，推定された関係$r$毎に四つ組$(e_s,e_o,r,\setV_{s,o,r})$が得られる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{ベースモデル:ATLOP}\label{sec:atlop}提案手法のベースとなる手法ATLOP(\textbf{A}daptive\textbf{T}hresholdingand\textbf{L}ocalizedc\textbf{O}ntext\textbf{P}ooling,\citeA{zhou2021atlop})を説明する．まず，各エンティティの言及の冒頭と末尾に特殊トークン「*」を挿入したトークン列$\setT_D=\{t_i\}_{i=1}^{|\setT_D|}$をBERT\cite{devlin-etal-2019-bert}などを用いてエンコードする．エンコーダの出力から，トークンの分散表現$\bm{H}\in\mathbb{R}^{|\setT_D|\timesd}$と自己注意機構の重み\footnote{マルチヘッド自己注意の全ヘッドの平均として計算する．}$\bm{A}\in\mathbb{R}^{|\setT_D|\times|\setT_D|}$を記録し，前者をトークン埋め込み，後者をトークン間の依存度と呼ぶ．ただし，$d$はエンコーダの隠れ層の次元数である．次に，\textbf{エンティティ埋め込み}を計算する．メンション$\setM_{e}=\{m_i\}_{i=1}^{|\mathcal{M}_e|}$を持つエンティティ$e$に対して，埋め込み$\bm{h}_{e}\in\mathbb{R}^d$を次のように計算する．\begin{equation}\bm{h}_{e}=\log\sum_{i=1}^{|\setM_e|}\exp(\bm{h}_{m_i})\end{equation}ここで，$\bm{h}_{m_i}\in\mathbb{R}^d$はメンション$m_i$の開始位置に挿入した特殊トークン「*」の埋め込みである．これにより，エンティティ$e_s,e_o$の埋め込み$\bm{h}_s,\bm{h}_o\in\mathbb{R}^{d}$を得る．さらに，エンティティの組$(e_s,e_o)$に対する\textbf{局所文脈埋め込み}を計算する．局所文脈埋め込みは文書$D$における全トークンの埋め込みの重み付き和であり，重みは$e_s,e_o$両方に対する重要度を反映する．トークンの重要度は，トークン間の依存度$\bm{A}$の強さとする．具体的には，エンティティ$e_s$の各メンション$m_i\in\setM_{e_s}$と他のトークンの依存度から$\bm{a}_s\in\mathbb{R}^{|\setT_D|}$を求める．ここで，$\bm{a}_s$は全ての$\bm{a}_{m_i}\in\mathbb{R}^{|\setT_D|}$の平均であり，$\bm{a}_{m_i}$は$m_i$の冒頭にある「*」に対応する$\bm{A}$のスライスである．同様に$\bm{a}_o\in\mathbb{R}^{|\setT_D|}$を求め，$(e_s,e_o)$に対する各トークンの重要度$\bm{q}^{(s,o)}\in\mathbb{R}^{|\setT_D|}$および局所文脈埋め込み$\bm{c}^{(s,o)}\in\mathbb{R}^d$を，式~\ref{eq:context_emb_weight}と\ref{eq:context_rep}で求める．\begin{align}&\bm{q}^{(s,o)}=\frac{\bm{a}_s\circ\bm{a}_o}{\bm{a}_s^\top\bm{a}_o}\label{eq:context_emb_weight}\\&\bm{c}^{(s,o)}=\bm{H}^\top\bm{q}^{(s,o)}\label{eq:context_rep}\end{align}ただし，$\circ$は要素ごとの積である．局所文脈埋め込みは重要度の高い箇所に注目した分散表現であることから，異なる文の情報を効果的に統合できる．続いて，$(e_s,e_o)$の\textbf{関係分類}を行う．関係分類器の入力$\bm{z}_s,\bm{z}_o\in\mathbb{R}^d$はエンティティ$e_s,e_o$の埋め込みと局所埋め込み$\bm{c}^{(s,o)}$を統合した分散表現で，次のように計算する．\begin{align}&\bm{z}_s=\tanh(\bm{W}_s[\bm{h}_{s};\;\bm{c}^{(s,o)}]+\bm{b}_s)\\&\bm{z}_o=\tanh(\bm{W}_{o}[\bm{h}_{o};\;\bm{c}^{(s,o)}]+\bm{b}_o)\end{align}ここで，$[\cdot;\;\cdot]$はベクトルの連結，$\bm{W}_s,\bm{W}_o\in\mathbb{R}^{d\times2d},\bm{b}_s,\bm{b}_o\in\mathbb{R}^d$はパラメータである．最後に，線形分類器を用いて，全関係ラベルがエンティティ組$(e_s,e_o)$の間に存在する確率を計算する．エンティティ組$(e_s,e_o)$に関係$r\in\setR$が存在する確率のロジットを$y_{s,o,r}\in\mathbb{R}$とした場合，$(e_s,e_o)$における全関係ラベルのロジット$\bm{y}_{s,o}\in\mathbb{R}^{|\setR|}$を次のように求める．\begin{equation}\bm{y}_{s,o}=\bm{z}_s^\top\mathsf{W}_r\bm{z}_o+\bm{b}_r\end{equation}ただし，$\mathsf{W}_r\in\mathbb{R}^{|\mathcal{R}|\timesd\timesd},\bm{b}_r\in\mathbb{R}^{|\mathcal{R}|}$はパラメータである．エンティティ組$(e_s,e_o)$の間の関係$r$の確率推定は次のように行う．\begin{equation}P(r|s,o)=\mathrm{sigmoid}(y_{s,o,r})\end{equation}ATLOPの学習は適応閾値損失(ATL:AdaptiveThresholdLoss)に基づく．式~\ref{eq:atl}に示したように，閾値に対応する仮想的な関係ラベル\texttt{TH}を導入し，エンティティ組$(e_s,e_o)$に存在する関係ラベルのロジットは\texttt{TH}より高く，存在しない関係ラベルのロジットは\texttt{TH}より低くなるようにモデルを学習する．\begin{equation}\label{eq:atl}\mathcal{L}_{\mathrm{RE}}=-\sum_{s\neqo}\sum_{r\in\setR_{+}}\frac{\exp(y_{s,o,r})}{\sum_{r'\in\setR_{+}\cup\{\mathrm{TH}\}}\exp(y_{s,o,r'})}-\frac{\exp(y_{s,o,\mathrm{TH}})}{\sum_{r'\in\setR_{-}\cup\{\mathrm{TH}\}}\exp(y_{s,o,r'})}.\end{equation}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{予測統合}\label{sec:isf}推論時に用いる予測統合(InferenceStageFusion,\citeA{xie-etal-2022-eider})について説明する．予測統合は根拠認識の予測結果を活用するためのアンサンブル手法である．\pagebreakエンティティ組の関係を推定する際，根拠認識には情報を取捨選択する働きが期待されている．完璧な根拠認識器は関係予測に有用な文だけを根拠として認識するため，根拠とされていない文を関係抽出時に用いる必要はない．ただし，全ての関係事例の根拠を漏れずに認識するのは難しく，現実的でない．根拠認識器の予測結果だけに基づいた関係抽出は，必要情報の漏れによる性能の低下が報告されている\cite{xie-etal-2022-eider}．以上を踏まえて，文書全体の情報を取り入れつつ，根拠認識の予測結果も活用する手法として，予測統合が提案された．手法の詳細を図~\ref{fig:isf}に示す．モデルはまず文書$D$を入力として受け取り，全てのエンティティ組$(e_s,e_o)$に対する関係抽出と根拠認識の予測結果$(e_s,e_o,\hat{r},\hat{\setV}_{s,o,\hat{r}})$を出力する．これにより，文書$D$における関係$(e_s,e_o,\hat{r})$が存在する確率のロジット$y^{D}_{s,o,\hat{r}}$が得られる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[b]\begin{center}\includegraphics{31-1ia4f2.pdf}\end{center}\hangcaption{予測統合の例．統合後関係のロジットは入力文書$D$における関係のロジットと部分文書$\hat{D}$における関係のロジットの和．閾値$\tau=0.33$であることから，最終的な関係予測は\textit{presentinwork}だけになる．なお，説明の都合上，部分文書を一つだけ挙げているが，実際の予測統合は複数の部分文書で行われることに注意されたい．}\label{fig:isf}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%次に，文書$D$における予測結果の集合$\setP^D$にある予測$(e_s,e_o,\hat{r},\hat{\setV}_{s,o,\hat{r}})$毎に，根拠$\hat{\setV}_{s,o,\hat{r}}$のみからなる部分文書$\hat{D}$を構成する．部分文書$\hat{D}$では$(e_s,e_o,\hat{r})$の根拠以外の文が含まれないため，関係抽出に不要な情報が取り除かれると期待される．モデルは部分文書$\hat{D}$を入力として受け取り，$\hat{D}$にある全てのエンティティ組に対する関係抽出を行う．これにより，関係$(e_s,e_o,\hat{r})$が部分文書$\hat{D}$にも存在する確率のロジット$y_{s,o,\hat{r}}^{\hat{D}}$が得られる．最終的な関係予測は，元文書及び部分文書における予測結果を統合してから行う．具体的には，予測結果$(e_s,e_o,\hat{r})$に対し，元文書及び全ての部分文書の集合におけるロジットを式~\ref{eq:isf_logits}のように足し合わせる．\begin{equation}y_{s,o,\hat{r}}=\sum_{D'\in\{D\}\bigcup\Delta}y_{s,o,\hat{r}}^{D'}\label{eq:isf_logits}\end{equation}ただし，$D$を元文書，$\Delta=\{\hat{D}_1,\hat{D}_2,\ldots,\hat{D}_p\}$を部分文書の集合とする．ここで，$p$は全ての予測$(e_s,e_o,\hat{r},\hat{\setV}_{s,o,\hat{r}})\in\setP^D$における根拠$\hat{\setV}_{s,o,\hat{r}}$のパターン数である\footnote{関係予測事例毎に異なる文の集合が根拠とされた場合は$p=|\setP^D|$とし，そうでない場合は重複する文の集合を取り除く．}．$y_{s,o,\hat{r}}$が閾値$\tau$より高い場合だけ，$(e_s,e_o,\hat{r})$を関係の予測結果として出力する．なお，閾値$\tau$の値は検証データにおける関係抽出のF1スコアが最大になるように最適化される．ただし，$\tau$は検証データでの関係予測結果に左右されるため，モデル毎に最適化されることに注意されたい．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}
ATLOPでは関係推定に重要なトークンに注目して情報を統合するため，局所文脈埋め込みを採用し，BERTの自己注意機構がエンティティ組$(e_s,e_o)$に対するトークンの重要度$\bm{q}^{(s,o)}$を暗黙的に学習できると仮定した．本研究では，根拠を用いて$\bm{q}^{(s,o)}$の教師信号を与えることを提案し，根拠認識の関係抽出モデルへの統合，および関係抽出の性能向上を目指す（\ref{sec:dreeam}節）．さらに根拠の教師信号を自動で付与し，データ不足の緩和を目指す（\ref{sec:pipeline}節）．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{DREEAM}\label{sec:dreeam}提案手法であるDREEAMの概要を図~\ref{fig:model}に示す．自己注意機構から計算されるトークン重要度と根拠から計算される分布が近づくように誘導し，根拠に焦点を当てた局所文脈埋め込みが得られると期待する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.3\begin{figure}[b]\begin{center}\includegraphics{31-1ia4f3.pdf}\end{center}\caption{DREEAMの概要}\label{fig:model}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{根拠分布の算出}エンティティ組$(e_s,e_o)$が持つ関係$r\in\setR_{s,o}$毎に，根拠ベクトル$\bm{v}^{(s,o,r)}\in\{0,1\}^{|\setX_D|}$を定義する．$\bm{v}^{(s,o,r)}$は二値ベクトルであり，\pagebreak文$x_i\in\setX_D$が関係$(e_s,e_o,r)$の根拠である時に$v^{(s,o,r)}_i=1$とする．さらに，全ての関係$\forallr\in\setR_{s,o}$における根拠ベクトル$\bm{v}^{(s,o,r)}$から，関係ラベルに依存しない根拠の分布$\bm{v}^{(s,o)}$を次式で求める．\begin{equation}\bm{v}^{(s,o)}=\frac{\sum_{r\in\setR_{s,o}}\bm{v}^{(s,o,r)}}{\sum_{r\in\setR_{s,o}}{\bm{1}^\top\bm{v}^{(s,o,r)}}}\label{eq:evi_human}\end{equation}ただし，$\bm{1}=(1,1,\dots,1)^{|\setX_D|}$である．$\bm{v}^{(s,o)}$はエンティティ組$(e_s,e_o)$に関する文の重要度を全関係ラベル共通に根拠のアノテーションから求めている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{根拠分布を用いた学習}自己注意機構によるトークン重要度$\bm{q}^{(s,o)}$を文の重要度$\bm{p}^{(s,o)}\in\mathbb{R}^{|\setX_D|}$に変換する．トークン列$t_{\textrm{START}(x_i)},\dots,t_{\textrm{END}(x_i)}$からなる文$x_i\in\setX_D$に対し，その重要度を和\begin{equation}\label{eq:evi_weight}p_i^{(s,o)}=\sum_{j=\textrm{START}(x_i)}^{\textrm{END}(x_i)}q_j^{(s,o)}\end{equation}として計算する．ただし，$p_i^{(s,o)}$は$\bm{p}^{(s,o)}$のi番目の要素の値である．そして，根拠アノテーションから得られる文の重要度$\bm{v}^{(s,o)}$を教師信号とし，自己注意機構から計算される文の重要度$\bm{p}^{(s,o)}$が近くなるように，カルバック・ライブラー距離($D_{\mathrm{KL}}$)による損失関数を導入する（式~\ref{eq:loss_evi}）．\begin{equation}\mathcal{L}_{\mathrm{ER}}^{\textrm{gold}}=-D_{\mathrm{KL}}(\bm{v}^{(s,o)}||\bm{p}^{(s,o)})\label{eq:loss_evi}\end{equation}モデルのパラメータ推定に用いる損失関数として，以下のように関係抽出の損失関数（式~\ref{eq:atl}）との和を採用することで，関係抽出と根拠認識を同時に学習する．\begin{equation}\mathcal{L}^{\textrm{gold}}=\mathcal{L}_{\mathrm{RE}}+\lambda\mathcal{L}_{\mathrm{ER}}^{\textrm{gold}}\label{eq:loss}\end{equation}ただし，$\lambda$は根拠認識の学習がパラメータの更新にもたらす影響を制御するためのハイパー・パラメータである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{推論}関係抽出ではATLOPと同様に，適応的閾値を採用する．各エンティティ組$(e_s,e_o)$の関係ラベルのロジットを計算し，仮想的な閾値ラベル\texttt{TH}より高いロジットを持つラベルを関係として出力する．根拠認識では静的な閾値を採用し，$\bm{p}^{(s,o)}$が閾値より高い文を根拠として出力する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{根拠の教師信号の自動付与}\label{sec:pipeline}DREEAMでは，エンコーダの自己注意機構から計算されるトークン重要度に基づいて，エンティティ組の関係の予測に役立つ箇所（根拠）を推定できる．ところで，\ref{sec:intro}節で述べたように，DocREDには人手で付与された少量のデータの他に，遠距離教師あり学習で関係ラベルを自動付与した大量のデータがあるが，これらのデータに根拠のラベルが付与されていない．そこで，DREEAMから推定される根拠の応用として，関係抽出の根拠の教師信号の自動付与を行い，大量の自動ラベル付けデータを活用する方法を提案する．提案する自動ラベル付けデータ活用法の概要を図~\ref{fig:pipeline}に示す．Tanらに倣い，教師と学生の二つのモデルを学習する\cite{tan-etal-2022-document}．教師モデルの役割は，根拠の正解ラベル付けデータから根拠認識に関する知識を獲得し，根拠のラベルが無いデータに根拠の疑似的な教師信号を自動付与することである．これは，図~\ref{fig:pipeline}のステップ1と2で実現される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.4\begin{figure}[t]\begin{center}\includegraphics{31-1ia4f4.pdf}\end{center}\caption{DREEAMによる自動ラベル付けデータの活用方法}\label{fig:pipeline}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%学生モデルは，まず根拠の疑似的な教師信号が付与された自動ラベル付けデータから関係抽出と根拠認識を学習し（図~\ref{fig:pipeline}のステップ3），その後正解ラベル付けデータでファインチューニングする（図~\ref{fig:pipeline}のステップ4）．これにより，学生モデルは，(a)自動ラベル付けによりノイズが混入される大量なデータと(b)人手ラベル付けにより品質が保証される少量なデータの双方から，関係抽出と根拠認識を学習できる．なお，教師モデルは正解ラベル付けデータでしか学習しないが，学生モデルは正解ラベル付けデータと自動ラベル付けデータの両方で学習するため，学生モデルは教師モデルの性能を超える想定であることに注意されたい．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{疑似根拠分布を用いた学習}根拠の正解ラベルで学習した教師モデルを用い，まだ根拠のラベル付けがされていないデータにおけるエンティティ組$(e_s,e_o)$のトークンの重要度$\hat{\bm{q}}^{(s,o)}$を予測・記録し，根拠の疑似的な教師信号とする．学生モデルのトークン重要度$\bm{q}^{(s,o)}$を疑似的な根拠$\hat{\bm{q}}^{(s,o)}$に近づけることで，根拠認識を学習する（式~\ref{eq:loss_evi_silver}）．\begin{equation}\mathcal{L}_{\mathrm{ER}}^{\mathrm{silver}}=-D_{\mathrm{KL}}(\hat{\bm{q}}^{(s,o)}||\bm{q}^{(s,o)})\label{eq:loss_evi_silver}\end{equation}最終的にモデルの学習に用いる損失関数は，式~\ref{eq:loss}と同様，以下のように関係抽出と根拠認識の損失の重み付き和とする．\pagebreak\begin{equation}\mathcal{L}^{\textrm{silver}}=\mathcal{L}_{\mathrm{RE}}+\lambda'\mathcal{L}_{\mathrm{ER}}^{\textrm{silver}}\label{eq:loss_silver}\end{equation}ただし，$\lambda'$は根拠認識の学習による影響を制御するためのハイパー・パラメータであり，式~\ref{eq:loss}における$\lambda$と同じ値に設定することで学習が順調に進むことが実験からわかっている．さらに，正解ラベル付けデータを用いて学生モデルをファインチューニングすることにより，自動ラベル付けデータと正解ラベル付けデータ両方の情報を集約したモデルが得られる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}
\label{sec:experiment}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験設定}\label{sec:setting}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{データセット}提案手法の有効性を検証するため，主にDocRED\cite{yao-etal-2019-docred}で実験を行った．DocREDはDocREタスクで最も広く使われているデータセットであり，少量の人手ラベル付けデータと大量の自動ラベル付けデータで構成されている（表~\ref{tab:dataset}参照）．自動ラベル付けデータでは，Wikidata知識ベース\cite{wikidata}による遠距離教師あり学習で関係ラベルが付与されている．一方，近年では，DocREDの人手ラベル付けデータにおけるアノテーション漏れが問題視されている\cite{xie-etal-2022-eider,huang-etal-2022-recommend,tan-etal-2022-revisiting}．この問題を解消するため，DocREDの文書に関係ラベルを追加付与したデータセットがRe-DocREDであり，その詳細を表~\ref{tab:redocred}に示す\cite{tan-etal-2022-revisiting}．なお，Re-DocREDでは，根拠ラベルの追加付与は行われていない．本稿では，提案手法のRe-DocREDにおける性能も検証する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[b]\input{04table02.tex}%\caption{DocREDとRe-DocREDの比較（DocREDのblindtestsetを含まず）}\label{tab:redocred}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{計算機}先行研究に倣い，実験ではBERT\textsubscript{base}\cite{devlin-etal-2019-bert}とRoBERTa\textsubscript{large}\cite{Liu2019RoBERTaAR}の二種類の事前学習言語モデルエンコーダを用いる．BERT\textsubscript{base}を用いた場合，実験を一枚のNVIDIAV10016GBGPUで行い，RoBERTa\textsubscript{large}\cite{Liu2019RoBERTaAR}を用いた場合，実験を一枚のNVIDIAA10040GBGPUで行う．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{アーキテクチャ}DREEAMはATLOP\cite{zhou2021atlop}をベースとしているが，トークン埋め込み$\bm{H}$とトークン間依存度$\bm{A}$の計算方法が異なる．\ref{sec:atlop}節で述べたように，ATLOPはエンコーダの出力層のみから$\bm{H}$と$\bm{A}$を計算するのに対し，DREEAMはエンコーダの上部3層の平均で$\bm{H}$と$\bm{A}$を求める．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{学習}\ref{sec:dreeam}節で述べたように，根拠認識が関係抽出のモデルに与える影響を調整するため，損失関数$\mathcal{L}_{\mathrm{ER}}$に係数$\lambda$をかけてから関係抽出の損失との和を計算し，全体の損失関数とした（式~\ref{eq:loss}）．係数$\lambda$は関係抽出の学習率と共にGridSearchを行い，検証データで最良性能を示す値を探索した\footnote{その他のハイパー・パラメータは\citeA{xie-etal-2022-eider}で報告された値を採用した．}．具体的には，$\lambda$を$\{0.05,0.1,0.2,0.3\}$，関係分類器の学習率を$\{5\text{e-}5,1\text{e-}4,5\text{e-}4\}$の範囲から探索した結果，BERT\textsubscript{base}を用いたモデルでは係数$\lambda$を0.1，RoBERTa\textsubscript{large}を用いたモデルでは係数$\lambda$を0.05とした．また，学生モデルの学習に用いる係数$\lambda'$に対しても同様の探索を行い，$\lambda'=\lambda$にすることで探索空間における最良性能を達成できたため，係数$\lambda'$の値を$\lambda$と等しくなるようにした．学生モデルのファインチューニングでは，係数$\lambda$を固定し，関係分類器の学習率だけを$\{1\text{e-}6,3\text{e-}6,5\text{e-}6\}$の範囲から探索した．パラメータの更新にはAdam\cite{loshchilov2018decoupled}を採用し，その他のハイパー・パラメータの値を表~\ref{tab:hyparam}に示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[t]\input{04table03.tex}%\caption{実験に用いたハイパー・パラメータ．微調整はファインチューニングを指す．}\label{tab:hyparam}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{評価}関係抽出では，各エンティティの組$(e_s,e_o)$における閾値ラベル\texttt{TH}より高い関係ラベルを予測結果とする．根拠認識では，検証データから推定した結果，重要度$p_i^{(s,o)}$が0.2より高い文を予測とする．さらに根拠認識の結果を活用するため，予測統合を行う（\ref{sec:isf}節,\citeA{xie-etal-2022-eider}）．評価指標はDocREDに従い，関係抽出と根拠認識のF1スコアとする．本稿では，先行研究\cite{yao-etal-2019-docred}に倣い，検証データと評価データから訓練データと重複する関係事例を取り除いた上で計測したF1スコアを報告する．なお，全てのスコアは，5つの異なるランダムシードを用いてモデルを初期化し，学習した結果の平均である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験結果：DocRED}\label{sec:expr_docred}DREEAMをDocRED\cite{yao-etal-2019-docred}で評価した結果を表~\ref{tab:main_results}にまとめた．\pagebreak評価データの報告値は，異なるランダムシードを用いて学習したモデルのうち，検証データで最良性能を示したモデルによる予測を評価した結果である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[t]\input{04table04.tex}%\hangcaption{DocREDでの関係抽出と根拠認識の性能．PLMは事前学習済み言語モデルエンコーダを表す．B-bはBERT\textsubscript{base}，Rb-lはRoBERTa\textsubscript{large}を表す．先行研究の報告値はそれぞれの論文から引用した．*が付いている行は自動でラベル付けしたデータを学習に用いた．}\label{tab:main_results}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{正解のラベル付けデータだけでモデルを学習する場合}自動ラベル付けデータを学習に用いない場合，すなわち人手アノテーションによる正解ラベル付けデータだけでモデルを学習する場合の性能を表~\ref{tab:main_results}(a)に示す．実験結果から，DREEAMは最先端手法の一つであるEIDER\cite{xie-etal-2022-eider}に匹敵する性能を示した．また，DREEAMとSAIS\cite{xiao-etal-2022-sais}の間では性能の差があるが，これはマルチタスク学習によるものと考えられる\footnote{SAISはDocREと根拠認識以外にも，共参照解析等の多タスクでモデルを学習し，豊富な教師信号を活用している．}．なお，DREEAMは根拠認識をDocREのエンコーダに統合したため，根拠認識器が不要となり，推論時のメモリ使用量を大幅に削減できた．詳細は\ref{sec:memory}節を参照されたい．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{正解に加えて自動でラベル付けしたデータも用いてモデルを学習する場合}提案手法(DREEAM*)は関係抽出においてSSAN*\cite{xu-etal-2021-ssan}やKD-DocRE*\cite{tan-etal-2022-document}の性能を上回り，このデータセットにおける最良性能を達成した．これらの手法も自動でラベル付けしたデータを学習に用いているため，実験の設定は提案手法と同じになっている．実験設定が揃えた状況で，DREEAMは先行研究の性能を超えることができたため，その優位性が示唆される．また，根拠認識においても，提案手法は既存手法の最高性能モデルSAISを大きく上回った．これにより，提案した根拠の教師信号の自動付与手法が関係抽出と根拠認識両方の性能向上に寄与することが示された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験結果：Re-DocRED}DREEAMをRe-DocRED\cite{tan-etal-2022-revisiting}で評価した結果を表~\ref{tab:results_redocred}にまとめた．学習に用いるハイパー・パラメータはDocREDと同じである．ただし，表\ref{tab:redocred}に示した通り，Re-DocREDでは根拠ラベルの追加付与を行っていない．その結果，DocREDでは根拠を持たない（文書から根拠を特定できない）関係事例数が全体の約4\%しかないのに対し，Re-DocREDでは根拠を持たない関係事例数は全体の約半数を占めている．これにより，Re-DocREDでの根拠認識の性能評価は適切でない可能性があるため，表~\ref{tab:results_redocred}では関係抽出の評価結果のみを示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[b]\input{04table05.tex}%\hangcaption{Re-DocRED評価データにおける関係抽出の性能．事前学習済み言語モデルエンコーダはRoBERTa\textsubscript{large}を採用した．先行研究の報告値はそれぞれの論文から引用した．*が付いている行は自動でラベル付けしたデータを学習に用いた．}\label{tab:results_redocred}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\ref{sec:expr_docred}節と同様に，(a)\textbf{自動ラベル付けデータをモデルの学習に用いない}設定と(b)\textbf{自動ラベル付けデータをモデルの学習に用いる}設定の二通りで実験を行う．なお，自動ラベル付けデータをモデルの学習に用いる場合，DocREDで図~\ref{fig:pipeline}のステップ1，2と3を実行し，4（学生モデルのファインチューニング）だけをRe-DocREDを用いて行う．実験結果から，正解ラベル付けデータだけで学習する場合，DREEAMはDocuNetやKD-DocREとほぼ同等の性能を示し，さらに予測統合を加えると，PEMSCL\cite{guo-etal-2023-towards}を含む全ての既存手法の性能を上回った．また，自動ラベル付けデータをモデルの学習に加える設定でも，DREEAM*は先行研究を上回る性能を示した．これにより，提案手法の有効性はRe-DocREDにおいても確認された．Re-DocREDはDocREDのアノテーション漏れ問題を軽減し，より信憑性の高いベンチマークとされているため，提案手法の優位性がより強固に示された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{アブレーション実験}本研究の提案事項の貢献度合いを調べるため，アブレーション実験を行い，その結果を表~\ref{tab:ablation}に示す．ここでは，推論時に予測統合（\ref{sec:isf}節，\citeA{xie-etal-2022-eider}）を行わない．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[b]\input{04table06.tex}%\hangcaption{DocREDの検証データでのアブレーション実験．事前学習済み言語モデルエンコーダはBERT\textsubscript{base}を採用した．標準偏差を\textpm{}の後ろに示す．}\label{tab:ablation}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{教師モデル}教師モデルを学習する際に根拠認識の学習（式~\ref{eq:loss_evi}）を無効化し，性能に与える影響を調べた．表~\ref{tab:ablation}(a)の「関係F1」の列に示した通り，関係抽出において性能の低下が見られる．ゆえに，エンティティ組$(e_s,e_o)$のエンコーディング過程におけるトークン重要度$\bm{q}^{(s,o)}$を根拠で誘導することは，関係抽出にも有益であることが示唆される．また，根拠認識を全く学習しない設定においても，重要度が閾値（ここでは\ref{sec:setting}節に従い，0.2とする）より高い文を根拠として抽出することにより，根拠認識の性能を評価できる．表~\ref{tab:ablation}(a)の「根拠F1」の列に示した通り，関係抽出だけを学習しても，モデルは根拠認識において42.79点のF1スコアと一定の性能を示した．これにより，関係抽出と根拠認識の両タスクにおける関連性が観測できたと考えられる．\ref{sec:visualization}節では，根拠による誘導を行う前後の変化をより直観的に反映するものとして，単語重要度の可視化結果も報告する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{学生モデル}疑似的な教師信号による根拠認識の学習（式~\ref{eq:loss_evi_silver}），および人手でラベル付けした正解データによる根拠認識の学習（式~\ref{eq:loss_evi}）の片方および両方を無効化し，タスクの性能に与える影響を調べる．表~\ref{tab:ablation}(b)から，疑似根拠による根拠認識の学習を無効化すると，関係抽出と根拠認識ともに性能が低下することが分かる．これにより，根拠認識に関する知識は疑似根拠を経由して，教師モデルから学生モデルへと期待通り引き継がれていることが示唆される．一方，人手でラベル付けした正解データによる根拠認識の学習を無効にしても，性能への影響は限定的であった．これはデータの規模の違いによるものだと考えられる．表~\ref{tab:dataset}に示してある通り，自動ラベル付けデータの規模は人手ラベル付けデータより膨大である．そのため，疑似根拠による学習では，ラベルにノイズが存在していても，タスクを解くのに有益な情報が多く含まれており，性能への寄与は大きいと考えられる．また，根拠認識の学習を疑似根拠で行わず，正解根拠だけで行う設定において，関係抽出の平均F1スコアは根拠認識の学習を全く行わない設定をやや下回った．同設定では，関係抽出と根拠認識の両方で標準偏差が大きく，関係F1スコアの最良値では根拠認識の学習を全く行わない設定を上回った．これは自動ラベル付けデータと比べて，人手ラベル付けデータの規模が遥かに小さいため，正解根拠での学習だけで両方のデータを一意に適合するのが難しく，得られたモデルの性能にばらつきが生じたと考えられる．そのため，疑似根拠においても根拠認識を学習することは，高性能なモデルを安定して得るのに寄与すると推察される．以上により，疑似根拠による学習の重要性が再確認された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{分析}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{パラメータ数，メモリ使用量および推論時間}\label{sec:memory}従来研究では，根拠認識に特化したモデルを設計し，関係抽出とは別に根拠認識器を適用することが多い．このとき，各文がエンティティ組の関係判断の根拠となる確率を計算するため，全ての文とエンティティ組を列挙しなければならない．例えばEIDER\cite{xie-etal-2022-eider}では，文$x_i$がエンティティの組$(e_s,e_o)$の関係予測の根拠である確率を式~\ref{eq:eider}で求める．\begin{equation}\mathrm{P}(x_i|e_s,e_o)=\mathrm{sigmoid}(\bm{x}_i^\top\bm{W}\bm{c}^{(s,o)}+b),\label{eq:eider}\end{equation}ただし，$\bm{x}_i\in\mathbb{R}^d$はトークン埋め込みから得た文$x_i$の埋め込み，$\bm{c}^{(s,o)}\in\mathbb{R}^d$は$(e_s,e_o)$における局所文脈埋め込み，$\bm{W}\in\mathbb{R}^{d\timesd}$と$b\in\mathbb{R}$はパラメータである．一方，DREEAMは根拠認識をエンティティの組のエンコーダに組み込み，根拠はエンコーダから直接推定できるため，式~\ref{eq:eider}による確率の計算が不要となり，パラメータ$\bm{W}$と$b$を導入せずに済む．さらに計算量を比較するため，$n$個の文からなる文書$D$を考える．文書$D$には$m$個のエンティティがあり，最も長い文の長さが$l$とする．EIDERは根拠認識を行うため，式~\ref{eq:eider}の演算を$n\timesm\times(m-1)$回行い，計算量は$O(nm^2d^2)$である．それに対し，DREEAMの根拠認識は式\ref{eq:evi_weight}により行い，文ごとに自己注意機構によるトークン重要度を合計し，計算量は$O(nm^2l)$である．$d^2\ggl$のため，EIDERの計算量がDREEAMより膨大であることが分かる\footnote{DocRED\cite{yao-etal-2019-docred}の実験では$d=768$，$l=180$である．}．DREEAMと既存手法のパラメータ数およびメモリ使用量を表~\ref{tab:memory}に示す．なお，本節では一枚のNVIDIARTXA600048GBGPUで実験を行う場合の計測結果を報告する．DREEAMを根拠認識器の学習を行う既存手法と比較すると，モデルのパラメータ数は既存研究よりも低く抑えられることが確認できる．また，推論時のメモリ使用量に関しては，DREEAMはEIDERの27.4\%,SAISの25.5\%まで抑えることが可能で，既存手法に対して大きなアドバンテージとなる．なお，根拠認識器を学習しないKD-DocREと比較しても，DREEAMのパラメータ数およびメモリ使用量は少ないことが分かる．以上のことから，DREEAMは既存手法よりも少ないパラメータ数およびメモリ使用量で，既存手法の同等以上の性能を達成できることが分かる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table7\begin{table}[b]\input{04table07.tex}%\hangcaption{パラメータ数及び推論時のメモリ使用量．事前学習済み言語モデルエンコーダはBERT\textsubscript{base}を採用した．}\label{tab:memory}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%一方，根拠認識器を組み込んだ既存手法の実装を変更し，根拠を同時でなく逐次に推論をすることにより，メモリ使用量の削減が考えられる．しかし，$m$個のエンティティを含む文書に対して，根拠の逐次推論を最低でも$n\timesm\times(m-1)$回行う必要があるため，推論時間が長くなる．既存手法で逐次推論を行う場合のメモリ使用量と推論時間を表~\ref{tab:time}に示した．DREEAMの推論時間は一文書毎に16.0ミリ秒なのに対し，EIDERの逐次推論は61.0ミリ秒，SAISの逐次推論は286.0ミリ秒であった\footnote{部分文書との予測融合を行わず，文書全体を入力とした場合の推論時間である．SAISは同じエンティティ組の異なる関係ラベルも区別して根拠認識を行うため，推論時間がさらに増える．}．これにより，既存手法は逐次推論により空間が節約できても，提案手法であるDREEAMより長い時間をかけて予測しなければならないことが分かる\footnote{既存手法の推論をミニバッチ化により加速できるが，ミニバッチ推論は並列推論より遅いため，DREEAMより高速化されるとは考えにくい．}．そのため，提案手法は時間と空間のトレードオフにおいて，既存手法よりバランスの良いアプローチであると考えられる．また，根拠認識の推論だけを逐次に行うことで，EIDERとSAISのメモリ使用量を大幅に削減できたため，既存手法の元の実装でメモリを多く使用する主な要因は，関係分類器よりも根拠認識器の並列推論であると判断できる．この点においても，根拠認識器を撤廃できた提案手法の優位性が見られる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table8\begin{table}[t]\input{04table08.tex}%\hangcaption{推論時間及びメモリ使用量．既存手法は並列推論のほか，逐次推論を自前で実装した上で時間とメモリ使用量を測定した．}\label{tab:time}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{根拠認識が予測統合にもたらす影響}\label{sec:isf_analysis}表~\ref{tab:main_results}と\ref{tab:results_redocred}では，提案手法の性能は予測統合により大きく向上した．\ref{sec:isf}節で述べた通り，予測統合は根拠認識の予測結果を活用するためのアンサンブル手法である．根拠認識の精度が高ければ，関係抽出に決定的な影響をもたらす文だけが根拠として認識され，有用な情報が統合された部分文書が得られる．予測統合はこれらの部分文書における関係予測と元文書における予測を組み合わせることにより，関係抽出の性能向上を図る．ここでは，根拠認識の性能が予測統合の効果を左右すると仮定している．ただし，予測統合による性能向上は，正しい根拠認識による情報の取捨選択効果によるものか，それとも単に複数回の予測結果を組み合わせたデータ拡張効果によるものかは，検証されていない．本節では，根拠認識の性能が予測統合の効果にもたらす影響について調べる．具体的には，予測統合に用いる部分文書の構成方法を変更する．文書$D$に対し，以下三つの部分文書の集合を構成する．\begin{itemize}\item\textbf{予測根拠}：DREEAMにより予測された全ての事例$(e_s,e_o,\hat{r},\hat{\setV}_{s,o,\hat{r}})$の根拠$\setV_{s,o,\hat{r}}$から構成された部分文書をまとめた集合$\Delta$．これは\ref{sec:experiment}節で用いた設定と同一である．\item\textbf{正解根拠}：人手でラベル付けされた全ての事例$(e_s,e_o,r,\setV_{s,o,r})$の正解根拠$\setV_{s,o,r}$から構成された部分文書をまとめた集合$\Delta^{\textit{gold}}$．これはモデルが全ての根拠を正しく認識できたと仮定するオラクル設定であり，実応用で$\Delta^{\textit{gold}}$を得ることはない．\item\textbf{ランダム}：ランダムに選択した文から構成された部分文書をまとめた集合$\Delta^{\textit{rand}}$．ただし，$|\Delta|=|\Delta^{\textit{rand}}|$とし，DREEAMによる予測と同数の部分文書を確保する．また，任意の部分文書$\hat{D}_i^{\textit{rand}}\in\Delta^{\textit{rand}}$に対し，$|\hat{D}_i^{\textit{rand}}|=|\hat{D}_i|(\hat{D}_i\in\Delta)$とし，部分文書毎の文数も$\Delta$と揃える．これはモデルが無作為に抽出した文を根拠とする設定である．\end{itemize}部分文書の集合$\Delta,\Delta^{\textit{gold}},\Delta^{\textit{rand}}$を用いた予測統合の結果を表~\ref{tab:isf}に示す．実験結果から，ランダムに選択した文で構成される部分文書を用いた予測統合が最も低い性能を示した．ここでは$|\Delta|=|\Delta^{\textit{rand}}|,|\hat{D}_i^{\textit{rand}}|=|\hat{D}_i|$であるため，データの規模に違いがなく，両者における性能の差は部分文書の内容によるものだと考えられる．これにより，予測統合が関係抽出の性能向上に寄与する原因は，単なる部分文書によるデータ拡張ではないと推測できる．一方，正解根拠で構成される部分文書を用いた予測が最良性能を示した．ここから，予測統合の効果を発揮するためには，高性能の根拠認識が肝要であることが示唆された．提案手法であるDREEAMは根拠認識で現時点での最良性能を達成できるため，予測統合の効果を引き出すことができる．この点においても，DREEAMの優位性が見られる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table9\begin{table}[t]\input{04table09.tex}%\hangcaption{疑似文書の構成方法を変更した時のDocRED検証データにおける性能比較．事前学習済み言語モデルエンコーダはBERT\textsubscript{base}を用いた．}\label{tab:isf}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{根拠認識の性能評価}\label{sec:evi_eval}表~\ref{tab:main_results}では，最良性能を示す提案手法を用いても，根拠認識のF1スコアは50強しかなかった．この数値は比較的低いが，先行研究から，現行のF1スコアの計算は根拠認識の性能に過度な罰則を与えているとの知見があった\cite{xie-etal-2022-eider}．本節では，根拠認識の性能をより適切な指標で評価する．まず現行の根拠認識の性能評価に用いるF1スコアの計算方法について説明する．エンティティ組$e_s,e_o$に対するモデルの予測を$(e_s,e_o,\hat{r},\hat{\setV}_{s,o,\hat{r}})$とし，関係$\hat{r}$と連動して根拠認識を評価する．具体的には，\begin{itemize}\item関係$\hat{r}$が正解である場合，人手アノテーションとして，$(e_s,e_o,\hat{r},\setV_{s,o,\hat{r}})$が存在する．根拠として予測された文$x\in\hat{\setV}_{s,o,\hat{r}}$のうち，人手アノテーション$\setV_{s,o,\hat{r}}$と共通する部分$\hat{\setV}_{s,o,\hat{r}}\cap\setV_{s,o,\hat{r}}$を正しい予測とする．\item関係$\hat{r}$が正解でない場合，$\hat{\setV}_{s,o,\hat{r}}$に対応する人手アノテーションが存在しない．そのため，$x\in\hat{\setV}_{s,o,\hat{r}}$を全て不正解とする．\end{itemize}根拠認識のF1スコアは，全てのエンティティ組の関係予測に対する根拠予測を集めてから求める．ただし，根拠の人手アノテーションは正解関係にだけ定義されるため，二つの問題点が挙げられる．まず，予測した関係$\hat{r}$が正解でない場合，$x\in\hat{\setV}_{s,o,\hat{r}}$は全て誤検知として扱われる．これにより偽陽性(FalsePositive)の予測が生じてしまい，適合率を低下させる．次に，モデルが正解関係$r$を予測できなかった場合，$x\in\hat{\setV}_{s,o,r}$は出力されないため，検出漏れとして扱われる．これにより偽陰性(FalseNegative)の予測が生じてしまい，再現率を低下させる．結果として，根拠認識のF1スコアは関係抽出の性能と高い相関があり，関係を正しく抽出できるモデルは，根拠認識でも高い精度を示すことになる．このため，現行のF1スコアは根拠認識単体の性能を正しく評価できないと考えられる．根拠認識の評価から関係抽出の影響を切り離すために提案されたのは\textbf{PosEviF1}である\cite{xie-etal-2022-eider}．PosEviF1では，根拠認識の評価対象を全ての予測結果とせず，正解関係のみに着目する．関係予測が偽陽性の事例と偽陰性の事例は，根拠認識の評価対象から除外する．つまり，モデルが正しく予測した事例$(e_s,e_o,\hat{r},\hat{\setV}_{s,o,\hat{r}})$のみに対し，$\hat{\setV}_{s,o,\hat{r}}$と正解根拠$\setV_{s,o,\hat{r}}$からF1スコアを計算する．PosEviF1でモデルの性能を評価した結果を表~\ref{tab:posevi_f1}に示す．なお，EIDERの評価値は再現実験によるものである\footnote{\url{https://github.com/Veronicium/Eider}}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table10\begin{table}[t]\input{04table10.tex}%\hangcaption{異なる根拠認識の評価指標を用いた時のDocRED検証データにおける性能．\textbf{EviF1}は根拠F1を表す．事前学習済み言語モデルエンコーダはBERT\textsubscript{base}を用いた．}\label{tab:posevi_f1}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%実験結果から，PosEviF1を用いた評価では，EIDERとDREEAM両方とも80点以上のスコアを達成できた．これにより，両手法は関係を正しく予測できた事例に対し，根拠も適切な精度で認識していると確認できる．ただし，DREEAMを用いても，PosEviF1が90点未満であることから，完璧な根拠認識の難しさが示された．また，EviF1では2.38点だったDREEAMとEIDERの性能差は，PosEviF1では4.04点に開いた．このことから，提案手法であるDREEAMの根拠認識における優位性が再び示唆された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{根拠認識に必要最小限のデータ量}\ref{sec:experiment}節の実験結果から示されているように，根拠は文書レベル関係抽出を行うための情報の取捨選択に有用である．また，\ref{sec:isf_analysis}節では高性能の根拠認識は予測統合の効果を引き出せることも確認された．ただし，根拠の人手アノテーションはコストが高く，正解ラベルのあるデータが限られている．本節では，根拠認識に用いる学習事例数とモデルの性能の関係を調査し，適切な性能を達成するための最小限のデータ量を探索する．根拠認識の学習に学習データの一部だけを用いた場合のDREEAMの性能を計測し，その結果を図~\ref{fig:evi_portion}と表~\ref{tab:evi_portion}に示す．ただし，関係抽出の学習に全てのデータを使用し，推論時は予測統合を行う．事前学習済み言語モデルエンコーダはBERT\textsubscript{base}を採用した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.5andtable11\makeatletter\newcommand{\setcaptype}[1]{\def\@captype{#1}}\makeatother\begin{figure}[t]\begin{minipage}[t]{204pt}\setlength{\captionwidth}{204pt}\begin{center}\includegraphics{31-1ia4f5.pdf}\end{center}\hangcaption{学習データの量を増大するときの根拠認識の性能変化}%\label{fig:evi_portion}\end{minipage}\hfill\raisebox{55pt}[0pt][0pt]{%\begin{minipage}[t]{190pt}\setcaptype{table}\setlength{\captionwidth}{190pt}\input{04table11.tex}%\hangcaption{根拠認識の学習に用いる文書数（全体に占める割合）を増大するときの根拠認識及び関係抽出性能}%\label{tab:evi_portion}\end{minipage}}%\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%実験結果から，根拠認識の学習に用いる文書数を0から1,526（全学習データの50\%）に増大する過程では，根拠認識における顕著な性能改善が見られた．一方，学習データを1,526（全学習データの50\%）以上に増やしても，根拠認識の性能向上が緩やかであり，最終的にはほぼ同水準で安定した\footnote{全文書を根拠認識の学習に用いる場合，モデルの性能は表~\ref{tab:main_results}(a)の一番下の行と一致するはずだが，ランダムシードの変更等により誤差範囲内のブレが見られた．}．これにより，DREEAMにおいては，根拠認識の学習に用いるデータが比較的に少量であっても，ある程度の性能を達成できると示唆される．また，性能の向上幅が最も大きいのは，根拠認識に用いるデータの量を0から30（全文書の1\%）に増やした時であった．このことから，根拠認識の学習，すなわちトークン重要度の誘導に用いられる正解データが微量であっても，根拠認識の性能向上に寄与すると考えられる．以上を踏まえ，根拠認識の学習に用いられる人手ラベル付けデータが限られている場合でも，DREEAMは一定な精度を達成できると確認できた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{単語重要度の可視化}\label{sec:visualization}ここでは，\ref{sec:dreeam}節に述べた根拠分布による誘導がトークン重要度にもたらす影響について調べる．式\ref{eq:context_emb_weight}に示した通り，トークン重要度$\bm{q}^{(s,o)}$はエンコーダにおける自己注意機構の重みから算出され，エンティティ組$(e_s,e_o)$の関係を示唆する度合いを表す．本節では，式\ref{eq:loss_evi}を用いて$\bm{q}^{(s,o)}$を根拠に誘導する前後の値を可視化した上で，分析を行う\footnote{単語重要度は構成トークンの和とする．可視化は\citeA{yang-zhang-2018-ncrf}によるツールを用いた．}．続いては，正しい関係予測に対する単語の重要度と誤った関係予測に対する単語の重要度を分けて分析する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.6\begin{figure}[b]\begin{center}\includegraphics{31-1ia4f6.pdf}\end{center}\hangcaption{エンティティ組(\textit{PrinceEdmund},\textit{TheBlackadder})に対し，局所文脈埋め込みにおける単語重要度のヒットマップ．色が濃いほど値が大きくなる．正解の関係ラベルは\textit{presentinwork}であり，正解の根拠は文1と2である．根拠誘導後のモデルは関係と根拠を正しく予測できた．}\label{fig:heatmap_1}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\textbf{関係が正しく予測された場合}の例として，単語重要度の可視化結果を図~\ref{fig:heatmap_1}に示す．まず文レベルで観察すると，根拠分布による誘導を行った後，重みは文1と2，すなわち正解の根拠に集中している．式~\ref{eq:evi_human}により，教師信号$\bm{v}^{(s,o)}$も文レベルであることから，トークン重要度$\bm{q}^{(s,o)}$は適切に誘導されていると考えられる．さらに単語レベルで観察すると，誘導による単語の重みの変化も見られた．図~\ref{fig:heatmap_1}(a)では，句点「\textit{.}」に高い重みを配分する傾向が見られるが，図~\ref{fig:heatmap_1}(b)では，句点以外の単語に高い重みを配分している．具体的に，エンティティのメンション以外にも，単語\textit{fictitious}に配分された重みが高く，関係\textit{presentinwork}に関連する単語が注目されている傾向が見られる．ただし，教師信号$\bm{v}^{(s,o)}$は文レベルのアノテーションから算出されたものであり，特定の単語の重みを引き上げるように設計されていない．にもかかわらず，単語レベルの重要度分布が変化したのは，文レベルの教師信号が，関係予測に重要な単語に注目するようにモデルを間接的に誘導したためであると推測される．一方，根拠情報による誘導がない場合，モデルの関係予測は句点などの意味を持たない単語に依存するが，これは人間の判断基準と異なり，解釈性が乏しい\footnote{類似する現象は\citeA{chen-etal-2023-models}でも観測され，この結論を裏付けた．}．根拠分布によるトークン重要度の誘導は，人間と同じ基準（すなわち，注目する部分）で関係を予測するようにモデルを学習するため，モデルの解釈性向上にも貢献できる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.7\begin{figure}[t]\begin{center}\includegraphics{31-1ia4f7.pdf}\end{center}\hangcaption{エンティティ組(\textit{ThomasBecket},\textit{TheBlackAdder})に対し，局所文脈埋め込みにおける単語重要度のヒットマップ．色が濃いほど値が大きくなる．正解関係は存在しないが，根拠誘導後のモデルは関係を\textit{author}，根拠を文1と4として予測した．}\label{fig:heatmap_2}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\textbf{関係が誤って予測された場合}の例として，単語重要度の可視化結果を図~\ref{fig:heatmap_2}に示す．\ref{sec:evi_eval}節に述べた通り，関係を持たないエンティティ組に対して，根拠は定義されていない．ところが，根拠による誘導後，モデルは単語\textit{life}に高い重みを配分し，関係を\textit{author}として予測した．「生涯をかけた作品」などの文脈においては，単語\textit{life}と関係\textit{author}の相関は考えられるが，ここではそういった文脈が読み取れない．これにより，根拠とされている文やトークンの重要度を引き上げるだけでは，文脈や語義を明示的に考慮できないため，モデルは関係ラベルとトークンの相関関係を短絡的に学習してしまい，間違った関係予測につながる可能性があると示唆される．文脈情報を考慮した根拠認識手法の設計は，今後の課題として考え得る．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{文書レベル関係抽出}関係抽出は長らく文に閉じた設定で行われてきたが，近年，文書レベルまで拡張された\cite{quirk-poon-2017-distant,peng-etal-2017-cross,yao-etal-2019-docred}．文書レベル関係抽出(DocRE)は文に閉じた関係に限らず，文の境界をまたがるエンティティ組の関係の抽出も目的とするため，従来の関係抽出タスクより適用範囲が広い．DocREのベンチマークとして，DocRED\cite{yao-etal-2019-docred}，Re-DocRED\cite{tan-etal-2022-revisiting}，HacRED\cite{cheng-etal-2021-hacred}，CDR\cite{li-etal-2016-cdr}，GDA\cite{wu2019GDA}が挙げられるが，根拠認識の人手アノテーションが整備されているのはDocREDだけである．また，Re-DocREDはDocREDに関係ラベルを追加付与したデータセットであり，追加付与された関係事例における根拠は付与されていない．そのため，本研究では主にDocREDを用いて提案手法の性能検証や挙動分析を行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{Transformerをベースとした文書レベル関係抽出}DocREを解くため，最初に提案されたのはエンティティのメンションなどをノード，関係をエッジとしたグラフを構築する手法だった\cite{quirk-poon-2017-distant,christopoulou-etal-2019-connecting,nan-etal-2020-reasoning}．これらの手法は文書をグラフとしてモデリングすることから，元文書における文脈情報を保存できない欠点があった．近年，Transformer\cite{NIPS2017attention}をベースとした手法がグラフをベースとした手法の性能を上回った\cite{zhou2021atlop,ijcai2021p551,guo-etal-2023-towards}．Transformerをベースとした手法は，BERT\cite{devlin-etal-2019-bert}をはじめとした事前学習済み言語モデル(PLM)を活用することにより，文脈情報を温存しつつ，トークンやエンティティのメンション間の長距離依存関係を捉えることができる\cite{zhou2021atlop,xie-etal-2022-eider}．\citeA{ijcai2021p551}はコンピュータビジョン分野の知見を活かし，DocREを領域分類(SemanticSegmentation)タスクとして扱い，PLMの上にU-Net層\cite{ronneberger-etal-2015-unet}を追加することにより，エンティティ間の依存関係を捉える手法を提案した．\citeA{zhou2021atlop}は特定のエンティティ組に関連する情報を文書から取得するため，局所文脈埋め込みを提案した．また，DocREのような多クラス分類問題に特化した損失関数として，適応閾値損失を提案した．それに基づき，\citeA{tan-etal-2022-revisiting}はAxial-Attentionモジュールを導入し，関係事例間の関係をモデリングした．\citeA{guo-etal-2023-towards}は学習過程に着目し，適応閾値損失における正の関係ラベルに対する過分な罰則を抑えるよう，損失関数を改善した．これらの設計はトークン間の依存関係が注意機構により暗黙的に学習されると仮定し，明示的な教師信号を与えていない．一方，本研究ではトークン間の依存関係の教師信号として，人手アノテーションやモデルの予測から算出した根拠分布を導入し，関係抽出の性能を向上させた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{文書レベル関係抽出と根拠認識}根拠情報をDocREに組み込む研究は他にもあった．\citeA{huang-etal-2021-three}はヒューリスティック的に選出した根拠から構成された部分文書だけで関係の予測を行っても，DocREの性能改善が見られると報告した．根拠認識を自動で行うため，\citeA{huang-etal-2021-entity}，\citeA{xie-etal-2022-eider}と\citeA{xiao-etal-2022-sais}は関係抽出器とは別の根拠認識器を導入した．一方，本研究の提案手法であるDREEAMはヒューリスティックのルールや根拠認識器を用いなくても，根拠認識を行うことができる．また，本研究は根拠ラベルの持たないデータに疑似根拠を付与することにより，根拠認識の学習に用いられるデータの量を大幅に拡張させた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{遠距離教師あり学習}遠距離教師あり学習は関係抽出のデータ拡張に広く使われてきた手法である\cite{mintz-etal-2009-distant,quirk-poon-2017-distant,xiao-etal-2020-denoising}．この手法は知識ベース$G$に蓄積された関係知識に基づき，テキスト$X$に関係ラベルを付与する．具体的には，知識ベース$G$における関係の三つ組$(e_s,e_o,r)$が係るエンティティ$e_s$と$e_o$が同時にテキスト$X$に存在する場合，関係$(e_s,e_o,r)$をテキスト$X$における正解ラベルとする．これにより，テキスト$X$におけるエンティティと知識ベースのノードのマッチングを取り，関係ラベルの自動付与が実現できる．DocREDでは，遠距離教師あり学習により関係ラベルが自動的に付与されたデータが含まれている（表~\ref{tab:dataset}）．本研究では，DocREDで提供されている自動ラベル付けデータに根拠ラベルを追加で付与し，関係抽出と根拠認識の学習に用いる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
本稿では，文書レベル関係抽出モデルに根拠認識を統合する手法を提案した．関係抽出器のエンコーダの自己注意機構から算出されるトークン重要度を，関係予測の根拠に高い重みを配分するように誘導するDREEAMを提案した．続いて，文書レベル関係抽出におけるデータ不足問題を緩和するため，根拠ラベルを持たないデータを活用する手法を提案した．具体的には，遠距離教師あり学習手法で自動付与された関係ラベルを持つデータに疑似根拠を追加し，それを用いて関係抽出及び根拠認識を同時に学習する．DocRED及びRe-DocREDの両データセットで評価したところ，提案手法は関係抽出および根拠認識の両方とも現時点での世界最高性能を達成した．また，推論時のメモリ使用量においては，提案手法は既存手法の30\%まで抑えることができ，少ない計算資源で既存手法の同等以上の性能を達成できる．ただし，提案手法には関係と単語の相関関係を短絡的に認識する傾向が見られた．今後は，文脈を考慮した根拠認識や，長い文書における情報の統合や取捨選択を要する他タスクへのDREEAMの適用，日本語の文書レベル関係抽出の研究に取り組みたい．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgmentこの成果は，国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)の委託業務(JPNP18002)の結果得られたものです．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.7}\bibliography{04refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor[:]{YoumiMa}{2021年9月東京工業大学情報理工学院修士課程修了．同年9月より東京工業大学情報理工学院知能情報コース博士課程学生．}\bioauthor[:]{AnWang}{%2022年4月東京工業大学情報理工学院修士課程修了．同年4月より東京工業大学情報理工学院知能情報コース博士課程学生．}\bioauthor{岡崎直観}{2007年東京大学大学院情報理工学系研究科博士課程修了．東京大学大学院情報理工学系研究科・特任研究員，東北大学大学院情報科学研究科准教授を経て，2017年8月より東京工業大学情報理工学院教授．言語処理学会，人工知能学会，情報処理学会，ACL各会員．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}