# 辺編集による文書レベルの関係グラフ構築

牧野晃平 三輪誠 佐々木裕
豊田工業大学
\{sd19446, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 1 はじめに

文献中に記述された情報を抽出して利用する研究が盛んに行われている $[1,2,3]$. 抽出対象の情報は,表形式や用語ペアと関係の集合などのように，目的に応じて様々な形式をとる。これらの情報の抽出にはその形式に適した手法が必要だが，それぞれに特化した手法を作成するのは非効率でコストが高い.

情報を表現する形式の一つとして，グラフ構造がある.グラフ構造は，節点と，節点同士を関連性に基づいて結びつける辺の集合で表現できる形式で,様々な情報を包括的に表現可能な形式の一つである。例えば，表形式であれば，見出しと各セルを節点として，その間を辺で接続して表現できる. このグラフ構造を利用して，文献中から抽出する情報をグラフ構造として扱うことで，様々な情報抽出タスクに利用可能な抽出器が実現できると考えられる。

そこで本研究では, 上記の抽出器作成の第一歩と

して，用語が与えられた上での文を超えた文書レべルでの関係分類を対象に，節点が与えられた上でのグラフの構築モデルの実現を目指す. 対象の用語間の関係を，用語を節点・関係を辺としたグラフと捉えることで対象問題をグラフ構造として扱う。

提案手法では，他のシステムで構築されたグラフをもとに，辺を徐々に編集する深層学習モデルを実現する. 既存のグラフの辺を徐々に編集することで，それまでに抽出されている情報をグラフとして利用し, 文脈情報と周囲のグラフ情報を考慮したグラフを構築する。

## 2 関連研究

## 2.1 グラフ畳み込みネットワーク

Kipf らはグラフ構造の表現獲得のためにグラフ畳み込みネットワーク (Graph Convolutional Network; GCN）を提案した [4]. GCN では，各節点の特徴を

図 1 提案手法の全体像

表すベクトルを用いて，節点の表現を周辺の節点の情報を用いて更新することで，グラフ構造における周辺の情報を考慮した各節点の表現を得る。

## 2.2 情報抽出

グラフを抽出する類似のタスクとして，関係抽出や時間関係抽出などがある. これらのタスクでは，入力された文中の用語間の関係性を抽出する. Christopoulou ら [1] は用語を節点・関係を辺とした文書単位のグラフを作成し，その辺を分類することで，文間の関係を含む文書単位の関係抽出に取り組んだ. Nan ら [5] は文書単位で用語や単語の潜在的なグラフを構築することで，関係抽出を行った。 Cheng ら [6] は事象それぞれに対して時刻にあわせて動的な表現を利用して時間関係抽出を行った.

## 3 グラフの辺編集モデル

本研究では，用語が与えられた上での文を超えた文書レベルでの関係分類をグラフの構築として定式化する，具体的には，図 1 のように節点が与えられた上で既存のシステムで抽出したグラフの辺を編集

して，文脈上とグラフ上の両者の観点を考慮に入れたグラフを構築する. グラフの辺の編集は, 文脈情報とグラフ構造を考慮したグラフの辺分類モデルによって節点ぺア間の辺のクラスを分類し，その結果で上書きすることで実現する.

モデルは文脈情報を導入するために事前学習モデル Longformer [7]を利用して節点の表現を作成する. また，グラフ上で周辺の節点の情報を導入するために，節点の情報を接続している辺に沿って伝搬させる手法である GCNを利用する。

## 3.1 グラフの辺分類モデル

グラフの辺分類モデルとして，グラフの任意の節点ペア間の辺を分類するモデルを提案する. モデルは, 入力として文書の情報 $\operatorname{doc}$ と, 節点が $\mathcal{N} \cdot$辺が E のグラフ，編集対象の節点ペア $\left(\mathcal{N}_{i}, \mathcal{N}_{j}\right)$ を受け取り, 編集対象の節点ペア間の辺のクラス $\hat{\mathscr{E}}_{i j}$ を出力する. ここでは, 文書 doc と節点に対応する用語の情報 $\mathcal{N}$ から各節点の文脈を考慮した表現を得る EncodeNode(doc, $\mathcal{N})$ と, 得られた節点の表現 $\overline{\mathcal{N}}$ を用いて編集対象の辺の表現 $\overline{\mathscr{E}}$ を作成する EncodeEdge $(\overline{\mathcal{N}}, \mathscr{\mathscr { E }})$, そして節点ペア $\left(\mathcal{N}_{i}, \mathcal{N}_{j}\right)$間の辺の表現 $\overline{\mathscr{E}}_{i j}$ から編集後の辺 $\hat{\mathscr{E}}_{i j}$ を出力する EdgeClassifier( $\left.\overline{\mathscr{E}}_{i j}\right)$ に分けて説明する. これらを合わせると以下の式で表せる.

$
\begin{gathered}
\overline{\mathcal{N}}=\operatorname{EncodeNode}(\operatorname{doc}, \mathcal{N}) \\
\overline{\mathscr{E}}=\operatorname{EncodeEdge}(\overline{\mathcal{N}}, \mathscr{\mathscr { C }}) \\
\hat{\mathscr{E}}_{i j}=\operatorname{EdgeClassifier}\left(\overline{\mathscr{C}}_{i j}\right)
\end{gathered}
$

各節点の表現を作成する EncodeNode は，事前学習した Longformer [7] から得られたサブワード単位の表現を用語レベルの表現にまとめるために，サブワードの表現の各次元で最大值をとるプーリング （Pool）をして，用語のラベルの表現 $\boldsymbol{v}^{l a b}$ を結合して表現する.

$
\begin{aligned}
\overline{\mathcal{N}} & =\operatorname{EncodeNode}(\operatorname{doc}, \mathcal{N}) \\
& =\left[\operatorname{Pool}(\text { Longformer }(\operatorname{doc})) ; \boldsymbol{v}^{l a b}\right]
\end{aligned}
$

EncodeEdge( $\overline{\mathcal{N}}, \mathscr{E})$ では, EncodeNode によって得られた節点の表現 $\overline{\mathcal{N}}$ から，辺の表現 $\overline{\mathscr{E}}$ 作成する. まず，節点の表現を，GCNによって辺に沿って伝搬させることで，グラフ上での周辺の節点を考慮した節点の表現 $\overline{\mathcal{N}}^{G}$ を計算する.

$
\overline{\mathcal{N}}^{G}=\operatorname{GCN}(\overline{\mathcal{N}}, \mathscr{E})
$

## Algorithm 1: グラフの編集手順

$\operatorname{Distance}\left(\mathcal{N}, d_{1}, d_{2}\right)$ : 距離が $d_{1}$ 以上 $d_{2}$ 未満の節点ペア集合 $\mathscr{P}$ 返す関数

Input: doc：文書, $\mathcal{N}$ : 節点の集合, $\mathscr{E} ：$ 辺集合, $d_{\text {max }}$ : 距離の最大值

Output: $\mathscr{E}$ : 辺集合

$\overline{\mathcal{N}} \Leftarrow$ EncodeNode(doc, $\mathcal{N})$

while $d$ in range $\left(\max \left(|\mathcal{N}|, d_{\text {max }}\right)\right)$ do

$\overline{\mathscr{E}} \Leftarrow \operatorname{EncodeEdge}(\overline{\mathcal{N}}, \mathscr{\mathscr { C }})$

if $d=d_{\text {max }}$ then

$\mathscr{P} \Leftarrow \operatorname{Distance}\left(\mathcal{N}, d_{\text {max }}, \infty\right)$

else

$\mathscr{P} \Leftarrow \operatorname{Distance}(\mathcal{N}, d, d+1)$

end if

while $(i, j)$ in $\mathscr{P}$ do

$\mathscr{E}_{i j} \Leftarrow$ EdgeClassifier $\left(\overline{\mathscr{C}}_{i j}\right)$

end while

end while

各辺の表現 $\overline{\mathscr{B}}$ の各要素として, 各節点の組み合わせ $\left(\mathcal{N}_{i}, \mathcal{N}_{j}\right)$ について，その間の辺の表現ベクトル $\overline{\mathscr{E}}_{i j}$ を計算する。この表現は，グラフから得られた表現に，分類に有効となるような人手の特徴べクトルとして，隣接節点を表す表現や節点の始点と終点が文書中でどちらが先に出現するかを表す表現 $\boldsymbol{b}_{i j}$ を結合して作成する. 辺の始点と終点となる節点に対する全結合層をそれぞれ, $\mathrm{FC}^{\text {head }}$ と $\mathrm{FC}^{\text {tail }}$ とすると，以下のように表現できる.

$
\begin{aligned}
\overline{\mathscr{E}} & =\operatorname{EncodeEdge}(\overline{\mathcal{N}}, \mathscr{E}) \\
\overline{\mathscr{C}}_{i j} & =\left[\mathrm{FC}^{\text {head }}\left(\overline{\mathcal{N}}_{i}^{G}\right) \otimes \mathrm{FC}^{\text {tail }}\left(\overline{\mathcal{N}}_{j}^{G}\right) ; \boldsymbol{b}_{i j}\right]
\end{aligned}
$

ただし， $\otimes$ は要素積を示す.

EdgeClassifier $\left(\overline{\mathscr{C}}_{i j}\right)$ では得られた節点間の表現から, 節点 $\left(\mathcal{N}_{i}, \mathcal{N}_{j}\right)$ 間の辺 $\mathscr{E}_{i j}$ を分類する. 出力の全結合層 $\mathrm{FC}^{\text {out }}$ を用いて，それぞれのクラスの確率 $\hat{\boldsymbol{p}}_{i j}$ を計算し, 最大の確率のクラスを選択して，辺の予測値 $\hat{\mathscr{E}}_{i j}$ を出力する.

$
\begin{gathered}
\hat{\mathscr{B}}_{i j}=\operatorname{EdgeClassifier}\left(\overline{\mathscr{E}}_{i j}\right)=\arg \max \hat{\boldsymbol{p}}_{i j} \\
\hat{\boldsymbol{p}}_{i j}=\operatorname{Softmax}\left(\mathrm{FC}^{\text {out }}\left(\overline{\mathscr{C}}_{i j}\right)\right)
\end{gathered}
$

## 3.2 グラフの編集

グラフの構築は，入力されたグラフの節点ペアの全組み合わせに対して， 3.1 節の辺分類モデルによる分類結果によって徐々に上書きして行くことで実
現する。編集の順序は，近い関係を先に抽出し，遠い問題は後に抽出する近傍優先戦略 $[8,9]$ に基づき,節点の元の用語同士が文書内で近いものから編集を進め，順次，離れた節点同士の編集を行う. 用語の距離は出現順序に基づいて計算する. 例えば文書中で $m$ 番目に出現した用語と $m+3$ 番目に出現した用語同士の距離は 3 とする.

具体的な編集方法をアルゴリズム 1 に示した. 距離が近い節点ペアから順番に，同一距離のペアごとにまとめて, 辺分類器による辺のクラス分類を行い，その出力で上書きをして編集を進める.このように編集を進めることで，すべての辺を独立に編集する場合では $|\mathcal{N}|^{2}$ 回の編集が必要であるのに比べて, $|\mathcal{N}|-1$ 回の編集で行うことができ, さらに上限 $d_{\text {max }}$ を設けることで，編集は $d_{\text {max }}$ 回で完了する.

## 3.3 学習

辺分類モデルの学習は, 正しいグラフが抽出できるように，対数尤度を最大化する. 正解の辺を $\mathscr{E}_{i j}^{g o l d}$, 辺の全クラスを $\mathscr{C}$ とすると, 損失 $\mathscr{L}$ は以下のように定義できる.

$
\mathscr{L}=-\sum_{i=1}^{|\mathcal{N}|} \sum_{j=1}^{|\mathcal{N}|} \sum_{c \in \mathscr{C}} \mathbb{1}\left[c=\mathscr{E}_{i j}^{\text {gold }}\right] \cdot w_{c} \log \hat{\boldsymbol{p}}_{i j}[c]
$

ただし， $\mathbb{1}[\cdot]$ は，括弧内の条件を満たしたときに 1 ，満たさないときには 0 を返す関数で， $w_{c}$ はクラスごとの重みである. クラスごとの重み $w_{c}$ は，それぞれのクラスの損失の重みを示す.

## 4 実験と考察

## 4.1 実験設定

本実験では無機材料文献からの合成プロセス抽出のためのコーパス合成手順コーパス [10]を利用して実験を行う．合成手順コーパスでタグ付けされている合成プロセスは，材料や操作，条件などを表す用語と, 操作の進行や材料の投入, 条件付けといったような関係がタグ付けされているコーパスで，各文献に対して一つのグラフを定義することができる. 訓練データ・開発データ・評価データはそれぞれ $200 \cdot 15 \cdot 15 て ゙ ，$ 公開されているコーパスと同一の分割で実験を行う。

評価指標は，全体の $\mathrm{F}$ 值であるマイクロ $\mathrm{F}$ 值と，各クラスの $\mathrm{F}$ 値を平均したマクロ $\mathrm{F}$ 値で評価する。評価は開発データに対して最高のマイクロ $\mathrm{F}$ 值が得表 1 探索するパラメタ

表

表 2 グラフの編集モデルとルールベース抽出器の比較モデルマイクロ $\mathrm{F}$ マクロ $\mathrm{F}$ ルール十編集 (提案手法) $0.802 \quad \mathbf{0 . 7 8 8}$

られた点での評価データに対する評価値で行う.

作成したルールの抽出結果を編集した提案手法 （ルール＋編集）に対する比較手法として，ルールによる抽出 (ルールベース), 辺の全く接続されていないグラフから編集によって辺を接続していくもの（編集のみ），そして (7) 式において $\overline{\mathcal{N}}^{G}$ の代わりに $\overline{\mathcal{N}}$ を用いた GCNを利用せずにすべての辺を同時に決定したもの（GCN 無し）の三つを用意した. ルールの詳細は付録 $\mathrm{A}$ に示した. ルールは節点ペアのクラスの組み合わせごとに設定し，最も近いもの同士で接続したり, 出現した順番に接続したり, 辞書マッチを用いたりした。

表 1 に示したハイパパラメタについては，パラメタの組み合わせを全探索し, 最適なパラメタとして下線が引かれたパラメタを選択した. 全探索はどのモデルも十分収束する 130 エポックで学習を行い, モデルの学習が終了したとき，開発データに対して最も高いマイクロ $\mathrm{F}$ 值を記録したエポックのときのモデルをその試行のモデルとした. パラメタは開発データに対して最大のマイクロ $\mathrm{F}$ 值を記録したパラメタを選択した。

事前実験によって損失における $w_{c}$ を $w_{c}=1$ として学習した場合では，予測する辺の数のうちのほとんどが負例であることから，モデルが負例しか予測しなくなってしまったため，正例のクラスの損失が大きくなるようにした. 学習初期には正例の損失が大きくなるように係数を掛けておき，学習が進むにつれ負例と同一の重み付けになるように係数をスケジューリングした.

## 4.2 実験結果

得られた結果を表 2，ルールベースとルール十編集に対するクラスごとの抽出性能は付録 B に示し

図 2 開発データに対する編集の最大距離 $d_{\text {max }}$ とマイクロ $\mathrm{F}$ 値の関係

た.まず，提案手法であるルール十編集とルールベースを比較すると，マイクロ $\mathrm{F}$ 值においては若干下がったものの，マクロ $\mathrm{F}$ 値ではルール＋編集のほうが約 0.1 ポイントほど高い性能を示した. この結果から，ルールベースの出力を提案手法により編集することで，クラスごとの性能のばらつきを減らすことができることがわかった. 一方で，ルールが得意な関係に関しては抽出精度が下がってしまい，全体として，マイクロ $\mathrm{F}$ 值が下がってしまっており， ルールの情報のより有効な利用方法については今後の課題である. 次に, ルール十編集と編集のみを比較すると，ルール十編集のほうが高い性能を示しており，ルールベースの抽出器の抽出結果の利用の有効性を示すことができた. 最後に，ルール十編集と GCN 無しを比較した場合では，グラフ情報を利用しているルール十編集の方が高い性能を示しており，グラフ情報の有効性が示すことができた.

## 4.2.1 モデルの編集の最大距離

$d_{\text {max }}$ を変化させ，最大距離とマイクロ $\mathrm{F}$ 值との関係を確認した. 開発データに対して実験を行った結果を図 2 に示した. $d_{\text {max }}=1$ はすべての辺を同時に定めている場合で， $d_{\text {max }}$ が増加していくにつれて，距離が近いペア同士を独立して予測することに対応する. 結果より,$d_{\text {max }}=1$ における精度が一番低いことから, 辺の抽出結果を他の辺の抽出に使うことが有効であることがわかる. また，最大距離が小さい間は距離が増えるごとに精度があがっていることから，距離の近い順に編集を進める場合は，距離の近い節点においては，一度にグラフを定めるよりも徐々に定めていくことが，辺の抽出において効果的であることがわかった. 併せて， $d_{\text {max }}$

図 3 ルール+編集の出力グラフ

は， $d_{\text {max }} \geq 10$ で飽和していると読み取れるため, $d_{\text {max }} \geq 10$ では同時に編集を行うことは問題ないと考えられる。

## 4.2.2 実際の事例

実際に抽出した例を比較して，その抽出の特性を確認する．グラフを抽出した内の一部を可視化したものを示す. 図 3 は合成手順コーパスの開発データ内の内の一例 [11] に対するルール十編集で抽出した結果である. 得られた結果を見ると，合成手順が「mixed $\lrcorner \rightarrow$ prefired $\lrcorner \rightarrow \cdots$ と操作が進み, $「$ prefired」には温度条件「 $900^{\circ} \mathrm{C} 」$ と時間条件「 $\left.24 \mathrm{~h}\right.\rfloor$ が接続していることがわかる.

## 5 結論

本研究では, 文書レベルでの用語間の関係分類を，節点が与えられた上でのグラフの構築として定式化し，グラフの辺を編集することで，文脈とグラフの両者を考慮した辺の抽出をおこなう手法を提案した. 合成手順コーパスに対する合成プロセスの抽出を用いて評価を行い，ベースラインとしたルールによる抽出よりマイクロ $\mathrm{F}$ 值は若干低下したものの，マクロ $\mathrm{F}$ 值で $10 \%$ の向上が見られた. また，グラフ情報の利用，ルールによる抽出結果の利用，辺の抽出結果の他の辺の抽出への利用が有効であることがわかった. 今後は, 辺の編集モデルの改善を行うとともに，本研究で取り組んだ辺の編集のみでなく節点も編集可能にすることで，任意のグラフを編集可能とし，グラフで表現可能な情報の抽出に対して一般に利用可能なモデルの作成を目指す.

## 参考文献

[1] Fenia Christopoulou, Makoto Miwa, and Sophia Ananiadou. Connecting the dots: Document-level neural relation extraction with edge-oriented graphs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pp. 49244935, 2019.

[2] Makoto Miwa and Mohit Bansal. End-to-end relation extraction using LSTMs on sequences and tree structures. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1105-1116, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Patrick Verga, Emma Strubell, and Andrew McCallum. Simultaneously self-attending to all mentions for fullabstract biological relation extraction. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 872884, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[4] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations (ICLR), 2017.

[5] Guoshun Nan, Zhijiang Guo, Ivan Sekulic, and Wei Lu. Reasoning with latent structure refinement for documentlevel relation extraction. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1546-1557, Online, July 2020. Association for Computational Linguistics.

[6] Fei Cheng, Masayuki Asahara, Ichiro Kobayashi, and Sadao Kurohashi. Dynamically updating event representations for temporal relation classification with multicategory learning. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1352-1357, Online, November 2020. Association for Computational Linguistics.

[7] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv:2004.05150, 2020.

[8] Makoto Miwa and Yutaka Sasaki. Modeling joint entity and relation extraction with table representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1858-1869, Doha, Qatar, October 2014. Association for Computational Linguistics.

[9] Shuai Ma, Gang Wang, Yansong Feng, and Jinpeng Huai. Easy first relation extraction with information redundancy. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3851-3861, Hong Kong, China, November 2019. Association for Computational Linguistics.
[10] Sheshera Mysore, Zachary Jensen, Edward Kim, Kevin Huang, Haw-Shiuan Chang, Emma Strubell, Jeffrey Flanigan, Andrew McCallum, and Elsa Olivetti. The materials science procedural text corpus: Annotating materials synthesis procedures with shallow semantic structures. In Proceedings of the 13th Linguistic Annotation Workshop, pp. 56-64, Florence, Italy, August 2019. Association for Computational Linguistics.

[11] S.B. Zhang, Y.P. Sun, B.C. Zhao, X.B. Zhu, and W.H. Song. Influence of ni doping on the properties of perovskite molybdates srmo1 - хnixo3 $(0.02 \leq \mathrm{x} \leq 0.08)$. Solid State Communications, Vol. 142, No. 12, pp. 671 - 675, 2007.

## A ルールベースの抽出器

合成手順コーパスの関係を抽出するためのルールベースの抽出器では, 記述されたルールに従い, ルー ルに適合するものに対して辺を接続する. 辺の種類は OPeration-OPeRation $\cdot$ OPeration-Material ・ その他の辺の 3 種類に分類してルールを定義する.ルールは節点ぺアの用語ラベルごとに出現順序と距離に合わせて定義する. 距離は用語ぺア間に存在する語の数で定義し, 文書をスペース区切りにすることで単語分割した。

## A. 1 Operation-Operation

Next_Operation : Operation-Operation の辺ラベルは, Next_Operation のみの一種類で, OPeRation の用語が出現した順番に，前から後ろへ NEXT_OPERATION の辺をつける.

## A. 2 Operation-Material

SOLVENT_MatERIAL $\cdot$ ATMOSPHERIC_MATERIAL $\cdot$ PARticIPANT_MATERIAL：これらのクラスについては，クラス毎に辞書を用意し, マッチした辞書に割り当てられたクラスの辺を MATERIAL と最近傍の OPERATION に対する辺を接続する。

ReciPe_Precursor $\cdot$ Recipe_Target : Solvent_Material, ATMOSPHERIC_MATERIAL, PARTICIPANT_MATERIAL の辞書に該当しない MATERIALをすべて, 実際に訓練データに存在する辺の数がより多い RECIPE_PRECURSOR のクラスの辺として最近傍の OPERATION に対して接続する。

## A. 3 その他の関係

PROPERTY_OF : PROPERTY-UNIT を始点とする場合では， PROPERTY-UNIT から文内で最も近傍に存在する MATERIAL に対して PROPERTY_OF の辺を割り当てる. PROPERTY-MISC を始点とする場合では, 文中で PROPERTY-MISC から最も近傍に存在する MATERIAL もしくは NONRECIPE-MATERIAL に対して接続する。

Condition_OF: すべての CONDITION-Unit と ConditionMisc から最近傍の OPERATION に対して, Condition_OF の関係を割り当てる。

NUMBER_OF : NUMBER から文内の後方で PROPERTY-UNIT $\cdot$ CONDITION-UnIT ・APpARATUS-UnIT に属する用語の内，最も近傍に記述されている用語に対して辺を接続する.

AMount_OF : AMOUNT-UNIT と AMount-UnIT から, MATERIAL と NONRECIPE-MATERIAL のうち, 文内で最近傍のものに対して辺を接続する。

DeSCRIPTOR_OF : MATERIAL-DesCRIPTOR から, 文内で最も近傍纪存在する MATERIAL もしくは NONRECIPEMATERIAL に対して, DESCRIPTOR_OF の辺を接続する. また, APPARATUS-DeSCRIPTOR からの関係では，SYntHESISAPPARATUS に対してのみ辺を接続する。

ApParatus_Of : (Synthesis-

APPARATUS|ChARACTERIZATION-APPARATUS)-OPERATION の辺では, SyNTHESIS-APPARATUS 及び ChARACTERIZATIONAPPARATUS から，前方で最も近傍に存在する OPERATION に対して辺を接続する. 前方に存在しない場合は, 後方で最も近傍に存在する OPERATIONに対して辺を接続する.

TYPE_OF : まず, PRoPeRTy-TYPE-ProPERTY-UNIT と, APPARATUS-PROPERTY-Type-ApPARATUS-UnIt については,
それぞれ文中で最も近傍に存在する単位に対して関係を割り当てる. CONDITION-TYPE-CONDITION-UnIT については, CONDITION-TYPE から文中の前方で最も近傍に存在する CONDITION-UNIT に関係を割り当てる。

BRAND_OF：Brand から前方で MateriaL・NONRECIPEMaterial $\cdot$ Synthesis-Apparatus $\cdot$ CharacterizationAPPARATUS のクラスの用語の内，文内で最も近傍に存在するものに対して辺を接続する。

APPARATUS_ATtr_OF:APPARatus-Unit から最近傍の) Synthesis-Apparatus もしくは CharacterizationAPPARATUS に対して辺を接続する。

COREF_OF：ルールを記述するのは困難であったため， ルールベースでは対象としない

## B クラスごとの抽出性能

ルールベースとルール十編集のクラスごとに算出した評価值を，評価データに対して算出したものをそれぞれ表 3 と表 4 に示した。

表 3 ルールベースの抽出器におけるクラス毎の抽出結果

表 4 ルール十編集におけるクラスごとの抽出性能