言語処理学会 第26回年次大会 発表論文集 (2020年3月)

無機材料文献からの合成プロセス抽出のための関係抽出
牧野 晃平∗1∗2∗1

國吉 房貴∗2∗3

小澤 順∗2∗3三輪 誠∗1∗2∗2豊田工業大学∗3

国立研究開発法人産業技術総合研究所
パナソニック株式会社{kohei.makino, kuniyoshi.fusataka, ozawa.jun, makoto.miwa}@aist.go.jp

1

はじめに

2

合成プロセスコーパス

材料開発の分野では，膨大な文献に記述されている

本研究では，合成プロセスに関連する用語と，プロセ合成プロセスの解析により，新材料の探索や開発にかスの進行などのプロセス内での用語間の関係がタグ付かる時間を短縮する技術が求められている．合成プロ

けされている國吉らのコーパス [2] を拡張し，関係抽出

セスは，一連の実験操作を示すための手順であり，複手法の検討を行う．

数の文に渡って記述されるのが一般的である．このよ

このコーパスでは，用語は，材料を示す Material・操

うな複数文にまたがる関係を考慮して，文献に直接タ作を示す Operation・付加条件を示す Property のグ付けしたコーパスが提案されている [1, 2]．本研究で3 種で定義され，Property についてはサブラベルとしは，このうち，文献中に記載された合成プロセスをフロて，時間条件を表す Property-Time・温度条件を表すーグラフとして文献上に直接タグ付けした，國吉らのProperty-Temp・回転速度条件を表す Property-コーパス [2] を対象とする．

Rot・圧力条件を表す Property-Press，その他の条

このようなコーパスを対象とした関係抽出には，文件 Property-Others の 6 種で定義されている．関間の関係を対象とした関係抽出手法が必要とされる．文

係はプロセスの進行を表す Next と条件付けを表す

間を考慮した関係抽出手法としては，データベースかCondition の 2 種の有向関係で定義される．

らの遠距離教師あり学習を対象に，文献レベルでの用本 研 究 で は， 上 記 の Material に つ い て， 出語ペアを抽出する手法がほとんどであるが，近年，深層

発 材 料 を 表 す Material-Start・ 中 間 生 成 物 を 表

学習を利用した文書に紐付いた記述レベルの用語ペア

す Material-Intermedium・ 最 終 生 成 物 を 表 すも利用できる手法が提案されている [3, 4]．

Material-Final・溶媒を表す Material-Solvent・

本論文では，無機材料分野における文間の関係抽出その他材料を表す Material-Others の 5 種のサブ手法について検討する．そのために，深層学習モデルラベルについて追加のタグ付けを行った．合成プロセとルールに基づくモデルの 2 つの関係抽出器を提案し，スの例を図 1に示す．

評価を行う．深層学習モデルは，文間を考慮した関係抽出において高い性能を示している BRAN [3] を参考

3に，近年の言語処理タスクの性能を大きく向上させた利用する関係抽出手法
本節では対象とする関係抽出モデルである深層学習

BERT [5] を用いて，関係抽出モデルを実現した．ルー

モデルとルールに基づいたモデルについて述べる．

ルに基づくモデルは，データからの知見をもとに単純3.1 深層学習モデルなルールを提案する．

深層学習モデルの関係抽出手法として，文間を考慮し実験では 2 つのモデルを國吉らのコーパスで評価した関係抽出手法の中で高い性能を示している深層学習た．深層学習モデルでは合成プロセス抽出の精度が十モデル BRAN [3] を参考にモデルを構築する．BRAN分に得られず，一方で，構築したルールに基づくモデルは遠距離教師学習の手法で，文をまたぐ関係を抽出するの方が高精度に関係を抽出できるとわかった．

ことを目的に提案された，Transformer [6] を用いたモデルである．作成したモデルは，BRAN の Transformer部を近年の様々な言語処理タスクで高い性能を示して― 1045 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

Next

Next

Material-start

1 Nitrates

Condition

LiNO3

Argument-others Material-start(99.9 % pure),

Condition

NaNO3

Next

Argument-others

Material-start(99.99 % pure) andNext

Condition

Argument-others

KNO3,

Operation

Condition(99.99 % pure) were melted

Condition

Argument-air

under dry conditions to remove

Next

Condition

2 Composites (1 - x)MeNO3-xAl2O3,

Condition

Argument-others

Operation

Next

Operation(Me = Li, Na and K) were prepared by mechanical treatment of the nitrates mixed

Nextwithstructural

Argument-others

andConditionadsorbed

Material-others

water.

Next

Next

Material-ﬁnal

Argument-others

Material-start

Condition

γ-alumina

Condition

Condition

Argument-others

Argument-others(99.9 % pure, specific surface area 270 m^2/g,

Next
Next
Condition

Condition

Argument-others

Argument-others

Condition

Condition

Operation

Argument-temp

Argument-time

obtained by thermal decomposition of bohemite) in an AGO-3 high-acceleration planetary mill for 2-3 min followed by sintering at temperature 10 degrees above the melting point of the corresponding nitrates

for 6-10 h.

図1 合成プロセスコーパスの例

いる BERT [5] に置き換える．また，遠距離教師学習で用いる．損失 L は，はなく教師あり学習を行い，用語ラベルは入力に付加

L=−し，用語抽出は行わない．

L ∑L ∑∑
l1=1 l2=1 r

まず，事前学習モデル BERT によって文章をサブワ

sl1,r,l2
tl1,r,l2 ∑r sl1,r,l2(5)ード単位のトークンに分割し，そのトークンを BERTと表せる．ただし，tl1,r,l2 は教師ラベルで，l1,l2 間にで特徴量化する．そしてそのトークン毎の特徴量に対しr の関係がある場合に 1，それ以外は 0 となる．て位置埋め込みを結合し，用語を構成するトークンの特3.2

ルールに基づいたモデル

徴量に最大値プーリングをして，トークン毎の特徴かルールに基づいたモデルでは，合成プロセスコーパ

ら用語毎の特徴にまとめる．このときその特徴量に対スにおいて用語のペアが与えられたとき，その用語クして，用語ラベルの情報を付与するため，用語ラベルのラスに対して定義したルールによって関係を抽出する．

埋め込みを結合する．その後用語が関係ラベルごとにルールは，訓練用データセットを観察し，関係の種類ごHead になる場合と Tail になる場合*1 のそれぞれの特とに用語間の距離と用語が出現した順序に基づいて定徴量を 2 層の全結合層（FC）によって計算する．この義する．ここでの用語間の距離は単語をスペース区切(head|tail)
とき，Head と Tail それぞれの特徴量 el∈ Rd(head|tail)りで分割した場合の単語数である．作成したルールはを計算するための全結合層 FCは，以下の通りである．

Operation → Operation (O-O): Operationehead= FChead (el )l(1)は操作する順に記述されていると仮定し，出現した順

etail= FCtail (el )l(2)番に関係をつなぐ．

Material → Operation (M-O): Material-と表される．ただし，用語毎の特徴量ベクトルは次元数を d として el ∈ Rd であり，l は用語の出現順番を表し，l = 1, . . . , L であり，L は文献中の用語の数である．
この Head と Tail になる場合の特徴量から，「関係なし」を含むそれぞれの関係のスコアを計算する．l = l1が Head，l = l2 が Tail が関係 r となるときのスコア

sl1,r,l2 は，sl1,r,l2 = ehead
Ar etail
l1l2で表される．ただし，Ar ∈ R

d×d(3)

距離に Operation が存在する場合は，前方に出現した Material を優先する．文内に Operation が存在しない場合，以降の文で Operation を探索し，最初に出現した Operation に対して関係をつなぐ．ただし，対象となる Operation が括弧で括られている場対して係っていると仮定し，括弧の直前の語のみをその Operation に接続するようにする．例えば，“Sam-用意した行列である．予測するクラスは(4)rとし，スコアが最も高いものを選択する．このモデルを学習するための損失関数には交差エントロピー損失を*1 関係の始点となる用語を Head, 終点を Tail と呼ぶ．

Operation に 対 し て 関 係 を 接 続 す る． 前 後 で同 一合，その Operation は括弧の直前の Material には関係ラベルごとに

arg max sl1,r,l2Start・Material-Solvent か ら 文 内 で 最 近 傍 のples were prepared from H3 BO3 , AL2 O3 , SiO2 andeither Li2 CO3 (dried at 200 degC).” という文が存在した場合，“Li2 CO3 ” のみを “dried” に接続し，ほかのMaterial は “dried” を無視して次の文を探索する．
Operation → Material (O-M): すべての操作が終了したときに最終生成物が生成すると仮定し― 1046 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

て，最後に記述されている Operation からすべて割合を示すカバレッジと精度を評価し，結果を表 2に示の Material-Final に対して関係をつなぐ．

した．この結果からほとんどのルールが関係抽出の性

Property-Others → Operation or Material能に寄与するように働いていることが確認できる．し(Po-OM): Property-Others から文内で最も近傍かし，O-M のルールについてはカバレッジが低く，精の Material もしくは Operation の用語に関係を度も低い．これは最後に述べられた Operation からつなぐ．ただし，Property-Others が括弧で囲まれMaterial-Final が生じるという仮定が誤っているている場合は，前方へ係ると仮定して前方への探索の場合があり，実際の文献には倒置や薄膜の合成のようみを行う．文内に Material もしくは Operation がな合成プロセス後に記述されるプロセスが存在してい存在しない場合は，その Property-Others は関係ることが要因であると考えられる．

を持たない用語とする．

次に，高い性能を記録したルールに基づくモデルに

Property → Operation (P-O): 英語論文では条ついて，國吉らの用語抽出器 [2] を用いたパイプライ件が後置されることが多いため，Property-Othersンでの抽出を評価した結果を表 1に示す．この結果よを除いた Property（Property-Time, Property-り，ルールに基づくモデルのパイプラインでの抽出性

Temp, Property-Rot, Property-Press）から前能はマクロ F 値 0.499 であった．他のモデルと比べ方へ探索し，文内・文間を問わずに最も近くに存在するてマクロ F 値が低い理由は，用語抽出器による用語Operation に対して関係をつける．の予測の誤りが関係抽出器に悪影響を及ぼすことが原因である．例えば，“An amount of LiNi0.8Co0.2O2

4 関係抽出手法の性能評価

powder was mixed with ground CoSO4*7H2O.” といまず 3 章で述べた深層学習モデルとルールに基づくう文に対して，國吉らの用語抽出器では “ground” をモデルの比較を行った．コーパスは國吉ら [2] の分割

Property-Others，正解は Operation となる．このと同様になるように分割し，訓練用 145 件，テスト用

とき Material-Start の “CoSO4*7H2O” に着目し49 件，開発用 49 件に分割した．関係ラベルごとの評て Operation の “mixed ” について考えると，パイプ価指標は F 値を用い，全体の評価値としてそれぞれのラインでは “ground” から “CoSO4*7H2O” に対するF 値を平均したマクロ F 値を用いた．評価はテスト用

Condition・“CoSO4*7H2O” から “mixed” に対すると開発用を合わせた 98 件で行った．深層学習モデルにNext が予測され，正解を与えると “CoSO4*7H2O” かついては 10 回学習させたときの平均値をスコアとし，ら “ground” に対する Next のみが正しく予測される．

誤差は標準偏差を用いる．深層学習モデルの訓練は訓練用データで訓練し，十分性能が飽和する 200 エポッ

5 抽出結果の解析ク学習した中で開発データに対するマクロ F 値が最大ルールに基づくモデルと深層学習モデルについて，実となったときのパラメータを最終的なパラメータとし際に関係抽出器が出力した結果を比較しその結果を解て扱った．最適化手法は Adam [7] を用いて，学習率を析した．図 1と同一の文章に対し，深層学習モデルとル0.0005，減衰率を 0.01 として学習した．

ールに基づくモデルそれぞれを用いて関係抽出した結評価した結果を表 1（上部）に示す．結果から，ルー果を，図 2と図 3に示した．深層学習モデルは実験したルに基づくモデルと比較して深層学習モデルは十分な10 回のうち，最も高いマクロ F 値を記録したモデルの抽出性能が得られていないとわかる．さらに，ルールそ結果を示す．

れぞれについて，予測時に適用されたルールの回数の表2 ルールそれぞれの評価
表1 それぞれの関係抽出器の抽出性能

Next
深層学習モデル
0.478 ± 0.008
ルール
0.860
パイプライン（ルール） 0.544

Condition
0.614 ± 0.007
0.916
0.454

マクロ F

0.546 ± 0.006
0.888
0.499

― 1047 ―

ルール

カバレッジ

精度

O-O
M-O
O-M
Po-OM
P-O

0.219
0.160
0.046
0.322
0.254

0.811
0.811
0.489
0.853
0.951

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

020/0004/devel/1-s2.0-0167273896002081-main
Orientation

Orientation

Orientation

Orientation

Orientation

Orientation

Orientation

Relation

Relation

Material-start

1 Nitrates

Relation

LiNO3

Argument-others Material-start(99.9 % pure),Relation

NaNO3

Argument-others

Material-start(99.99 % pure) andOrientation

Relation

Orientation
Relation

KNO3,

Orientation

RelationArgument-others

Operation

Argument-air

Argument-others(99.99 % pure) were melted under dry conditions to remove

structural

Argument-others Material-others

andadsorbed

water.

Orientation
Orientation

Orientation

Orientation

Orientation
Orientation
Orientation
Orientation

Relation
Relation

Material-ﬁnal

Orientation

RelationArgument-others

Orientation

Relation

Orientation

Operation

Relation

Orientation

Operation

2 Composites (1 - x)MeNO3-xAl2O3, (Me = Li, Na and K) were prepared by mechanical treatment of the nitrates mixed
RelationArgument-others

Material-start Argument-others

withγ-alumina

Argument-others

Argument-others(99.9 % pure, specific surface area 270 m^2/g, obtained by thermal decomposition of bohemite) in

Relation

Relation

Operation

Orientation

Argument-temp

Argument-time

an AGO-3 high-acceleration planetary mill for 2-3 min followed by sintering at temperature 10 degrees above the melting point of the corresponding nitrates

for 6-10 h.

図2 深層学習モデルの出力
Next

Material-start

1 Nitrates

Condition

LiNO3

Argument-others Material-start(99.9 % pure),

NaNO3

Condition

Next

Argument-others

Material-start(99.99 % pure) andNext

Next

Condition

KNO3,

Argument-others

Operation

Condition(99.99 % pure) were melted

Argument-air

Next

Material-ﬁnal

Condition

2 Composites (1 - x)MeNO3-xAl2O3,

Argument-others

Operation

Next

Operation(Me = Li, Na and K) were prepared by mechanical treatment of the nitrates mixed

Nextwith

structural
Next

Next

Material-start

Condition

γ-alumina

Condition

Argument-others

Condition

Argument-others

under dry conditions to remove

Argument-others

andCondition

adsorbed

Material-others

water.

Condition

Argument-others(99.9 % pure, specific surface area 270 m^2/g,

Next
Next

Condition

Argument-others

Argument-others

Condition

Condition

Operation

Condition

Argument-temp

Argument-time

obtained by thermal decomposition of bohemite) in an AGO-3 high-acceleration planetary mill for 2-3 min followed by sintering at temperature 10 degrees above the melting point of the corresponding nitrates

for 6-10 h.

図3 ルールに基づくモデルの出力結果を比べると，ルールに基づくモデルはほぼ正解

える深層学習を組み合わせて，倒置やプロセスの分岐を再現できていることがわかる．ただし，Operationなどの言語的情報が必要となる問題が解けるよう，その “mechanical treatment” と “mixed” に注目すると，れぞれの利点を活かして関係抽出を行うシステムの構「混合」された γ-alumina が「機械的操作」によって築を行う．

準備された，となるため，“mixed” から “mechanicaltreatment” への Next の関係が正解となる．ルール

参考文献に基づくモデルでは言語的情報を利用していないため[1] Mysore et al. The materials science procedural“mechanical treatment” から “mixed” への Next を

text corpus: Annotating materials synthesis pro-出力して誤っているが，深層学習モデルでは正解の関

cedures with shallow semantic structures. In Lin-係を出力できている．このように，ルールでは誤っていguistic Annotation Workshop, 2019.

るが深層学習が正解できている関係もあり，現在のル[2] 國吉ら. 学術文献からの無機材料合成プロセス抽出ールで利用している情報では不十分であり，網羅的にのためのグラフ表現. Technical report, 第 15 回テルールを記述するのは難しいことから，ルールと深層キストアナリティクス・シンポジウム, 2019.

学習を組み合わせて利用する方法についても検討する[3] Verga et. al. Simultaneously self-attending to all

必要があると考えられる．

mentions for full-abstract biological relation extraction. In NAACL-HLT, 2018.

6 おわりに[4] Christopoulou et. al.

Connecting the dots:

本論文では合成プロセスコーパスに対する関係抽出

Document-level neural relation extraction with

において深層学習モデルとルールに基づくモデルを提edge-oriented graphs. In EMNLP-IJCNLP, 2019.

案し，比較を行った．ルールに基づく関係抽出器が深層[5] Devlin et. al. BERT: Pre-training of deep bidirec-

学習を用いた関係抽出と比較して高い性能を示し，マtional transformers for language understanding.

クロ F 値 0.888 を記録した．しかし，ルールに基づくモIn NAACL-HLT, 2019.

デルと深層学習モデルの出力を比較すると，ルールベ[6] Vaswani et. al. Attention is all you need. In NIPS.

ースの関係抽出には抽出できる情報の限界があり，深層学習の方が正解できている点があることもわかった．

2017.
[7] Kingma et. al. Adam: A method for stochastic

今後の課題として，高性能なルールと言語的情報を扱― 1048 ―optimization. In ICLR, 2015.

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.