言語処理学会 第26回年次大会 発表論文集 (2020年3月)

超伝導材料に関する固有表現コーパスの構築
山口京佑 1

佐々木裕 1

旭良司 21211

豊田工業大学株式会社 豊田中央研究所{sd19453, yutaka.sasaki}@toyota-ti.ac.jp, 2 rasahi@mosk.tytlabs.co.jp
terialia のキーワードリスト*1 を参照し，専門家がそはじめにれを修正することで最終的な用語ラベルを定義した．

近年，物質科学分野においてマテリアルズインフォ

元のキーワードリストは Synthesis/Processing, Char-マティクス (Mateirals Infomatics: MI) の研究が活発

acterization, Material Type, Property/Phenomena,化している．この背景として，多くの材料研究者が機械

Theory/Computer Simulation/Modeling の 5 つの用学習を活用した新規材料探索の効率化を目指している語ラベルで構成される．今回はここから修正を加え，以ことが挙げられる．新規材料探索に際しては，材料組成下に示す 7 つの用語ラベルを定義した．

や適切なドーピング，プロセス条件を選択する必要が■Characterization: 本 ラ ベ ル は “X-ray diffrac-あり，コストが大きく多大な時間を要するという問題

tion (XRD)” や “scanning electron microscope点がある．こうした探索を手探りで行っていた従来の(SEM)” などの分析手法に関する用語を対象とする．

開発プロセスを MI により変革することが期待されてこの情報は Element や Property との関係を見る上でいるが，現状として利用可能なデータセットはごく少重要である．

数に限られている [8]．

■Process: 本 ラ ベ ル は “sol-gel” や “calcination”，

物質科学において超伝導材料は重要な材料の 1 つで“AC/DC sputtering” などの合成・プロセスに関すある．銅酸化物系の高温超伝導体 [1] が発見されて久しる用語を対象とする．これは密度汎関数理論 (Density

いが，実応用に向けては転移温度や臨界磁場がより高Function Theory; DFT) などの理論シミュレーショ

く，加工しやすい材料が必要とされている [6, 4]．材料

ンからは得ることが困難かつ物質科学に重要な情報で探索においては，研究方針を決定するために専門家がある．

大量の文献を調査している状況であり，超伝導材料探■Property: 本ラベルは “electrical conductivity”,索の効率化を妨げる要因となっている．

“mechanical hardness”, “electron-phonon coupling”,

本研究では，超伝導に関する学術文献からの固有表現“Fermi surface” などの材料特性や物性理論に関する用抽出を行うための文献コーパスを作成し，解析を行った．

語を対象とする．元のキーワードリストにおいて，材料また，作成したコーパスを元に固有表現認識 (Named

特性と理論はそれぞれ別の用語ラベルとして分類されEntity Recognition; NER) モデルの学習を行った結ているが，場合によってはこれらの識別が難しいため，果，F 値が 77% となり人手に迫る精度であることが明本研究ではこれらをまとめて Property とした．

らかとなった．

■Material: 本ラベルは “tetragonal crystal sym-2metry” や “bulk/film”，“grain boundary” などの構造用語ラベルの定義に関する用語を対象とする．これらは Element に関す学術文献に対して注釈付けを行うにあたり，物質科る付加情報を得る上で重要である．

学の専門家の意見を参考に用語ラベルを検討した．元■Element: 本 ラ ベ ル はとなる用語ラベルとしてレタージャーナル scripta ma-“YBa2 Cu3 O7 ” と い っ た 元 素 や 化 合 物 を 対 象 と す“Ti”,“oxygen”,*1 https://www.elsevier.com/__data/promis_misc/

SMM%20Keywords.pdf― 804 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

/2019/MI1000v3/0922
EDopingE

Element

Value

ValueValue

ValValue

Material

Process

1 The effect of Ca substitution in Ba site of Y(Ba1− x Ca x )2Cu3O7−δ, (x =0.00, 0.04, 0.08, 0.1 and 0.125), ceramics prepared by thermal treatment method was investigated.
Material

Material

Property

Characterization

CharCharacterizationC

2 Surface morphology, structural and superconducting were studied using field emission electron microscope (FESEM), X-ray Diffraction (XRD) and four-probe method.
CharMaterial

PropertyE

Doping

3 FESEM analysis showed an increasing of samples’ grain size, homogeneity and compactness with increasing of Ca substitution.
CMaterial

Material

MaterialMat

4 From XRD, the samples had orthorhombic crystal structure of space group Pmmm besides small amount of unknown peaks.
Property

Property

ValVal

Value

Value

5 The critical temperature (Tc R=zero ) decreased from 87K for the pure sample to 80K for sample with x =0.08, and it remained the same for samples with x ⩾0.08.
Value

Property

Prop

Material

Material

Material

6 Sample with x =0.04 showed the sharpest superconducting transition (ΔT c), which could be due to good microstructure morphology and better crystallinity.

図1

注釈付けの例

る．本ラベルに属するエンティティは化学式で表現で文献数きるため，Material と厳密に区別される．

文数■Doping: 本ラベルは “doping”, “substitute”, “ad-トークン数

dition” などのドーピング操作を表す用語を対象とす

1 文献当たりの平均文数

6.64

る．ドーピング操作は材料特性に与える影響が大きく

1 文当たりの平均トークン数30.9

重要な情報である．

用語ラベル■Value: 本ラベルはドープ量や転移温度といった定Char.

1,789

Material

6,953

Property

15,129Element

9,526

Doping2,565

Process

2,173

Value

4,202

量情報を対象としている．

3 コーパス作成の流れ
ここでは，文献データ収集から注釈付けまでの流れについて説明する．本研究では注釈付け作業を 2 回に分けて実施した．1 回目の作業時は実験的に 200 件の抄録を収集し，専門家による注釈付けを行いながら用

6,639
204,884

出現回数

表1 コーパス概要

語ラベルの妥当性を検証した．2 回目の作業時はより大きなデータを扱うため，800 件の追加抄録に対して注釈付けを行った．この際，作業者への負担を考慮し，既にラベルが明らかとなっている用語についてはパターンマッチングに基づく注釈付けを実施し，その後に人手による注釈付けを行った．図1に注釈付けの例を示す．

4 コーパス解析
ここでは作成したコーパスの概要情報と作業者間一致率について説明する．

4.1

1,000

コーパス概要ラベル

適合率 (%)

再現率 (%)F 値 (%)

Char.

84.4 ± 8.3

88.3 ± 6.2

86.3 ± 7.2

Material

82.0 ± 6.4

65.6 ± 7.0

72.9 ± 6.8Property

74.5 ± 3.0

71.8 ± 5.2

73.0 ± 3.2

Element

82.3 ± 1.0

79.8 ± 3.2

81.0 ± 1.6Doping

97.0 ± 0.4

75.2 ± 9.7

84.4 ± 6.2

Process

81.0 ± 7.1

78.4 ± 5.0

79.7 ± 6.0

Value

73.8 ± 3.7

89.1 ± 6.5

80.7 ± 4.9

全ラベル79.8 ± 2.1

75.3 ± 2.0

77.5 ± 1.9

表2 注釈付け一致率

表1に 作 成 し た コ ー パ ス の 概 要 を 示 す． 下 表
か ら Material, Property, Element の 用 語 が 頻
出 し て お り，Process と Doping, Value に つ い4.2

作業者間一致率て も 一 定 数 取 れ て い る こ と が 分 か る． 一 方 で2 回目の注釈付けについて，作業者間での注釈付けCharacterization (Char.) に関しては比較的出現の一致率を評価した．同一の 10 件の抄録について，4回数が少ない結果となったが，5.3節で述べる通り，モ人の作業者にそれぞれ相談なしで注釈付けを行ってもデルを学習する上では問題ない数である．

らい，また 1 回目の注釈付けを行った専門家も同様の― 805 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

ラベル

適合率 (%)

再現率 (%)F 値 (%)

Char.

78.0 ± 4.2

77.1 ± 4.2

77.4 ± 3.3

Material

75.2 ± 6.8

73.8 ± 2.6

74.3 ± 4.2

1Property

73.4 ± 3.8

68.9 ± 1.271.1 ± 2.10.95

Element

84.2 ± 2.486.9 ± 2.085.5 ± 2.10.9

Doping96.0 ± 2.8

96.4 ± 1.5

96.1 ± 1.8

Process

73.9 ± 8.7

72.9 ± 5.3

73.3 ± 6.7

Value80.7 ± 3.9

63.5 ± 7.8

70.9 ± 5.6

全ラベル78.4 ± 3.7

75.4 ± 1.8

76.8 ± 2.5

Characterization
Element
Value

Material
Doping
Total

Property
Process

micro-F値

0.85
0.8
0.75
0.70.65

表3 SciBERT NER の精度

0.60.55
0200

400

600

800

1,000

訓練文献数

10 件に対して注釈付けを行った．結果を表2に示す．ス

図2 用語ラベル別の学習曲線

コアは各作業者と専門家の間での一致率を計測したもので，用語のスパンとラベルが完全に一致しているかを基準としている．結果から作業者間でのバラつきと比較すると，用語ラベル毎の一致率にバラつきが出ていることが分かる．具体的には，Characterizationと Doping には高い一致率がある一方で，Material とProperty については区別が難しく注釈付けが曖昧になる場合があるため，一致率が比較的低い傾向がある．
識別が難しい用語の例として “anisotropic” と “order”などが挙げられる．こうした場合，作業者は分野の知識に基づいて文脈を考慮する必要がある．
更に評価指標として Fleiss の κ 係数を計算し，専門家の注釈とは独立した 4 人の注釈者間の一致率を測定した．スコアは BIO ラベルに基づくトークンレベルで算出し，4 人の作業者の全員のペアの組み合わせが考慮されている．結果として κ 係数は 83.1% となり，比較的高い一致率であることが分かった．

使用した．今回実験に用いたモデルは SciBERT の研究チームが提供している NER モデルで，SciBERT の単語埋め込みベクトルを入力とし，Bi-LSTM→CRF と続くモデル構成となっている．CRF 層における出力はIOB2 フォーマットであり，ハイパーパラメータは既定で設定されているものを適用した．またデータの前処理として，ネストした用語ラベルを取り除く処理を施した．

5.2

NER モデルの精度

10 分割交差検証により，モデルの評価を行った．モ
デル訓練時には，SciBERT モデルパラメータは固定とし，Bi-LSTM と CRF のみで学習を行った．評価結果を表3に示す．表中のスコアは学習モデルの 10 回平均と標準偏差を表している．全ラベルを通した一致率については，人手による注釈付けの一致率に匹敵する精2 回目の注釈付け作業の後，800 件の注釈付けについて作業者全員で再検討し，必要に応じて修正を加えた．
このため最終的なコーパスの注釈付け一致率は表2のスコアよりも高くなっている点に留意されたい．

度であり，実用レベルの精度であることが確認できた．

5.3

学習曲線

今回使用した訓練データの数が十分であるか確認するため，訓練データの数を 100 件から 900 件まで 100 件ずつ変化させた際のモデル精度の変化を調査した．結果

5 NER モデルの構築
5.1

である SciBERT [2] をベースとした NER モデル*2 をを図2に示す．図中のプロットは各学習件数における 10

実験設定

回平均と標準誤差を表しており，訓練件数が増えるに

近年，Bidirectional Encoder Representations fromTransformers (BERT) [3] が様々な自然言語処理タスクで使用されており，高い精度を出している．本研究で従ってスコアが上昇していることが分かる．900 件で学習した場合，Doping, Characterization, Property

は科学分野の大規模な文献で学習された BERT モデル― 806 ―

*2 https://github.com/allenai/scibert

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

のスコアが飽和している一方で，Process をはじめとするその他の用語ラベルについてはスコアが上昇し続ける結果となった．また Characterization について
は，4.1節で述べたようにコーパス全体での出現回数はドキュメント検索システムの構築を検討している．

参考文献[1] J.G Bednorz and K.A. Müller.

Possible

少ないが，スコアが飽和しているため問題ないと言えhightc superconductivity in the ba-la-cu-o sys-る．しかしその一方で，人間の作業者の一致率を大きく

tem. Zeitschrift für Physik B Condensed Matter,

下回っており，モデル自体の性能については改善の余Vol. 64, No. 2, pp. 189–193, 1986.

地がある．

[2] Beltagy et al.

SciBERT: A pretrained lan-guage model for scientific text. In Proceedings6 関連研究

of EMNLP-IJCNLP, pp. 3613–3618, 2019.

物質科学分野における NER コーパスとして，[9, 7, 5][3] Devlin et al. BERT: Pre-training of deep bidirec-がある．文献 [9] では，材料名，材料特性など，本研究tional transformers for language understanding.と類似する用語ラベルを対象としている一方で，一般

In Proceedings of NAACL, pp. 4171–4186, Min-的な無機材料を対象としている点，定量情報を扱って

neapolis, Minnesota, 2019.

いない点が本研究と異なる．参考までに作業者間の注[4] Foltyn et al.

Materials science challenges for

釈付け一致率は 87.4% であった．文献 [7] は，材料物

high-temperature superconducting wire. Nature

質の合成プロセスをイベントとして抽出するコーパスMater., Vol. 6, pp. 631–642, 2007.

である．ここでは，論文中の実験の章を対象としている[5] Foppiano et al. Proposal for automatic extraction

ため，超伝導に関連する広範囲を扱う本研究の目的に

framework of superconductors related informa-は適していない．作業者間の一致率は 20.5–97.1% であtion from scientific literature. Letters and Tech-り，これは用語ラベルに大きく依存している．文献 [5]nology News, Vol. 119, No. 66, pp. 1–5, 2019.

は本研究と同様の超伝導材料に関する情報抽出を目的[6] Malozemoff et al. High-temperature cuprate su-としている．この研究では 5 つの論文に対して材料名

perconductors get to work. Physics Today, Vol.と転移温度に注釈付けを行い，これらの用語ペアを取得

April, pp. 41–47, 2005.

している．しかしながら，本研究の実験結果から 1,000[7] Mysore et al. The materials science procedural

件程度の文献データが必要であることが明らかとなり，

text corpus: Annotating materials synthesis pro-

データ数が十分とは言えない．

cedures with shallow semantic structures.
[8] Ramprasad et al. Machine learning in materials

7 おわりにinformatics: recent applications and prospects.

本研究では，超伝導に関する固有表現抽出を目的とした注釈付きコーパスの構築を行った．本コーパスは

npj Comput. Mater., Vol. 3, p. 54, 2017.
[9] Weston et al.

Named entity recognition and

基板材料やプロセス情報だけでなく，ドーピングや定normalization applied to large-scale information

量情報などを対象としており，より実用的な内容となextraction from the materials science literature.っている．コーパスの解析を行ったところ，作業者間

Journal of chemical information and modeling,一致率は約 75–85% となり，MI 関連の他のコーパス

Vol. 59, No. 9, pp. 3692–3702, 2019.

[9, 7] と比較的類似する結果となった．また，SciBERTをベースとする NER モデルを構築した結果，F 値が約77% となり，人手による注釈付け一致率に迫る精度を実現した．さらに，訓練データ数を変化させた学習曲線から，コーパスサイズが十分であることが明らかとなった．今後の研究方針として，関係抽出や文書要約などでの活用，新規超伝導材料探索を支援する用語および― 807 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.