言語処理学会 第26回年次大会 発表論文集 (2020年3月)

無機化合物を対象とした論文に対する化学物質名抽出システムの性能分析
町 光二郎 1 吉岡 真治 2北海道大学工学部
北海道大学大学院情報科学研究院, 大学院情報科学院, 国際連携研究教育局 GSB,創成研究機構化学反応創成研究拠点（WPI-ICReDD)
machi@eis.hokudai.ac.jp, yoshioka@ist.hokudai.ac.jp
1

2

はじめに1

コーパスの作成 [7] や、そのコーパスを用いた自動情報抽出システムの構築 [6] を行なってきた。[6] では、近年、論文からの知識発見の研究が盛んとなり、化当時の研究として、認識性能が高いと考えられてい学分野においても、論文からの化学物質に関する記述たコーパスからの機械学習を用いた ChemSpot [5] をを抽出する化学物質名抽出（Chemical Named Entity

CNER システムとして使用したが、コーパスに存在しない無機材料などの再現率が低いという問題が指摘されていた。

Recognition: CNER）システムの研究が行われている。この研究の初期段階では、辞書やパターンをベースにしたシステム [1] の開発もあったが、近年は、コーパスを用いた機械学習によるシステムが、非常に高い認識性能を持つ様になってきている [2]。しかし、このコーパスの作成には、多大なコストがかかるため、大規模なものは限られた数しか存在しないだけでなく、その分野が生命医化学の分野に限られている [3, 4]。そのため、これらのコーパスからの機械学習をベースとしたシステム [5] を用いて、無機化合物を扱う分野を対象とした論文に対する化学物質名抽出を行う場合に、コーパスに存在しない無機化合物に関する再現率が低いという問題があった [6]。これに対し、近年のニューラル言語モデルをベースにしたシステムとサブワードによる単語分解の枠組が導入されることにより、システマティックに記述されることの多い化学物質については、コーパスに存在しなくても、抽出可能なケースが増えているのではないかと考えた。
本研究では、生命医化学の分野で学習したニューラル言語モデル CNER システムを用いて、無機化合物を扱った論文に対して抽出実験を行い、結果の分析を行った上で、その有用性について検討する。

2.2

ニューラル言語モデル

近年、固有表現抽出の分野では、Bidirectional-LongShort-Term Memory (BiLSTM) と CRF を組み合わせた BiLSTM-CRF [8] や、双方向 Tranformer を使用した汎用言語モデルの BERT [9] などの、ニューラル言語モデルを利用したものが高い成果を挙げている。
ニューラル言語モデルの利点として、次のようなことが考えられる。
• 入力を時系列データとして処理することで、コンテキストを考慮した抽出が期待できる。
• 最小単位として単語やサブワード、文字を使用することで、抽出したい固有表現によく見られる特徴を捉え、コーパスに含まれていない固有表現や、記法が異なるものの抽出が期待できる。
また、事前学習時に大量の文書データを用いることにより、用意したコーパスに含まれないような表現でも、ある程度対応することが期待できる。

2

既存の化学物質名抽出システム

2.1予備的検討

本研究では、BERT の一種である BioBERT [2] を抽出システムとして使用した。

我々は、これまでにナノ結晶デバイス開発の分野を対象として、論文からの実験情報の抽出を目標とした― 1169 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

2.3

BioBERT

3.3

実験

BioBERT は、BERT を一般的な文（Wikipedia）で事前学習済みの BioBERT1 を、生命医学の論文アブ事前学習した後、追加で、生命医化学の分野の文章ストラクトからなるコーパス CHEMDNER [3] を用（PubMed+PMC）で再度事前学習を行なったものでいて学習を行ない、評価データに対して化学物質名のある。入力のためのサブワードは、WordPiece [10] が抽出を行なった。BioBERT では、固有表現抽出を行用いられている。図 1 のように、事前学習後に Fine-うために、コーパスを CoNLL フォーマットにする必tuning をすることで、様々なタスクに応用できる。

要があるが、学習には、変換済みのデータ2 を使用し、固有表現抽出を行う場合は、一文ごとに WordPiece

評価データは、既存の手法3 で変換を行なった。

でトークンに分割し、それぞれのトークンについて、IOB ラベルの予測を行う。

3.43

無機化合物を対象とした抽出実験

3.1

目的

結果と考察

抽出結果は、単語中の部分文字列として与えられる
ため、正解とする化学物質名との比較においては、語の境界まで完全に一致している完全マッチと、語の境界については誤っているが化学物質名の記述が存在す

2.1 節に記述したように、[6] では、主に訓練用のることは認識可能な部分マッチという二つのレベルのコーパス不足のため、無機化合物の化学物質名に関す判定基準を用いて評価を行う。表 2 に、これらの二つる再現率が低かった。これに対し、2.3 節で紹介したの基準で評価を行った結果についての精度、再現率、BioBERT では、無機化合物に関する多くの Wikipedia

F 値を示す。また、無機化合物名の記述スタイルによ記事を事前学習に利用するといった対策が行われており、抽出性能が異なる可能性があるかどうかを検討す

り、無機化合物に対しての認識性能の向上が期待さるために、異なり数の再現率についても、表 3 にまとれる。

めた。

そこで、本研究では、生命医化学の分野のコーパス

表 2 を見ると、再現率にやや問題があるようにも判で学習した最先端のモデルを、無機化合物を扱う分野

断できるが、表 3 を見ると、コンテキストに依存してに対して利用し、どの程度機能するかを調べ、今後の抽出に失敗している場合があるものの、論文中の一部利用可能性について検討する。

では、化学物質名として抽出されていることが確認された。このような再現率の向上は、3.1 節で議論した3.2ことによるものであると考えられる。

評価データの作成

表 2: 抽出システムによる抽出結果

評価データには、[7] のナノ結晶デバイス開発分野

完全マッチ

部分マッチの論文 5 件を用いた。このコーパスは、化学物質名論文

精度

再現率

F値

精度

再現率

F値

（SMaterial) や物質の特性（MChar）、実験パラメー

10.82

0.890.850.910.980.95

タ（ExP）などについてアノテーションされており、20.760.820.790.900.970.93

今回は、化学物質名にあたる SMaterial を対象とした。

30.810.920.86

0.89

1.000.94

しかし、SMaterial の中には、族に関する表記（「III」

40.890.960.920.93

1.000.96や「V」など）や、固有表現の境界を間違えているも

50.87

0.950.91

0.92

1.000.96の、明らかに化学物質名ではないものが一部含まれて全体0.840.920.880.910.990.95いたので、評価データから除去した。
抽出結果と正解データを比較すると、次の 2 つの特

その結果、表 1 のようなデータを得られた。
表 1: 各論文における化学物質名の数
論文
12345total
延べ数12610162180

164636

異なり数171713231840

徴が見られた。

1 https://github.com/dmis-lab/biobert
2 https://github.com/cambridgeltl/
MTL-Bioinformatics-2016
3 https://github.com/spyysalo/standoff2conll― 1170 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

BioBERTのFine-tuning

BioBERTの事前学習

タスク用
データセット

タスクごとにFine-tuning

固有表現抽出

固有表現抽出の場合

関係抽出

For the MnAs growth ...
O O
B
O ...

重みの初期化
追加の事前学習

BERTfromDevlin et al.

BioBERTPubMed+PMC

質問応答

図 1: BioBERT の概観
表 3: 各論文における異なり数の再現率
文書
12345
全体
完全0.94

0.94

0.92

1.00

0.94

0.97

部分

1.00

1.00

1.00

1.00

1.00

1.00

... diluted in H2 were used as group III and V
source materials.
The Tg and the V/Mn ratio were 650 °C and1125, respectively.

図 4: 論文 2 における「V」の判別• 分野特有の記法に対して、境界を間違えることがある（図 2）。

ものである。もしくは、この分野において、多くの場• 論文全体を見れば容易に判別できるものを間違えることがある（図 3、図 4）。

予測: p[(CH3C5H4)2Mn],

InP (111)B

正解: p[(CH3C5H4)2Mn],

InP (111)B合、「V」が V 族という意味で使われるという知識があれば間違えにくいとも考えられる。

3.5

無機化合物名抽出における有用性

今回の実験で、論文 5 件という少ない量のコーパ
スではあるが、ニューラル言語モデルを用いた最新の

図 2: 分野特有の表記に関する誤り

CNER システムは、従来の生命医化学の分野のコーパ

図 2 の「p[(CH3C5H4)2Mn]」や「InP (111)B」は、実験のパラメータや、物質の特性を表す記法である。
生命医化学とは異なる分野において用いられるが、生命医化学の分野であまり現れない記法については、学習データが不足しているために、化学物質名の語の境界を誤ることが多いことが確認された。

スのみを利用していたシステムに比べて、無機化合物を対象とした論文からも、非常に高い性能で、化学物質名の抽出ができることが確認された。しかし、分野特有の記法などを考慮した語の境界の認定や、論文全体を考慮した一貫した化学物質名の抽出という観点からの問題があることも確認された。今後は、これらの問題に対して、論文全体を考慮することで、一貫した抽出結果を得るようにする後処理について検討をして... by the ones under the external magnetic fields
H applied at θ and ... .

いきたい。

... in which H was always applied in ... .

具体的には、• 分野に関する知識をもとに、いくつかのパターン

図 3: 論文 2 における「H」の判別によって判別する。
図 3 の「H」は、論文 2 の中で、磁場の強さという意味で用いられている。最初に書かれた文では抽出• 3 値分類「化学物質名である・化学物質名ではなされていないが、それ以降は、抽出されてしまっていい・どちらの場合もある」をする学習器を作成し、た。これは、BioBERT が文ごとに抽出を行なっておどちらの場合もあるものについては、その都度人り、論文全体の情報を考慮できないためであると考え手で判別する。

られる。

このような処理を加えることにより、主に有機化合図 4 の「V」は、バナジウムとも V 族という意味と物を扱うコーパスで学習した抽出システムでも、無機も取れるが、これも、論文全体を見れば、判別がつく― 1171 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

化合物を扱う分野で利用することは、十分期待できる[5] Tim Rocktäschel, Michael Weidlich, and Ulfと考えられる。

Leser. Chemspot: a hybrid system for chem-

また、この様に作成した抽出結果を含むデータを、ical named entity recognition. Bioinformatics,

論文データベース [11] として、実際に分野の専門家に提供するとともに、確認をしてもらうことで、分野に特化したコーパスの作成についても検討していきたい。

Vol. 28, No. 12, pp. 1633–1640, 2012.
[6] Thaer M. Dieb and Masaharu Yoshioka. Extraction of chemical and drug named entities
by ensemble learning using chemical NER tools

4

based on diﬀerent extraction guidelines. Trans.

おわりにMLDM, Vol. 8, No. 2, pp. 61–76, 2015.
ここまで、主に有機化合物を扱うコーパスで学習した化学物質名の抽出システムが、主に無機化合物を扱[7] Thaer M. Dieb, Masaharu Yoshioka, and Shin-

う分野において、どの程度機能するかについて実験を

jiroh Hara. Nadev: An annotated corpus to sup-行なった。その結果、論文 5 件という少ない数ではあport information extraction from research pa-るが、十分機能することが確認できた。

pers on nanocrystal devices. JIP, Vol. 24, No. 3,pp. 554–564, 2016.

今後は、後処理の方法を検討するとともに、分野の専門家に論文データベースを提供し、その有用性を示[8] Zhiheng Huang, Wei Xu, and Kai Yu. Bidirec-

すことで、抽出結果を確認してもらう予定である。

tional LSTM-CRF models for sequence tagging.
CoRR, Vol. abs/1508.01991, , 2015.

謝辞[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee,et al. BERT: pre-training of deep bidirectional

本研究の一部は、JSPS 科研費 19K22888 の助成

transformers for language understanding. InProceedings of the 2019 Conference of the Northと北海道大学創成研究機構化学反応創成研究拠点（ICReDD）の支援を受けた。ここに記して謝意をあAmerican Chapter of the Association for Com-らわす。

putational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN,USA, June 2-7, 2019, Volume 1 (Long and参考文献

Short Papers), pp. 4171–4186, 2019.

[1] David M. Jessop, Sam E. Adams, Egon L. Willighagen, et al. OSCAR4: a flexible architecture[10] Yonghui Wu, Mike Schuster, Zhifeng Chen,et al.

for chemical text-mining. J. Cheminformatics,

Google’s Neural Machine Transla-tion System: Bridging the Gap between Hu-Vol. 3, p. 41, 2011.

man and Machine Translation.
abs/1609.08144, , 2016.

[2] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim,
et al. BioBERT: a pre-trained biomedical language representation model for biomedical text

CoRR, Vol.

[11] 吉岡真治, 尹磊, 原真二郎ほか. 専門用語の知識mining. Bioinformatics, 09 2019.

保全エコシステムを有するインハウス論文・図表
データベースの構築. 言語処理学会第 25 回年次[3] Martin Krallinger, Obdulia Rabal, Florian Leitner, et al. The CHEMDNER corpus of chemi-

大会発表論文集, B4-7, 2019.

cals and drugs and its annotation principles. J.
Cheminformatics, Vol. 7, No. S-1, p. S2, 2015.
[4] Corinna r, Roman Klinger, Christoph Friedrich,et al. Chemical names: Terminological resources
and corpora annotation. pp. 51–58, 01 2008.

― 1172 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.