# BiomedCurator：医学・生物学文献からの構造化データ 抽出のためのデータキュレーションシステムの開発

Mohammad Golam Sohrab $^{1}$ Khoa N. A. Duong ${ }^{1}$ 池田修己 ${ }^{1}$ Goran Topić $^{1}$
夏目やよい ${ }^{2}$ 黒田 正孝 ${ }^{2}$ 伊藤 眞里 ${ }^{2}$ 高村 大也 ${ }^{1}$
1 産業技術総合研究所 人工知能研究センター
2 医薬基盤・健康・栄養研究所 $\mathrm{AI}$ 健康・医薬研究センター
}

\{sohrab.mohammad, goran.topic, ikeda-masami, takamura.hiroya\}@aist.go.jp

\{natsume, m-kuroda, mari\}@nibiohn.go.jp
## 概要

医学・生物学分野の論文から，事前に選択した属性（疾患，投与薬剤，投与量，投与期間，被験者の年齢，結果など）に関する情報を，構造化データとして抽出するキュレーションシテム BiomedCurator のを開発を行なった。本システムは，関係抽出のためのテキスト生成モデル，エンティティ認識，テキスト分類モデル，知識ベース上のエントリからの情報検索とエンティティ・リンキング，パターンに基づく複数属性の情報抽出を行う自然言語処理アプロー チによって構成されている. BiomedCurator はウェブサイト (https://biomed-text.airc.aist.go.jp/ biomedcurator/）において公開している.

## 1 はじめに

医学・生物学分野の論文や臨床試験の報告書には，適用された薬，対象疾患，投与量，投与期間，被験者の年齢，結果などの情報が提供されている. これらの情報は, 創薬や医薬品開発のためのデータマイニングや統計分析に有用であり，通常は専門家が論文を読んで抽出し, 図 1 に示すような属性と值が対応づけられた 2 次元のスプレッドシート形式の構造化データを手作業で作成している. 本稿では, このような構造化データを自動生成（以下，データキュレーション）するシステムを提案する。

データキュレーションのタスクには，エンティティ認識，エンティティ・リンキング，関係抽出， テキスト分類など，さまざまな自然言語処理技術を用いたアプローチが必要となる．また，このタスクの特徴は，訓練データとなる，人間の専門家によってキュレーションされたデータがスプレッドシー 卜形式で提供される一方，抽出すべき情報が論文中
のどこの位置に記述されているかが明示されない. したがって，通常のエンティティ認識の学習データとは異なり，BIO タグは注釈されていない。また， キュレーションされたデータ中では，元の論文と異なる用語や表現が使われている可能性がある.

本稿では，これらの技術的課題を 2.2 節で述べる手法で解決する. さらに，特に肺疾患に関するドメインについて手法を実装し，ユーザーが指定する PubMed ID あるいは ClinicalTrials.gov ID に該当する文献から，61 個の属性を自動データキュレーションするシステム BiomedCurator について報告する。

## 2 関連研究

テキストマイニングを使用した医学・生物学情報の検索をサポートする方法およびウェブツールがいくつか提案されている. 例えば, エンティティ情報の抽出を文書レベルで行う際に，生成的アプロー チを採用したものなどがある [1]. 文のエンコードから文書レベルのグラフを作成し，グラフのエッジ表現から文書レベルの関係を抽出する方法 [2] や,文書レベルの $n$ 項関係を獲得する手法 [3] などが提案されている. また, pubmedKB [4] は, バリアン卜, 遺伝子, 疾患, および化学物質という 4 つの医学・生物学エンティティタイプ間のセマンティックな関係を抽出して視覚化するウェブサーバであり, 多数の PubMed 抄録から意味関係の抽出が可能である。構造化された関係タプルを抽出するための文節抽出とメタパターン発見を組み込んだ CPIE (Clause+Pattern-guided Information Extraction) フレー ムワーク [5] や，BERT ベースの言語モデルを使用した遺伝子-疾患の関係抽出手法 [6], 文献から遺伝子型-表現型の関係抽出のためのパイプライン [7] が提案されている.

図1スプレッドシート形式の構造化データの例. 1 行目はカテゴリ，2 行目は属性を示す.

図 2 BiomedCurator のワークフロー，入力された PubMed あるいは ClinicalTrials.gov の IDをもとに，(a)から (d) のプロセスを通じて解析し, 各属性の值として出力する. プロセス (c) の結果の一部は再利用され，他の属性を予測する入力機能として再結合されることを示す.

本稿で対象とするデータキュレーションでは，エンティティ抽出，関係抽出，エンティティリンキングなどに基づくより幅広い情報の抽出を行う.

## 3 提案システム

データ（3.1 節)，キュレーションのための 5 つの主要な手法 (3.2 節), そのウェブアプリケーション （3.3 節）の順で詳述する.

## 3.1 データセット

ここでは，肺がん，特発性肺線維症（IPF），間質性肺炎（IP）と線維症について過去 5 年間に発表された無料でアブストラクトと本文が入手可能な PubMed の論文を選択した。抽出する情報を 11 個のカテゴリに分類し，さらにサブカテゴリに分割して合計 61 個の属性を設けた. これらの属性は創薬の経験を持つ薬理学者がキュレータの生物学者との話し合いの中で決定した. 次に，手作業でキュレー ションを行なった. キュレーションには生物学者と編集者が参加し, 品質保証と品質管理チェックを行った. 構築した構造化データセットの概要を図 1 に示す 1). 各カテゴリ，サブカテゴリ，属性の詳細な内容と使用するキュレーション手法は，付録およびウェブサイト ${ }^{2)}$ に記載した.

1）データセットの公開は検討中.

2) https://github.com/aistairc/BiomedCurator

## 3.2 キュレーション手法

## 3.2.1 関係抽出のための生成的アプローチ

本稿の関係抽出は，抽出すべき情報の論文中の出現位置が訓練データ中で明示されていない，論文中とは異なる用語や表現が構造化データで使われる可能性がある，という技術的課題がある. そのため, 生成問題として $n$ 項関係抽出タスクを定式化する. 入力テキストに対し，予め定めた構造を表す単語系列を生成する。例えば, eligible patients received up to six cycles of pemetrexed, $500 \mathrm{mg} / \mathrm{m}$ (2) plus cisplatin, $75 \mathrm{mg} / \mathrm{m}(2)$ (day 1) or gemcitabine, $1000 \mathrm{mg} / \mathrm{m}$ (2) (days 1 and 8) plus cisplatin, $75 \mathrm{mg} / \mathrm{m}(2)$ (day 1). os and toxicity were assessed. という入力に対し，次のような系列を生成する：

[start]

[drug] gemcitabine [/drug] [dose] $1000 \mathrm{mg} / \mathrm{m} 2$ [/dose] [and]

[drug] cisplatin [/drug] [dose] $75 \mathrm{mg} / \mathrm{m} 2$ [/dose] [or]

[drug] pemetrexed [/drug] [dose] $500 \mathrm{mg} / \mathrm{m} 2$ [/dose] [and]

[drug] cisplatin [/drug] [dose] $75 \mathrm{mg} / \mathrm{m} 2$ [/dose] [end]

これは，(gemcitabine, $1000 \mathrm{mg} / \mathrm{m} 2$ ) と (cisplatin, 75 $\mathrm{mg} / \mathrm{m} 2$ )，あるいは (pemetrexed, $500 \mathrm{mg} / \mathrm{m} 2$ ) と (cisplatin, $75 \mathrm{mg} / \mathrm{m} 2$ ) という薬品-投与量の関係を表す.

長い系列に対応できるエンコーダ・デコーダモデルとして, BigBirdPegasus [8]を採用し，上記の生成的アプローチによる関係抽出を行う。このアプローチを用いるのは, dose, drug, route of administration の 3 個の属性である.

## 3.2.2 エンティティ抽出

エンティティ抽出に帰着できる属性については，SciBERT [9]を用いた. 特に, ethnicityについては，同じラベルを持つ OntoNotes 5 [10] を訓練データとして SciBERT をファインチュー ニングした. Biomarker name については，同様に BioNLP13CG [11] でファインチューニングした. それ以外の属性については，擬似訓練データに基づく distant supervisionを用いた。具体的には，構造化

データのエンティティと表層的に類似している文を取得し，文字列マッチングにより擬似的にラベル付けした。

## 3.2.3 テキスト分類

いくつかの属性については，SciBERT により入力テキストをエンコードし分類する方法を用いた.また，他の属性の値が手がかりになる属性については，RandomForest ${ }^{3}$ に基づく分類器を用いた. 例えば, associationについては, marker_type, marker_nature, phenotype の属性値を分散表現で表し連結したべクトルを入力とし RandomForestを用いた.

## 3.2.4 正規表現

reference_id, grade, stage, total_sample_number などの属性については, 正規表現により值を抽出した. 詳細はプロジェクトページに記述した。

## 3.2.5 外部知識ベースからの情報検索

CAS ID, ChEMBL ID, DrugBank ID, Entrez ID, Uniprot ID, HGVS Name, Rs ID, KEGG Pathway Name の 8 個の属性については，外部知識ベーズ ${ }^{4}$ から取得した.

## 3.3 ウェブアプリケーション

BiomedCurator のワークフローを図 2 に示す.ユー ザから入力された PubMed あるいは ClinicalTrials.gov の IDをもとに，（a）オンラインデータベースから対応する論文を取得し，（b）前処理を経て，（c）さまざまな種類の情報を抽出するように設計された 5 つの主要なアプローチに適用される. 最後に, 抽出された情報が返され，（d）各属性の値を表示する.

## 4 実験

## 4.1 データ

PubMed（2,570 論文）と ClinicalTrials.gov (2,371 論文）から構築したキュレーションデータで実験を行った.データセットの内訳と統計値を表 1 に示す.

3) https://scikit-learn.org/stable/modules/generated/ sklearn. ensemble. RandomForestClassifier.html

4) https://commonchemistry.cas.org, https://go.drugbank. com, https://www.ncbi.nlm.nih.gov/gene/, https://www. genecards.org, https://www.uniprot.org/uniprot/, https: //www.ncbi.nlm.nih.gov/CBBresearch/Lu/Demo/LitVar/api . html, https://www.ncbi.nlm.nih.gov/CBBresearch/Lu/Demo/ LitVar/api.html, https://www.genome.jp/kegg/pathway.html
データの前処理は 4 つのステップから成る：(1) テキスト正規化，（2）文分割，（3）節分割および段落分割，（4）トークン化.

テキスト正規化 XML タグの削除や，連続する空白を単一の空白にする作業，特殊記号を空白にするする作業を行う。その後，ftfy [12]を用いて NFC 形式でユニコード正規化を行う。

文分割テキスト正規化後に, GENIA 文分割器5) を用いて文分割を行う。

節分割および段落分割 drug と dose の関係など，薬品-投与量の関係など，単一文でなく複数文に渡って記述されている属性があるため，入力テキストを節や段落の単位に分割する。まず，XML 形式で与えられている入力テキストのメタデータを用いる. 分割に利用できるメタデータがない場合は, Abstract, Introduction, Method, Approach, Results などのキーワードに基づくルールにより分割を行う.

トークン化最後に BigBirdPegasus $の$ PegasusTokenizer と SciBERT の BertTokenizer を用いてトークン化を行う。

## 4.2 計算

すべてのモデルは AdamW [13] を用い学習率 3e-5 で最適化した。関係抽出のための生成モデルは，8 GPU 上で total batch size 32 で 50 エポック訓練した. また，詳細は割愛するが，カリキュラム学習を採用している. エンティティ抽出モデルは，単一 GPU 上で batch size 32 で 5 エポック訓練した. 計算には, NVIDIA A100 for NVLink 40GiB を用いた。

## 5 結果と考察

表 2 に提案手法による PubMed データセットに含まれる 17 個の属性へのデータ抽出性能を，適合率 (P)，再現率（R）および $\mathrm{F}$ スコア（F）で示した. $\mathrm{F}$ スコアに基づくほとんどの属性への抽出性能は良好に機能していることを示していた。一方，属性 duration, grade, disease_name, phenotype への性能は他に比べて低かった. disease_name のモデルは, distant supervision による擬似訓練データで学習されているが，病名には同義語が多いことからこの擬似訓練データにノイズが多く含まれていることが再現率低下につながったと考えられる. 対照的に，単一回答のみで構成される PubMed データセットに含まれる 6 個の属性については，十分に高い結果が得られた（表 3).

ClinicalTrials.gov データセットへのデータ抽出の

5) http://www.nactem.ac.uk/y-matsu/geniass/
表 1 PubMed と ClinicalTrials.gov から選択収集した各キュレーションデータセットの内訳および統計

表 2 PubMed データセットに含まれる 17 個の属性（複数回答）へのデータ抽出の評価結果

表 3 PubMed データセットに含まれる 6 個の属性（単一回答）へのデータ抽出の評価結果

評価結果を，表 4 および 5 に示す. 属性 duration, disease_sub_category, BNAMIRを除くほとんどの属性に対する抽出性能は良好である。属性 duration への性能の低さは，このゴールドエンティティは通常，1〜3桁の数字の後に時間の単位を表す単語が続くことが原因である (例：24 hours，120 days, 2 weeks, 3 months など). 情報の正規化，言い換え，対象の論文以外からの情報の付加が専門家による手動のキュレーションデータに含まれていた場合，モデルによる論文内容からの検索と抽出精度を低下させ，評価が困難であった。表 4 ClinicalTrials.gov データセットに含まれる 21 個の属性（複数回答）へのデータ抽出の評価結果. BNAMIR は "biomarker name as modified in reference" の省略表記

表 5 ClinicalTrials.gov データセットに含まれる 3 個の属性（単一回答）へのデータ抽出の評価結果

## 6 おわりに

医学・生物学文献からのデータキュレーションシステム BiomedCuration の開発を報告した. 本システムは，PubMed および ClinicalTrials.gov に由来する論文から自然言語処理アプローチによる解析を通じて情報を抽出し，61 個の属性の値として出力する． 2 つのデータセットに対する $\mathrm{F}$ スコアと精度による性能評価から，システムが機能していることを示す結果が得られた。また，本システムはインタラクティブなウェブアプリケーションとして公開している.今後は，システムのさらなる改善のために，n 項関係抽出などの新しい機能の実装を計画している。

## 謝辞

本稿で紹介した研究は，官民研究開発投資拡大プログラム（PRISM）「新薬創出を加速する症例デー タベースの構築・拡充/創薬ターゲットの推定アルゴリズムの開発」の助成を受けたものです.

## 参考文献

[1] Kung-Hsiang Huang, Sam Tang, and Nanyun Peng. Document-level entity-based extraction as template generation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5257-5269, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics. https://aclanthology.org/2021 . emnlp-main. 426.

[2] Fenia Christopoulou, Makoto Miwa, and Sophia Ananiadou. Connecting the dots: Document-level neural relation extraction with edge-oriented graphs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4925-4936, Hong Kong, China, November 2019. Association for Computational Linguistics. https://aclanthology .org/D19-1498.

[3] Robin Jia, Cliff Wong, and Hoifung Poon. Documentlevel n-ary relation extraction with multiscale representation learning. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3693-3704, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics. https: //aclanthology .org/N19-1370.

[4] Peng-Hsuan Li, Ting-Fu Chen, Jheng-Ying Yu, ShangHung Shih, Chan-Hung Su, Yin-Hung Lin, Huai-Kuang Tsai, Hsueh-Fen Juan, Chien-Yu Chen, and Jia-Hsin Huang. pubmedKB: an interactive web server for exploring biomedical entity relations in the biomedical literature. Nucleic Acids Research, Vol. 50, No. W1, pp. W616-W622, 05 2022. https://doi .org/10.1093/ nar/gkac310.

[5] Xuan Wang, Yu Zhang, Qi Li, Yinyin Chen, and Jiawei Han. Open information extraction with meta-pattern discovery in biomedical literature. Proceedings of the 2018 ACM International Conference on Bioinformatics, Computational Biology, and Health Informatics, 2018.

[6] Chuan Deng, Jiahui Zou, Jingwen Deng, and Mingze Bai. Extraction of gene-disease association from literature using biobert. The 2nd International Conference on Computing and Data Science, 2021.

[7] Wenhui Xing, Junsheng Qi, Xiaohui Yuan, Lin Li, Xiaoyu Zhang, Yuhua Fu, Shengwu Xiong, Lun Hu, and Jing Peng. A gene-phenotype relationship extraction pipeline from the biomedical literature using a representation learning approach. Bioinformatics, Vol. 34, No. 13, pp. i386-i394, 062018. https://doi.org/10.1093/bioinformatics/ bty263.
[8] Manzil Zaheer, Guru Guruganesh, Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontañón, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, and Amr Ahmed. Big bird: Transformers for longer sequences. CoRR, Vol. abs/2007.14062, , 2020. https://arxiv.org/abs/ 2007.14062 .

[9] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics. https://aclanthology .org/D19-1371.

[10] Sameer S. Pradhan, Eduard Hovy, Mitch Marcus, Martha Palmer, Lance Ramshaw, and Ralph Weischedel. Ontonotes: A unified relational semantic representation. In International Conference on Semantic Computing (ICSC 2007), pp. 517-526, 2007.

[11] Sampo Pyysalo, Tomoko Ohta, Rafal Rak, Andrew Rowley, Hong-Woo Chun, Sung-Jae Jung, Sung-Pil Choi, Jun'ichi Tsujii, and Sophia Ananiadou. Overview of the cancer genetics and pathway curation tasks of BioNLP shared task 2013. BMC bioinformatics, Vol. 16, No. 10, pp. $1-19,2015$.

[12] Robyn Speer. ftfy. Zenodo, 2019. Version 5.5.

[13] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, ICLR 2019, New Orleans, USA, 2019. https://openreview.net/forum? id=Bkg6RiCqY7.

## A 付録

表 6 各カテゴリとそのサブカテゴリである属性（1 列目と 2 列目）の詳細な内容（4 列目）および使用するアプローチの一覧（3列目．PE：パターンに基づく抽出， $\mathrm{RE}$ ：関係抽出， $\mathrm{EE}$ ：エンティティ抽出， EL：エンティティ・リンキング， TC：テキスト分類）．FV（Fixed Value）はキュレートデータの特定の値，NA は現時点で未対応であることを意味する.

 &  &  &  \\