言語処理学会 第26回年次大会 発表論文集 (2020年3月)

二段階学習と概念クラスを用いた医療固有表現の正規化
茂里 憲之∗ 辻村 有輝 ∗三輪 誠

佐々木 裕

豊田工業大学{sd16087, sd18602, makoto-miwa, yutaka.sasaki}@toyota-ti.ac.jp

1

はじめに
医薬学の分野では，論文やカルテなどの文書における薬物や疾患のような概念とデータベースの情報を結びつけることが，研究者や医師が必要なデータを容易与えられている

0034
054478430 ELMVH
79660638
1835979
12/11/2005 12:00:00 AM
Right LE pain
DIS
Admission Date :12/11/2005****** FINAL DISCHARGE ORDERS ******・・・

予測するID

開始位置

終了位置

CUI

N000

5669

C0564823

N002527531

C0030193

N009680682

CUI-less

・・・・・・・・・・・・

文献

注釈に参照できるようにし，効率的な作業を行うために重図1 n2c2 2019 Track3 の概観要である．しかしながら，文書は大量に存在し，かつ，急速に増加しているため，必要な文献を探すことが難しく，情報を処理しきれていないのが現状である．例として，生命科学の文献情報を収集したオンラインデー
タベース MEDLINE にある論文は約 1 [件/分] のペー
スで増え続けている．またカルテのような文書は，自動で処理することが難しい．そのため人手によって作成された文書を自動的に処理し，データベースの情報との関連付けを行うシステムの実現が重要である．

万クラスへの分類問題を解く必要があるが，訓練デー
タに現れる医学概念は 6,684 件，ユニークな CUI 数は2,331 種類と活用できるデータが極めて少ない．
本論文では，与えられた固有表現について，SciB-ERT[3] によりベクトル表現を獲得し，cosine 類似度により正規化を行う深層固有表現正規化モデルとその二段階学習を用いた学習を提案する．辻村が主導し考案しこのような情報の関連付けに向けて，医療文献における自然言語処理を目的とした国際的な評価型ワー
クショップである National NLP Clinical Challenges（n2c2）2019 Shared Task Track 3 において，カルテを対象とした固有表現正規化タスクが開催された．こた提案手法を用いて参加した TTI-COIN は Track 3 において，表 2に示す通り，最高の正解率を達成した．さらに，文脈を考慮できていないという現状の TTI-COINのシステムの問題点の改善のため，文脈を考慮した固有表現分類による後処理による精度向上を試みた．のタスクの目的は，カルテのデータセット MCN[1] について，文献内の疾患や薬物等の概念を示す文字列
表1 MCN の内訳の位置とそれが示す概念を医学系データベースシス
テム Unified Medical Language System (UMLS) [2]

データ

文献数

固有表現数

ユニークな CUI 数に登録された医学系の概念の識別子 Concept Unique

訓練506,684

2,331

Identifier (CUI) ，あるいは該当する CUI が存在しな

テスト

506,9252,579

いもの (CUI-less) が注釈として与えられた上で，新たに与えられた文書中の文字列を概念の識別子もしくはCUI-less に写像する高性能なシステムを構築することである．タスクの概観を図 1に示す．MCN はそれぞれ50 件のカルテの学習データとテストデータからなる．
データセットの内訳を表に示す．Track 3 では対象データベースに 434,056 種類の CUI が存在するため 43∗ これらの著者は等しく貢献した．

― 1487 ―表2 n2c2 2019 Track 3 の上位スコア

チーム

正解率

TTI-COIN

0.8526

Kaiser Permanente (KP)

0.8194

University of Arizona (UAZ)

0.8166

Alibaba (Ali)

0.8105

Med Data Quest, Inc (MDQ)

0.8101

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

が最大の CUI を予測結果として決定する．

2 関連研究
2.1

Sim(h, wi ) = cosθi =固有表現認識

固有表現認識は文中の固有表現の位置を予測するタスクである．固有表現とは地名や人名・団体名などのいh · wi|h||wi |(2)

ここで wi は i 番目の CUI の表現ベクトルである．
モデルの学習3.1.2

わゆる固有名詞的表現であるが，時刻や数量などを認識

学習の際は学習データの不足を補うためデータベーの対象とすることもある．文献中の固有表現を正しく認ス内の登録名を用い訓練データの増強を行い，学習デ識することは情報抽出や情報検索などの自然言語処理

ータとデータベースによるデータの比が 1:1 になるよシステムの実現において重要である．近年では BERT

うアップサンプリングを行う．学習時の損失関数にはを用いた事前学習 [4] によるニューラル BIO タグ付け

cos 類似度を用いたマージンベースの損失 ArcFace[7]による高い抽出性能が確認され，BERT を用いた固有を用いる．

表現認識のための文脈情報の埋め込み手法が Akbik ら([5] により提案されている．
2.2

Ly = − log

固有表現正規化

固有表現正規化は，文献中に現れる固有表現が示す

es cos(θy +m)∑scos(θ+m)
ye+ i̸=y es cos(θi ))(3)

対象を同定し，知識ベースとの関連付けを行うタスク

ここで，s は正規化因子，m はマージンを示すハイパーである．近年では単語のベクトル表現による深層学習パラメタ，y は正解の CUI である．の適用により精度向上が試みられている．医学薬学分

43 万クラス分類に起因する訓練データのスパース性

野では，Li ら [6] により，固有表現と候補の組を畳み込に対応するために，(Step1)CUI の表現ベクトルの学習

みニューラルネットワークの入力とし，各組のスコアには，ランダムな初期値から一定回数の学習を行ったを計算し，ランク付けして，予測を行う方法が報告され後，(Step2) データベースの登録名から得た表現ベクトている．

ル h の平均値を各 CUI ごとに計算し，この値で対応する CUI の表現ベクトルを置き換え，再度少数の反復回

3 提案手法3.1
3.1.1

数で学習を行うという二段階学習を考案した．

二段階学習による医療概念正規化

wi ←モデルの構造

1 ∑h|Ci |

(4)

h∈Ci

与えられた文書中の固有表現に対し，SciBERT[3] による埋め込みを用いた cos 類似度 [7] によるニューラル固有表現正規化モデルを提案する．モデルの概観を図2に示す．

ここで Ci は i 番目の CUI に対応する概念のデータベース上の登録名から得られた表現ベクトルの集合である．BERT エンコーダは事前学習済みの値で初期化し，ファインチューニングを行う．最適化手法には Adam[8]モデルは固有表現を示す文字列をサブワードに分割したものを入力とする．BERT エンコーダを用い，入を用いる．

3.2

力をベクトル表現に埋め込み，先頭と末尾の特殊トークン ([CLS]，[SEP] トークン) を除くベクトルの平均プーリング x をとる．これに重み行列をかけ，tanh により非線形変換した h（式 1）を固有表現の表現ベクトルとする．

固有表現分類による後処理

現状のシステムの問題点として，参照しているのが固有表現を示す文字列のみであり，文脈を考慮できていないことがある．しかしながら，学習データ内の例は6,684 件のみであるため，43 万件の候補から文脈を考慮し，CUI を直接予測することは現実的でない．そこ

h = tanh(W x)(1)

で，文脈を用い，対象となる概念の属するクラスを予測し，予測先の絞り込みを行う．提案手法の概観を図 3に示す．

コーパス内の全 CUI の表現ベクトルと上記の固有表

分類先のクラスとしては CUI とは別に，UMLS 内で現の表現ベクトルの cos 類似度（式 2）を求め，類似度定義された Semantic Type identifiers（TUI）を元に，― 1488 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

×

[CLS]
right

CUI-less

0.1

C0000039

0.0
0.9

C0564823
Poolle

FC+tanh

C1261311

pain

入力

平均プール

SciBERT

全結合層0.0

C3714552

0.0・・・・・・×[SEP]

Softmax

Cosine類似度

出力

図2 医療概念正規化モデルの概観

文脈つきの固有表現

タイプの予測固有表現分類のためのネットワーク

Straight leg raise test was difficult to perform dueto pain but seemed to be positive on the right .

DiseaseランキングされたCUI
ランク

CUI

タイプ

1

C1034629

Process

2C0382973

Disease3

C0128734

Disease

4C0243743

Anatomy5C4280977

Device6C0238552

Disease・・・・・・

・・・

固有表現
positive

ランキングのためのネットワーク

タイプが一致する最高ランクのものを選択

図3 固有表現分類による後処理の概観

ezDI が定義した概念クラス (以降，ezDI クラスと呼ぶ）を用いる．ezDI クラスの一覧を表 3に，提案手法によ4 固有表現正規化モデルの評価

る CUI の予測手順を以下に示す．

3.1に示したモデルの評価を行った．モデルの学習に

1. 対象概念を含む文を Transformer を用い系列ラベリングすることにより，ezDI によるクラス及びおいて，OPUTUNA を用い，学習率・正規化因子・マージン・隠れ層の次元数のハイパーパラメータのチュ“other” に分類する．
2. 各概念について深層学習モデルにより予測された

表3 ezDI による概念クラスの一覧

概念クラス

クラス内の CUI のスコアを計算する．

3. 予測されたクラスの中で最大のスコアの CUI を予AnatomyDisease測先として決定する．
固有表現分類には．BERT 系列タガーを用いる．サ
ブワードに分割された文脈つきの固有表現を入力とし，各サブワードに対し，固有表現でないものは “other”，固有表現に対してはそのクラスを出力するよう訓練する．予測時は固有表現のサブワードのスコアの平均から，予測クラスを決定する．

Lab
Procedure
DeviceMedicine
Measurement
Activity
Modifier― 1489 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

ーニングを行った．二段階学習では，モデルの重みの学習にカルテの固有表現のそれぞれが平均で 1 回ずつ利6 おわりに用されるまでを 1 イテレーションとし，750 イテレー

本研究では，n2c2 2019 Shared Task Track 3 の医ション訓練した後，出力層の重みを更新し，25 イテレ

療文献の固有表現正規化において，43 万クラス分類問ーションの訓練を行った．

題をニューラルネットにより解くために，SciBERT と50 件を全ての訓練に用いた異なる乱数による 5 つのcos 類似度を用いたモデルと２段階学習による学習手法

モデルのアンサンブルによるテストデータに対する正を提案した．提案モデルは n2c2 2019 Task 3 で最高ス解率と各モデルの平均精度を表 4に示す．アンサンブコアである 0.8526 の正解率を獲得した．さらに，計算ルモデルは n2c2 2019 Track 3 での最高スコアである効率，及び，予測精度向上のため，文脈を考慮した固有0.8526 を獲得した．

表現分類による後処理の試みを考察した．後処理の評
価では，BERT 系列タガーを用いても固有表現クラス

5 後処理による精度向上の試みの分類正解率は 0.4913 と低く，現段階では後処理とし5.1 ezDI クラスの有用性の検証て用いるには不十分な精度となったが，CUI の属する固有表現の ezDI クラスへの分類が，後処理として有クラスの予測に成功した場合，0.041 程度の正解率の向効であるか調べるための実験を行った．正解 CUI と同上の余地があることがわかった．今後は，系列タガーのじ TUI を持つもの，同じクラスに属するものの中で，改良と利用法の検討を行い，計算効率・予測精度の向上

TTI-COIN のシステムにより最大スコアのものを予測を目指す．とした場合の正解率を調べた．TUI は全 75 種であり，ezDI による CUI クラスは全 10 種である．

参考文献

実験結果を表 5に示す．75 種類の TUI がわかった場[1] Luo et al. Mcn: A comprehensive corpus for med-合 0.052 程度の正解率の向上が見込めるのに対し ezDI

ical concept normalization. Journal of biomedicalの分類を用いた場合 10 クラスの分類に落とし込んだ上

informatics, 2019.

で 0.041 程度の向上が見込める．ezDI によるクラスへ[2] Bodenreider et al. The unified medical languageの固有表現分類の後処理としての有効性が示された．

system (umls): integrating biomedical terminol-

5.2

固有表現分類の評価

ogy. Nucleic acids research, 2004.

BERT 系列タガーを用い，固有表現分類の評価を行[3] Beltagy et al. Scibert: A pretrained language

った．学習データを訓練データ 40 件と評価データ 10

model for scientific text. In EMNLP-IJCNLP,件に分割し，Adam により 100 エポック訓練を行った．

2019.

評価データにおける正解率は 0.4913 であり，現段階で[4] Devlin et al. Bert: Pre-training of deep bidirec-は後処理に用いるために十分な精度が得られなかった．

tional transformers for language understanding.
ACL, 2019.
[5] Akbik et al. Pooled contextualized embeddings

表4 MCN テストデータに対する正解率モデル

正解率

平均

0.8440

アンサンブル

0.8526for named entity recognition. In ACL, 2019.
[6] Li et al. Cnn-based ranking for biomedical entity
normalization. BMC bioinformatics, 2017.
[7] Deng et al. Arcface: Additive angular margin loss
for deep face recognition. In IEEE, 2019.

表5 TUI と ezDI によるクラスの情報がある場合の正解率[8] Kingma et al. Adam: A method for stochastic op-

予測コーパス

正解率timization. International Conference for Learn-

全コーパスからの予測

0.8526

ing Representations, 2014.

TUI の同じ集合からの予測

0.9047

同クラスの集合からの予測

0.8940― 1490 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.