言語処理学会 第26回年次大会 発表論文集 (2020年3月)

BERT を用いた「要注意」タグ付き読影レポートの検出
中村 優太
1,2
渡谷 岳行
1

花岡 昇平
2吉川 健啓
2

3

野村 行弘
3林 直人

中尾 貴祐
1,2阿部 修1

3

三木 聡一郎東京大学医学系研究科生体物理医学専攻
2
東京大学医学部附属病院 放射線科
3
東京大学医学部放射線医学教室 コンピュータ画像診断学／予防医学講座
1{yutanakamura-tky, hanaoka-tky, nomuray-tky, tanakao-tky, smiki-tky,watadat-tky, takeharu-yoshikawa, naoto-tky, abediag-tky}@umin.ac.jp

1

た, その他の先行研究 [7] を含めても, 画像所見が依頼はじめに医にとって想定外であるかどうかを考慮したものや,
読影レポートとは, 単純 X 線, CT1 , MRI2 , 核医学

実際の画像診断業務の中で付与されたタグを教師デーなどの画像検査の結果を記載した文書であり, 画像診タとするものは, 我々の知り得た範囲では存在しない.

断に従事する医師 (以下, 読影医) によって作成される.
近年, 重篤な画像所見が偶然発見されたことが読影レ

2

ポート内で指摘されたにも関わらず, それが外来や病読影レポートおよび当院における未読問題対策について棟などで患者の診療にあたっている医師 (以下, 依頼医) に認識されないまま見過ごされ, 結果的に必要な読影レポートは主に以下の内容から構成される.

追加検査や治療などが遅れるという, いわゆる読影レ

依頼状

臨床病名, 検査目的

ポート未読問題に対する関心が高まっている.

本文

所見, 診断東京大学医学部附属病院 (以下，当院) では, 読影レ
ポート未読問題対策の一環として, 医療安全部門の主導のもと, レポーティングシステムに「要注意」タグ付与機能を実装し, 2019 年 9 月 9 日より運用を開始した. これは, 読影レポート作成時に, 依頼医が想定していないと思われ, かつ放置すると患者の予後に重大な影響を及ぼす可能性がある所見を認めた際に, レポーティングシステム上で当該読影レポートに対して「要注意」タグを付与するというものである.
本 研 究 の 目 的 は, 上 記 対 策 の 一 助 と す る た め,

BERT (Bidirectional Encoder Representations fromTransformers)[1] を用いて「要注意」タグ付きの読影レポート (以下, 要注意レポート) の自動検出を試みることである. 注意が必要な読影レポートの自動検出を試みた先行研究はこれまでに複数報告されている. しかし, 多くは検出対象を (1) 特定の画像所見 [2, 3, 4],(2) 直接的な注意喚起表現 [5, 6], (3) 依頼医への推奨内容の一部 [5, 6] などに限定しており, 読影医からの多様な注意喚起を包括的に扱えていない可能性がある. ま1 コンピュータ断層撮影 (Computed Tomography).
2 核磁気共鳴画像法 (Magnetic Resonance Imaging).

このうち, 読影医が実際に記載するのは本文にあたる所見と診断のみである. 臨床病名と検査目的は画像診断の参考のために提示されるものであり, 依頼医が画像検査依頼時に入力したものがそのまま反映される.
所見欄では原則として, 撮像範囲内のすべての部位について異常所見の有無を判定し, 存在する異常所見を描写し, 想定される病態や疾患の候補を提示する. 追加すべき検査, 手術適応, 治療効果判定などについて情報提供を行う場合もある. 診断欄には依頼医の要求や医学的状況などを総合的に踏まえた要点を記載する.
ただし, 実際には読影レポートの体裁は読影医の自由な裁量に任されており, 所見欄と診断欄の使い分けも流動的となりうる.
当院のレポーティングシステムにて要注意レポートが作成されると, 依頼医に診療端末上でアラートが送信されるほか, 読影レポートの閲覧時に要注意レポートである旨が強調表示される. また同時に, 放射線部
門から病院へと情報提供がなされ, 病院から依頼科に対応を促す際などに利用される. 運用開始から 2020 年1 月までの約 3 ヶ月間に作成された読影レポートのうち, 約 0.5%が要注意レポートとなっている.

― 1384 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 要注意レポートの例 (一部を抜粋のうえ改変. 偶発的所見にあたる内容を下線で示す).
例 1: 直接的な注意喚起があるもの (太字部).
【臨床病名】 人工肛門造設後【検査目的】 人工肛門閉鎖術前につき精査目的です。thin slice も撮影お願いします【所見】
直腸癌術後。局所再発を認めません。有意なリンパ節腫大を認めません。肝転移、肺転移は指摘できません。
右乳腺 C 領域に造影効果を伴う 18mm 大の腫瘤性病変が疑われます。未知の病変でしたら超音波検査等での精査が望まれます。
【診断】
直腸癌術後。右乳腺腫瘤疑い。未知の病変でしたら超音波検査等での精査が望まれます。
例 2: 直接的な注意喚起がないもの.
【臨床病名】 肺癌疑い
【検査目的】 頭部精査目的【所見】
前交通動脈と連続し前上方に突出する 8mm 大の動脈瘤が疑われる。両内頚動脈サイフォン部に石灰化が見られる。脳室拡大なし。両側水晶体術後。副鼻腔や乳突蜂巣の含気は保たれている。
【診断】
前交通動脈に嚢状瘤、8mm 大。

表 2: 要注意レポートの注意喚起表現.
全体
注意喚起表現あり+精査を推奨+経過観察を推奨+治療を推奨注意喚起表現なし
計357

test set

表 3: 要注意レポートの偶発的所見.

31345122399610304173

全体

test set

695544121500200結節, 腫瘍出血
血栓
消化管穿孔
動脈瘤
ほか

表 4: Baseline の検索語候補.

3

注意, 慎重, 懸念, 危惧, 早急,再検, 経過, follow, フォロー,評価, 確認, 精査, 検索, 検討,否定, 除外, コンサルト,いかが, お願い, 望ま4

なお, 注意喚起には高度な医学的判断を要するため,あった. 要注意レポートは, 表 1-3 に示すように, 直接要注意レポートとするか否かの基準は個々の読影医に的な注意喚起の有無や, 依頼医への推奨内容, および対委ねられており, 現時点では統一的な基準が設定され象とする偶発的所見の種類においてさまざまであった.

る予定はない.

データセットはクラス比を保持したまま 8:2 に分割し, それぞれ train set,test set とした. 不均衡性を緩3

課題設定および手法

3.1

課題設定

和するため, train set, test set の両者において要注意
レポートのみを 10 倍に oversampling した.

3.3

Out-of-vocabulary に関する検討
汎用的な事前学習済みモデルを語彙を変更せずに読影レポートへと適用した際に, 未知語として扱われる語の割合とその種類を調査した.

事前学習済み BERT モデルの finetuning

BERT の 英 語 版 モ デ ル に は BioBERT[8] やClinicalBERT[9] などの生物医学領域に特化したもの

要注意レポートの検出が存在するが, 日本語版については本記事執筆時点で「要注意」タグの運用開始以降に作成された読影レはそのようなモデルは存在しない. このため本研究でポートに対し, 要注意レポートであるか否かをその記は, 日本語版 Wikipedia 記事および SentencePiece[10]載内容のみから 2 クラス分類によって推測した.

によって事前学習済みの BERT モデル [11] を使用した.

3.2

データセット

この BERT モデルが [CLS] トークンに対して出力2019 年 9 月 9 日から 12 月 16 日までの間に当院で施行された CT 検査に対する読影レポート 15,750 件を対象とした. このうち要注意レポートは 96 件 (0.61%) で3 Oversampling 前のもの.
4 ”望まれる”, ”望ましい”などとの部分一致を目的としている.

する特徴量ベクトルを, softmax 関数を活性化関数とする単層パーセプトロンを用いて 2 次元ベクトルに変換することにより分類器を構成した.
以下のように, 学習時および推論時の入力内容を変えた 2 通りの fine-tuning を行なった.

― 1385 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 5: 読影レポート中の未知語の例.

• BERTR : 所見と診断をつなげて一続きにした本文を入力に用いる.

• BERTO+R : 依頼状を 1 文目, 本文を 2 文目とする Sequence pair を入力に用いる.
上記内容を事前学習と同一の SentencePiece モデルによって分かち書きし, 先頭 512 トークンを使用した.

Fine-tuning は BERT モデルの全 Encoder 層と後続の Pooler およびパーセプトロンの重み行列に対して医学用語などの略称
MRI, RFA, ESD, IPMN, DVT, PET, PE, TA, LAD,VP, RR, GIST, SMA, EUS, FDG, RT, US, DLB, HR,EVAR, SMV, STA, ABG, GGN, LMT, HGS, ...
医学用語またはその部分文字列
盂, 弯, 鬆, 瘢, 扼, 辷, 瀰, 彎, 瘻, 嚥, 腟, 鼡, 簇, 腓, 篩,縱, 蝸, 褥, 菲, 痔瘻, 痰, 蠕, 疸, 羸, 穹窿, 嚼, 睾, 鈎, 潅,喀痰, 癆, 癇, 橈, 渣, 痔, 喀, 穹, 疣, 悸, 皺, 撓, 夾, 嗽,嗄, 殼, 蔟, 浣, 欝, 頤, 嗟, 踝, 齲, 紮, 惻, ...

行い, それ以外の重み行列は固定した.

Batch size は 4, optimizer は学習率を 5 × 10−7 に固われたトークンは全体の 1.87%であった. 汎用的な事定した Adam[12], epoch 数は 3 とし, loss function に前学習済みモデルの語彙を変更せずとも, 一部の語をは binary cross-entropy を用いた. ハイパーパラメー除いては, 概ね問題なく認識されたと考えられる. 未タは train set を用いた cross-validation による探索を

知語は 495 語あり, このうち英字 1 字のものを除くほとんどは医学用語に関係していた. 表 5 に英字 2 字以通じて決定した.
学習環境は以下の通りである: Intel Core 3.6GHz,

64 GB memory, Ubuntu 16.04 LTS, NVIDIA

上の未知語 (415 語), 英字以外のみからなる未知語 (56語) の一部をそれぞれ示す.

GeForce RTX 2080 Ti 11GB x1, PyTorch 1.3.1,
Torchtext 0.4.0, Scikit-learn[13] 0.20.2, Transformers

4.2

2.2.1, SentencePiece 0.1.83.

3.4

要注意レポートの検出

表 6, 図 1 に示すように,baseline 手法では検索語 5 語を用いたとき AUROC が最大で 0.8582 に達した. こBaseline 手法のとき F1 score は 0.5963 であった. BERT を用いた

一部の先行研究 [5] では, 追加検査などを促す表現

場合, 読影レポート本文を入力とした場合に baselineを部分一致によって検索している. また, 一般的なレよりも高い AUROC が得られ, Recall も上昇した. 一

ポーティングシステムも, 当院採用のものも含め, 部分方, False positive も増加し, これにより F1 score は一致による文書検索機能を提供している場合がある.
これを踏まえ, 読影医が注意を促す際によく使用さbaseline より低下した. また, 依頼状と本文の Sequencepair を BERT に入力した場合は AUROC, F1 score とれると思われる 20 語を検索語の候補とし (表 4), このもに baseline より低値となった. 依頼状と本文の関係

うち n 語 (n = 1, 2, 3, 4, 5) を用いて読影レポート本文が適切に学習されていなかった可能性がある.
表 7 に示すように,BERT では直接的な注意喚起をに対して部分一致による OR 検索を行った際に検出性行なっていない要注意レポートも検出可能であった.

能が最大となる検索語の組合せを探索した.

また, ごく少数のデータからの推測ではあるが, 偶発的3.5

所見の種類を問わず検出可能であったと思われる. こ評価指標

評価指標には Area Under the ROC curve (AU-ROC) を用いることとし,Recall,Precision,F1 score も算出した. なお, baseline 手法に対する AUROC は, 検索語のうち 1 つでも部分一致すればスコア 1, そうでなければスコア 0 として算出した.

れらは, 対象となる表現や所見の種類を限定した先行研究に対する優位性と考えられる.
本研究の限界は主に 3 点ある. 1 点目はデータの少なさである. 特に, 不均衡性も相まって test set 内の要注意レポートは一層少なく, その多様性は現時点では十分に網羅されていない可能性がある. 2 点目は, 画像所見が依頼医にとって予想外であるかどうかの判別が4

結果と考察

4.1

Out-of-vocabulary に関する検討困難だったことである. 重篤な所見を指摘している読影レポートのうち, 依頼医の想定外のものとみなされなかったために「要注意」タグが付与されなかったもOversampling 前の全読影レポートの本文を Senten-のが,BERT によって要注意レポートと誤分類されてcePiece によって分かち書きすると, 未知語として扱いることがあり, 偽陽性率の上昇の一因となっていた.

― 1386 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 6: 要注意レポートの検出結果.
手法

検索語 (AUROC を最大化する組合せ)

AUROC

F1 score

RecallPrecision

Baseline

1 語 (精査)
2 語 (精査, 経過)
3 語 (精査, 経過, 検討)
4 語 (精査, 経過, 検討, いかが)
5 語 (精査, 経過, 検討, いかが, 確認)

0.64370.74710.80370.83250.85820.91070.84930.41840.50140.56120.5926
0.59630.37310.4396

0.2941
0.52940.6471
0.70590.76470.88240.70590.7246
0.47620.49550.5106
0.4887
0.23660.3191BERTR
BERTO+R

図 1: 要注意レポート検出の ROC 曲線.

表 7: 要注意レポートの特徴ごとの Recall.

注意喚起表現あり+精査を推奨+経過観察を推奨
注意喚起表現なし
結節, 腫瘍
消化管穿孔
全体

依頼状と本文を Sequence pair として入力する試みも奏功したとはいえず, さらなる手法の検討が必要である. 3 点目は評価指標や loss function の適切さが定かでないことである. 現時点では「要注意」タグの運用開始から日が浅いため,Recall,Precision のどちらを重視すべきかについての知見は十分でなく, 今後の運用を通じて検討していく必要がある.

5

おわりに事前学習済み BERT を用いることにより,「要注意」タグの付与された読影レポートの検出を行った. 読影
レポート未読問題へのよりよい対処のため, さらなるBaseline(5 語)

BERTR

BERTO+R

1.00

0.92
1.00
0.67
1.00
0.93
1.00
0.94

0.85

1.00
1.00
0.00
0.87
0.00
0.76

0.90
0.67
0.50
0.87
0.00
0.76

[4] 今井健, 荒牧英治, 梶野正幸, 美代賢吾, 大江和彦. 医学用語属
性と構文情報を用いた診断報告書からの重要所見情報の抽出.
言語処理学会 第 12 回年次大会, pp. 89–92, 2006.
[5] T. Mabotuwana, C. S. Hall, S. Dalal, J. Tieder, and M. L.
Gunn. Extracting Follow-Up Recommendations and Associated Anatomy from Radiology Reports. Stud HealthTechnol Inform, Vol. 245, pp. 1090–1094, 2017.
[6] E. Carrodeguas, R. Lacson, W. Swanson, and R. Khorasani. Use of Machine Learning to Identify Follow-Up
Recommendations in Radiology Reports. J Am Coll Radiol, Vol. 16, No. 3, pp. 336–343, Mar 2019.
[7] X. Meng, M. V. Heinz, C. H. Ganoe, R. T. Sieberg, Y. Y.
Cheung, and S. Hassanpour. Understanding Urgency
in Radiology Reporting: Identifying Associations Between Clinical Findings in Radiology Reports and Their
Prompt Communication to Referring Physicians. StudHealth Technol Inform, Vol. 264, pp. 1546–1547, Aug2019.にとどまらない様々な情報の活用が期待される.

[8] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon
Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang.
Biobert: a pre-trained biomedical language representation model for biomedical text mining. 2019.

参考文献[9] Kexin Huang, Jaan Altosaar, and Rajesh Ranganath.
Clinicalbert: Modeling clinical notes and predicting hospital readmission, 2019.

データの蓄積が待たれるとともに, 読影レポート本文[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, andKristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2018.
[2] R. Lou, D. Lalevic, C. Chambers, H. M. Zafar, and T. S.
Cook. Automated Detection of Radiology Reports thatRequire Follow-up Imaging Using Natural Language Processing Feature Engineering and Machine Learning Classification. J Digit Imaging, Sep 2019.
[3] Matthew C. Chen, Robyn L. Ball, Lingyao Yang,
Nathaniel Moradzadeh, Brian E. Chapman, David B.
Larson, Curtis P. Langlotz, Timothy J. Amrhein, andMatthew P. Lungren. Deep learning to classify radiology
free-text reports. Radiology, Vol. 286, No. 3, pp. 845–852,
2018. PMID: 29135365.

[10] Taku Kudo and John Richardson. Sentencepiece: Asimple and language independent subword tokenizer anddetokenizer for neural text processing, 2018.
[11] Yohei
Kikuta.
Bert
pretrainedmodel
trainedonjapanese
wikipedia
articles.
https://github.com/yoheikikuta/bert-japanese, 2019.
[12] Diederik P. Kingma and Jimmy Ba. Adam: A method
for stochastic optimization, 2014.
[13] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel,
B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer,
R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, and E. Duchesnay.
Scikit-learn: Machine learning in Python. Journal of Machine Learning Research, Vol. 12, pp. 2825–2830, 2011.

― 1387 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.