言語処理学会 第25回年次大会 発表論文集 (2019年3月)

分散表現による読影レポートの類似文書検索多田太郎 1
1

山本和英 1松本宏 2
2

長岡技術科学大学

株式会社ワイズ・リーディング{tada,yamamoto}@jnlp.org,h-matsumoto@ysreading.co.jp

1 はじめに近年, 自然言語処理分野の様々なタスクに分散表現の手法が用いられている. 本稿では, その分散表現手法を用いて文書ベクトルを生成し, 医療文書である読影レポートの類似文書検索に取り組む.
現在, 医療文書においては, 日本語の文書を対象とするいくつかの個別のタスクに対しては分散表現が用いられているが, 論文としては数としてはあまり多くの発表がされていない. しかし, 分散表現は自然言語処理分野の様々なタスクにおいてその有用性を示している. そこで, 読影レポートから分散表現手法による文書ベクトルを生成し, 類似文書検索の評価を行うことで医療ドメインでの有用性を改めて確認したい.
ここで取り組む医療ドメインでの類似文書検索タス
クについては, 先行研究はいくつか存在するが, 活発に発表が行われてはいない現状がある. 本稿では, 医療文書である読影レポートを用いて類似文書検索を行った.

2 関連研究電子カルテ等を始めとする医療ドメイン文書での自然言語処理の研究は英語圏では活発であり, 多くの利用可能な資源が存在し, 学会でも多く取り組みが発表がさ
図 1 読影レポートの例

れている [1]. しかし, 日本語の医療ドメイン文書を用いた研究は英語圏のそれと比較し, 活発であるとは言えな
い. 日本語医療ドメイン文書の検索システムの研究はれる点が挙げられる. このような理由から医療文書の扱以前より行われており, 論文として発表されているもいが複雑となり, 研究対象とすることへの障壁となってのについては, 小野ら (2004) や岡本ら (2006), 土井らいると考えられる.

(2011), 荒牧ら (2018) などが代表的であるが, その他あ医療ドメインでの類似文書検索の先行研究としては,まり多くの件数は発表がされていない. これは, 医療文

岡本ら (2006)[3] および土井ら (2011)[4] は,TF-IDF を書データ自体が入手困難であることや, 二次利用の取り用いた類似文書の検索を行っている. 岡本ら (2006) の組みが活発になってからあまり長くないため [2] である

論文では, 診療文書内の文章に Observation, Diagno-と考えられる. また, データの匿名化の必要性や医療機sis, Treatment の分類を付与し検索に応用している.

関での文書の位置づけ, ドメイン特有の専門用語が現れ

土井ら (2011) 論文では,TF-IDF による単語を基底とることも医療従事者の協力なしに文書を取り扱うことした文書ベクトル空間法を用いた類似症例検索を行っを難しくしている. 例えば, 疾病名の特徴として部位やている. 小野ら (2004)[5] は国際疾病分類である ICD

症状の名称に基づく組み合わせ的な複合名詞が多く現

コードと TF-IDF による単語の重み付けから最大全域― 707 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

木のデンドログラムを作成し, 医療文書である退院サComeJisyo*1 および万病辞書*2 の２点を併用した. 分か

マリーのテキストの分類を行った. 荒牧ら (2018)[6] は,ち書きを行う際に使用する医療用語辞書の順番による連想検索エンジンである GETA をベースとした全文検実験結果への影響も考慮し, 使用する辞書の順番を入れ索を行う症例検索システムを実際に 7 年間運用し報告替えて 2 通りの分かち書きを行った.

をしている. 本稿では,TF-IDF 法をベースラインとし,また, 読影レポートの特徴であるが, 検査手法によっ分散表現手法を用いた文書ベクトルを生成し, 医療文書て検査画像内に映る検査対象の部位周辺の臓器などにである読影レポートの類似文書検索を行った.

対して, 本来の検査対象でなくとも読影レポート内で触れる文が記載される. この検査目的でない部位に触れ

3 読影レポートについてる文は, ほとんどが陰性の所見であり, 部位が連続した本研究で取り扱う医療文書は, 読影レポートとその検査オーダーである. 検査オーダーとは, 患者を診察した医師がその患者の症状に関する所見と検査目的を記載した文書である. 読影レポートは, 検査オーダーに基づき病院の検査部署で検査を行い, 撮影された画像を踏まえて検査部署の医師が所見と診断を記載したレポートである. 図１に読影レポートの例を示す. 一次読影レポートと二次読影レポートとがあり, 二次読影レポートは検査画像に加えて一次読影レポートを参考に作成されるという関係性がある. 二次レポートは一次レポートと合わせダブルチェックの意味を持っている. 1 日の検査数でも非常に多いため, これらの読影レポート作成は担当する医師の大きな負担となっている [7].

表１のような文が現れる. これは, ほぼ全てのレポート中に現れ, 文書間の類似度を求める際にノイズとなってしまうことが想定される. そのため, 評価用データから定型文の様に現れる部位名称や画像から分かる代表的な疾病（胸水, 心拡大など）が１つの文に連続して含まれる陰性の文書の削除を行った. 合わせて, その他、有意な所見はありません。 という文も定型でほぼすべての文書に現れるため, 削除を行った. この陰性を示す文
言も 有意な所見を認めません（はありません） , 異常を認めません（はありません） と定型であるため,判断基準とした. また, 扱ったテキストでは, 所見内にレポート受取り手への挨拶文や他検査との比較依頼も定型で現れるため, その削除も行った. 文書の頻度は扱

本稿での, 読影レポート作成の際に参考となりうる類似文書を検索するタスクへの取り組みは, レポート作成者の負担軽減にも繋がることが期待される. 本稿では上うデータの確認の際, 人手および自動で行った。今回は評価データの文量が少ないため, 削除作業は人手で行った. 表 1 は削除した文の例である.

記の通り, 検査オーダーおよび一次, 二次の読影レポー

表1

トのテキストのみを用い類似文書検索を行った.

削除した高頻出文書の例

肝、胆、膵、脾に有意な所見を認めません。

4 実験
4.1

胃、小腸、大腸などに有意な所見を認めません。

データ・セット

副腎、尿管、膀胱などに有意な所見を認めません。

実験に使用するデータの内訳は,1 つの検査に対する骨折、足関節に異常はありません。

検査オーダー, 一次読影レポートおよび二次読影レポー

胸水、心拡大はありません。

トの 3 つを 1 セットとする 181,875 検査分のテキス

その他、有意な所見はありません。

トデータである. これらの文書から 80 検査分を選定エコーなどとも比較されてください。

し評価用データとし, その二次レポートを用い実験を精査をお願いします。

行った. 残りの 181,795 検査分の文書を学習用データとお世話になっております。

する.

4.2

前処理について

4.3

実験方法

医療文書への前処理として, MeCab による分かち書

類似文書検索のため文書類似度を算出する. 手法としきと評価用データのクリーニングを行った. 分かち書ては先行研究で用いられている TF-IDF により重み付きに使用した辞書は, MeCab のデフォルトで利用可

けした文書ベクトル間でのコサイン類似度をベースラ能となっている IPADic に加え, 医療用語辞書であるインとし, doc2vec および fastText を用いて生成した*1 https://ja.osdn.net/projects/comedic/*2 http://sociocom.jp/~data/2018-manbyo/index.html― 708 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表2

文書ベクトル間でのコサイン類似度により各文書間のより精度の高かったモデルでの実験結果類似度を求めていく. doc2vec[8] については gensim 実
装*3 を用い, fastText[9, 10] は facebookInc. が提供すaccuracy(median)accuracy(average)

るオリジナル実装*4 を用いた. ハイパーパラメータにつTFIDF0.111

0.108

いては, doc2vec のファインチューニングを行った Lau

doc2vec

0.778

0.743

ら (2016)[11] を参考にし実験を行った.

fastText

0.667

0.613

4.4

評価

評価用データの各文書から生成した文書ベクトルを用い, 文書間の類似度を算出する. 疾病が単一である読

fastText

doc2vec

TF-IDF40

影レポートは少なく, 複数の疾病が組み合わせ的にレポート内の所見や診断で出現する. 異なる疾病が検査

30
文書数の主対象であっても, 共通する疾病を併発している場合も多い. さらに各疾病間での類似度を定めるのも困難で20ある. そのため, 医師の様に医療知識が十分にある人間

10

でないと文書類似度の優劣を判断することが困難であ00る. そこで, 先行研究の岡本ら (2006) に準じ,8 つの疾

123456789

精度（類似度上位９文書中の正解文書数）

病 (アルツハイマー型認知症, 肺がん, 心筋梗塞, 脂肪肝,椎間板ヘルニア, 内側側副靱帯損傷, 肘頭骨折, アキレス腱損傷) をカテゴリとして設定し, 疾病が複数のカテゴリで含まれない様に各疾病で 10 文書, 計 80 文書選定

図2より精度の高かったモデルで精度に対する文書数

表3より精度の高かったモデルでのハイパーパラメータ

Hyper parameters

し評価用データとした. この評価用データから 1 文書

doc2vecを選び出し, 評価データ内の残り 79 文書に対する類似

Method : dbow, Dim : 300,度を求め, その類似度の上位 9 文書に対し同じ疾病カテ

Window Size : 15, Min Count : 5,

ゴリの文書がどれだけ含まれているかを確認し精度と

Sub-sampling : 10−5 ,した.

Negative sampling : 5, Epoch : 20
fastText

5 結果・考察

Method : skipgram,the other parameters are default

今回の読影レポートを用いた類似文書検索の実験では, 分散表現手法により生成した文書ベクトルによる検索が TF-IDF で重み付けした文書ベクトルによる検索よりも高い精度となった. 表 2 および図 2 は TF-IDF
および doc2vec, fastText でスコアの高かったモデル
での実験結果, 表 3 は実験で精度の高かったハイパーパラメータの一覧である. 表 2 は各文書に対する類似度
上位 9 文書の内, 同じ疾病の文書が得られた精度 (中央値および平均) である. 図 2 は, 横軸に各文書に対して同じ疾病カテゴリの文書を得られた精度 (類似度上位 9文書中の同疾病カテゴリの文書数), 縦軸は精度に対する文書数である. 縦軸の文書数は手法毎に合計値が評価
分散表現手法でのハイパーパラメータを変更してデータの文書数80 となる.

イパーパラメータ設定のものと比較しても高い精度での類似文書検索を行うことができた.

fastText ではハイパーパラメータの変更を含め 16 通りと実験のバリエーションが少ないが, 実験した範囲での結果では, skipgram を用いハイパーパラメータはfastText デフォルト値で学習したモデルで精度が高い結果となった. 実験結果で精度が高くなったモデルのハ
イパーパラメータ設定の傾向としては, skipgram を用いたもの, 損失関数を softmax としたものでより高い結果となり, 次に階層的 softmax が続く結果となった.の実験は, その全てを網羅する規模では行えなかった

これらを用いると他の手法と比較し計算コストが高くが,TF-IDF と比較しても, doc2vec のデフォルトのハなるが, 今回の類似文書検索の用途では, 学習時に医療機関が保持する大きな規模の文書量を使用することが*3 https://radimrehurek.com/gensim/index.html*4 https://fasttext.cc/

できれば再学習が必要となる頻度は低くなるため, 障壁は少ないと考えられる. MeCab での分かち書きの際に― 709 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

用いる医療辞書の順番については, 入れ替えた際に精度が僅かに異なるが, どちらの順番が優位といえる結果は今回の実験では得られなかった.

doc2vec では 20 通りの実験を行い, dbow を用いた際に精度が高い結果となり, 損失関数を階層的 softmaxとしたものでは精度が低い結果となった. こちらでも

MeCab での分かち書きに用いる医療辞書の順番による優位差は統計結果からも得られなかった.
今回の実験で, 同じ疾病カテゴリの文書を上位類似文書として得られなかった文書については, 評価データの同疾病カテゴリ内の他の文書に無い疾病を複数患っていたもの, 同疾病カテゴリ内の他の文書と異なり既に治療が行われており経過観察での検査であったもの,

軟部組織 や 高信号 , 断裂 などの組織や検査, 怪我に共通する表現があり, 他の疾病カテゴリの文書の方が高類似度となってしまったものが見受けられた. これらから出現する単語からの影響を大きく受けていることが確認できる. しかし, 人が見て印象が異なる文書であることが確認できる文書内容であったため, その点ではより文書の内容が反映された文書ベクトルとも言えるのではないか. 怪我や疾病の所見を記す際に共通して現れる 軟部組織 や 高信号 , 断裂 などの単語に影響を受けてしまう点に関しては, これらが現れた文書同士は広い意味では近い文書と言えるかもしれないが, やはり課題が残る.
また, 評価用データで頻出する文を削除する前のもの
でも同様の実験を行ったが, やはり評価データ内の全文書間での類似度が上がり, より多くの異なる疾病の文書が上位類似度文書に現れる結果となった.

6 おわりに本稿では, 分散表現手法を用いた文書ベクトルによる読影レポートの類似文書検索を行った. 実験では, 分散表現手法でベースラインとする TF-IDF よりも精度が高い結果となり, 医療ドメインにおける分散表現手法の有用性を改めて確認できた. これは同時に, 医療文書からある程度の質の文書ベクトルが生成できたとも言えるではないか. また, 実験を通して, 読影レポートを扱う際の前処理や文分散表現手法での学習時の適したパラメータの傾向などの知見を得た.

参考文献[1] Pranjul Yadav, Michael Steinbach, Vipin Kumar, Gyorgy Simon, Mining Electronic Health― 710 ―

Records (EHR): A Survey, ACM Computing
Surveys, Vol. 1, No. 1, Article 1, Publication
date: April 2016.
[2] 武田 理宏, 真鍋 史朗, 松村 泰志, 電子カルテ
データ二次利用の現状と課題, 生体医工学 55 巻
4 号 pp. 151-158 2017[3] 岡本 和也, 竹村 匡正, 黒田 知宏, 長瀬 啓介, 吉原 博幸, 文脈に基づく類似診療文書検索システム, 生体医工学 44 巻 1 号 pp. 199-206 2006
[4] 土井 俊祐, 木村 隆, 関根 正樹, 鈴木 隆弘, 高林克日己, 田村 俊世, 学会ホームページにおける類似症例検索システムの実運用と評価, 生体医工学 49 巻 6 号 pp. 870-876 2011[5] 小野 大樹, 高林克日己, 鈴木 隆弘, 横井 英人,井宮 淳, テキストマイニングによる退院サマ
リー自動分類の試み, 医療情報学 24 巻 1 号 pp.
35-44 2004
[6] 荒牧 英治, 岩尾 友秀, 若宮 翔子, 伊藤 薫, 矢野憲, 大江 和彦, 症例検索システムの思考運用に基づいた利用状況に関する基礎的検討, 医療情報学 38 巻 4 号 pp. 245-256 2018[7] 牧野 恭子, 早川 ルミ, 寺井 公一, 深津 博, 知識処理を活用した読影レポート作成支援システムの開発と評価, 人工知能学会論文誌, 23 巻 6 号

pp. 463-472 2008[8] Quoc Le, Tomas Mikolov, Distributed Representations of Sentences and Documents, Proceedings of the 31 st International Conference
on Machine Learning, JMLR: W&CP volume32, pp. 1188-1196 ,2014[9] Piotr Bojanowski, Edouard Grave, ArmandJoulin and Tomas Mikolov, Enriching Word
Vectors with Subword Information, Transactions of the Association for ComputationalLinguistics, vol.5 pp. 135-146 2017[10] Armand Joulin, Edouard Grave, Piotr Bojanowski, Tomas Mikolov, Bag of Tricks forEﬃcient Text Classification, Proceedings ofthe 15th Conference of the European Chapter of the Association for Computational Linguistics, Volume 2, Short Papers, pp. 427-431
2017[11] Jey Han Lau and Timothy Baldwin, An Empirical Evaluation of doc2vec with Practical
Insights into Document Embedding Generation, Proceedings of the 1st Workshop on Representation Learning for NLP, pp. 78-86 2016

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.