日本語症例テキストの複合語解析・推論システム Medc2l
石田 真捺（指導教員：戸次 大介）

1

はじめに

表 1: CFG 規則
CW
NEG1
NEG2
M EN
M EN’
PAPA’
WOWO’
NIGA
EVEV’
EV woS EVEN
Q ENT EN
E EN

医療分野には電子カルテや退院サマリといった症例テキストが蓄積されており，これらを新たな知識の発見に繋げるために，自然言語処理技術を応用する研究が試みられている [3, 5, 7, 1, 10, 13, 6, 12]．一方で，日本語の症例テキストを用いた否定や量化といった構成素の構造を考慮した高度な意味解析については発展途上である．その理由の一つとして，日本語の症例テキストに多く含まれている複合語の構文解析や意味解析が難しいという問題がある．
複合語を含む症例テキストの例を (1) に示す．

(1)
(2)

非持続性心室頻拍が認められたため，アミオダロン併用した．

EN | T EN | Q EN | E EN | EV | EV’ | S EVNEGNEG
M EN | M EN’ M EN | PA’ M EN | NEG1 M EN
M EN | PA’ M EN’ | NEG1 M EN’
PA | PA’ PA’ | M EN PA
PAWO | M EN WO’ | PA WO’ | EV wo WO’
WO | M EN WO’ | PA WO’
NI | M EN NI | PA NI
GA | M EN GA | PA GA
EV | GA EV | WO EV | NI EV | EV’ EV’ | NEG2 EV
EV
WO’ EV’ | NI EV’ | GA EV’
S EV | EV S EV | NEG2 S EV
EN | S EV EN | EV EN | M EN EN | PA EN | GA EN
Q EN | EV Q EN
T EN | EV T EN
E EN | S EV E EN | EV E EN

表 2: 複合語に関する意味テンプレート
非終端記号
EVEV wo
S EVEV’
GAWO
WO’
NIEN
Q ENT ENE ENM EN
M EN’
PAPA’

a. 心室頻拍は持続性ではない．

b. アミオダロンを併用した．
(1) の「非持続性心室頻拍」からは，「持続性ではない心室頻拍」が認められたこと，「アミオダロン併用」からは「アミオダロンを併用した」ことがわかる．このように複合語には，複合語を構成する要素間の様々な意味関係が非明示的に含まれている．これらの意味関係を同定することができれば，複合語が現れる (1) のような文から，複合語が現れない (2a) や (2b) のような文への含意関係が認識可能となる．
そこで本論文では，ccg2lambda [4] を改良して，症例テキストの高度な意味解析と推論を扱える推論シス
テム Medc2l を提案する．具体的には，ccg2lambda に複合語解析モジュールを追加することで，複合語を含む症例テキストに対して頑健に意味解析と推論ができるようにする．

2→→→→→→→→→→→→→→→→→→→

NEG1
NEG2

統語範疇

意味表示

S[ev]

λK.∃e.(K(Surf, e))S[ev]/S[ev]S[ga]/S[ev]λS.λK.(∃e.(K(Surf, e)) ∧ S(K))λS.λK.∃x.(Surf(x) ∧ S(λJ.λE.K(J, E) ∧ (Nom(E) = x)))S[wo]/S[ev]λS.λK.∃x.(Surf(x) ∧ S(λJ.λE.K(J, E) ∧ (Acc(E) = x)))S[ni]/S[ev]N P [en]N P [q en]
N P [t en]
N P [e en]

λS.λK.∃x.(Surf(x) ∧ S(λJ.λE.K(J, E) ∧ (Dat(E) = x)))λN.λF.λx.(N (Surf, x) ∧ F (x))λN.λF.λx.(N (Surf, x) ∧ F (x))λN.λF.λx.(N (Surf, x) ∧ F (x))λN.λF.λx.(N (Surf, x) ∧ F (x))

N P [m en]/N P [en]λM.λN.λF.λy.(N (Surf, y) ∧ M (N, λx.Rel(x, y) ∧ F (x)))

N P [pa]/N P [en]λM.λN.λF.λy.(N (Surf, y) ∧ M (N, λx.PartOf(x, y) ∧ F (x)))(N P [neg]/N P [en])/(N P [m en]/N P [en])S[neg]/S[ev]λL.λM.λN.λF.L(M, λE.λy.¬N (E, y), F )λS.λK.¬S(K)

記号とする文脈自由文法 (CFG) に基づいて，各複合語の CFG 木を構築する．設計した CFG 規則を表 1 に示す．CFG 木を CCG 木へ変換する規則群を定義する
ことで，各複合語の CFG 木は CCG 部分木に変換される．その後，CCG 構文木内の各複合語を，上の手順で得た CCG 部分木に置き換えたのち，CCG 木において語に意味情報を割り当てる意味テンプレートに基づいて，ラムダ計算を用いて意味合成を行う．表 2 に意味テンプレートを示す．この過程によって得られた意味表示（論理式）の対に対し，定理証明支援系である Coq [2] を用いて含意関係を判定する．

症例テキストの意味解析・推論システム

ccg2lambda を用いた症例テキストの意味解析・推論システムの全体像を図 1 に示す．

2.1

複合語意味関係データセット

症例テキスト内の複合語に対して意味現象タグのアノテーションを行い，複合語意味現象タグ分類モデルの学習に必要な複合語意味関係データセットを構築した．
症例テキストには，J-MedStd CR: 症例報告 (CaseReports) コーパス2 の頻度バランスサブセット 224 件を用い，テキストに含まれる複合語 3443 件に対して人手で意味現象タグを付与した．表 3 に 14 種類の意味現象タグの出現件数を示す．アノテーションには，アノテーションツールである brat3 を利用した．

図 1: 症例テキストの意味解析・推論システム

入力となる前提文・仮説文は，日本語形態素解析器
Janome1 によって形態素解析が行われ，CCG 構文解析
器 depccg [9] によって，CCG 構文木に変換される．次に，変換された CCG 構文木の品詞タグを確認し，連続した名詞もしくは接頭辞の最大列からなる部分木を複合語として抽出する．抽出した複合語の表層形を複合語意味現象タグ分類モデルに渡し，複合語内の形態素間の意味関係を表す意味現象タグを付与する．複合
語意味現象タグ分類モデルには，複合語内の形態素の表層の系列を意味現象タグの系列に変換する系列ラベリングモデルを用いる．そして，意味現象タグを終端

3

評価実験

3.1

症例テキストの推論データセットの構築

提案システムの評価実験にあたり，J-MedStd CR: 症例報告コーパス 91 件から症例テキストを抽出し，1054件の推論データセットを人手で作成した．表 4 に推論
2 https://sociocom.naist.jp/j-medstd/cr/

1 https://mocobeta.github.io/janome/

3 http://brat.nlplab.org/1表 3: 意味現象タグの件数
意味現象
複合語
後ろの形態素の一部
イベント
イベント (サ変動詞をヲ格とするもの)
ガ格名詞句
ヲ格名詞句
ニ格名詞句
エンティティ
エンティティ(量系)
エンティティ(傾向系)
エンティティ(作用系)
修飾語
体の部位
否定タグ
CWPPEV
S EV
GA
WO
NIEN
Q EN
T EN
E EN
M EN
PA
NEG

表 5: 意味現象タグの予測結果，および推論の評価結果 (正答率)
件数34432309
143478271484127
1865433115876547
41

提案システム（Gold タグ）
提案システム（BiLSTM）
提案システム（日本語 BERT）
日本語 BERT-JSICK
日本語 BERT-JSNLI

仮説文

肝機能改善傾向がみられる．

肝機能が改善する傾向がみられる．

entailment

pembrolizumab を投与開始した．

pembrolizumab を投与した．

entailment

急性虫垂炎のため当科紹介となった．

意味現象タグ
EV
S EV
GA
WO
NIEN
Q EN
T EN
E EN
M EN
PA
NEG

正解ラベル

虫垂炎のため当科紹介となった．

entailment

VCM の臨床効果は作用時間に依存する． VCM の臨床効果は作用する時間に依存する． entailment
肝機能改善傾向がみられる．

肝機能が改善した．

non-entailment

pembrolizumab を投与開始した．

pembrolizumab を投与終了した．

non-entailment

急性虫垂炎のため当科紹介となった．

急性虫垂炎のため当科から紹介となった．

non-entailment

non-entailment
84.5%
71.1%
65.7%
20.9%
36.6%

件数
556
110
177
288
84
440
18
40
17436
168
66

提案システムGold タグ BiLSTM BERT
73.0%
62.6% 54.0%
77.3%
70.9% 53.6%
73.5%
63.8% 59.3%
71.2%
59.4% 52.1%
81.0%
61.9% 46.4%
83.2%
72.5% 70.0%
83.3%
61.1% 55.6%
70.0%
55.0% 67.5%
76.5%58.8% 64.7%
84.4%
70.9% 67.2%
78.0%
58.3% 59.5%
97.0%
81.8% 86.4%

日本語 BERTJSICK JSNLI
67.5% 68.9%
63.6% 71.8%
66.1% 68.4%
71.2% 71.9%
59.5% 60.7%
60.2% 71.1%
50.0% 55.6%
47.5% 37.5%
52.9% 58.8%
63.5% 73.9%
61.3% 72.6%
53.0% 57.6%

本論文では，日本語の高度な意味解析・推論システ
ム ccg2lambda に複合語解析モジュールを追加することで，複合語を含む症例テキストに対して頑健に意味解析と推論ができる推論システム Medc2l を構築した．
さらに，日本語の症例テキストを用いて症例テキストの複合語に関する推論データセットを構築し，提案システムの評価を行った．実験の結果，提案システムは深層学習の含意関係認識モデルと同等またはそれ以上の性能を示した．とくに，深層学習のモデルは複合語を含む多くの問題に対して entailment と予測する傾向であったのに対して，提案システムは non-entailmentのケースを正しく予測する傾向が見られた．
謝辞：本研究の一部は，政策科学総合研究事業（臨床研究等 ICT 基盤構築・人工知能実装研究事業）21AC5001，
および JST さきがけ JPMJPR21C8，JSPS 科研費
JP20K19868 の支援を受けたものである．

データセットの例を示す．推論データセットに含まれる複合語は 709 件である．症例報告コーパスから抽出した複合語を含む症例テキストを前提文とし，前提文をもとに仮説文を作成した．データセットには，前提文が仮説文を含意している (entailment) ペアが 614 件，前提文が仮説文を含意していない (non-entailment) ペ
アが 440 件含まれている．
実験設定作成した推論データセットを用いて，深層学習の含意関係認識モデルと提案システムとで精度比較を行なった．深層学習のモデルには，標準的な日本語の RTE
データセットである JSICK [8]（学習データ 5 千件），JSNLI [11]（学習データ約 53 万件）で entailment・nonentailment の二値分類4 タスクとしてファインチューニングした日本語 BERT（日本語 BERT-JSICK，日本語 BERT-JSNLI）を用いた．提案システムは，正解の意味現象タグを用いて意味解析を行った場合（Gold タグ），BiLSTM モデル, BERT モデルを複合語意味現象タグ分類モデルに用いた場合の 3 条件で評価を行った．

3.3

entailment
72.3%
64.3%
58.6%
95.0%
92.8%

おわりに4

VCM の臨床効果は作用時間に依存する． VCM の臨床効果は作用する時期に依存する． non-entailment

3.2

推論全体
77.4%
67.2%
61.6%
64.0%
69.4%

表 6: 複合語に付与された意味現象タグごとの推論全体の正答率

表 4: 推論データセットの例
前提文タグ予測
91.3%
88.6%
-参考文献
[1]

Aramaki, E., Yano, K. and Wakamiya, S.: MedEx/J: A One-Scan Simple and Fast NLP Tool for Japanese Clinical Texts, in Proceedings ofMEDINFO2017, pp. 285–288 (2017).

[2]

Bertot, Y., Castéran, P., Huet, G. and Paulin-Mohring, C.: Interactive
Theorem Proving and Program Development. Coq’Art: The Calculus of Inductive
Constructions, Springer (2004).

[3]

Bethard, S., Savova, G., Palmer, M. and Pustejovsky, J.: SemEval2017 Task 12: Clinical TempEval, in Proceedings of SemEval-2017, pp.
565–572, Vancouver, Canada (2017), Association for ComputationalLinguistics.

[4]Martı́nez-Gómez, P., Mineshima, K., Miyao, Y. and Bekki, D.:
ccg2lambda: a compositional semantics system, in Proceedings of ACL
System Demonstrations, pp. 85–90 (2016).

[5]

Romanov, A. and Shivade, C.: Lessons from Natural Language Inference in the Clinical Domain, in Proceedings of the 2018 Conference on
Empirical Methods in Natural Language Processing, pp. 1586–1596, Brussels,Belgium (2018), Association for Computational Linguistics.

[6]Usui, M., Aramaki, E., Iwao, T., Wakamiya, S., Sakamoto, T. andMochizuki, M.: Extraction and Standardization of Patient Complaints
from Electronic Medication Histories for Pharmacovigilance: NaturalLanguage Processing Analysis in Japanese, JMIR Med Inform, Vol. 6,No. 3 (2018).

[7]

Yadav, P., Steinbach, M., Kumar, V. and Simon, G.: Mining Electronic
Health Records (EHRs): A Survey, ACM Comput. Surv., Vol. 50, No. 6(2018).

[8]

Yanaka, H. and Mineshima, K.: Compositional Evaluation on Japanese
Textual Entailment and Similarity, Transactions of the Association for
Computational Linguistics (2022), to appear.

[9]

Yoshikawa, M., Noji, H. and Matsumoto, Y.: A* CCG Parsing with aSupertag and Dependency Factored Model, in Proceedings of ACL (Volume1: Long Papers), pp. 277–287, Vancouver, Canada (2017).

[10]

荒牧英治, 若宮翔子, 矢野憲, 永井宥之, 岡久太郎, 伊藤薫：病名アノテーションが付与された医療テキスト・コーパスの構築, 自然言語処理, Vol. 25, No. 1, pp. 119–152 (2018).

[11]

吉越卓見, 河原大輔, 黒橋禎夫：機械翻訳を用いた自然言語推論データセットの多言語化, 第 244
回自然言語処理研究会, pp. 1–8 (2020).

[12]

矢田竣太郎, 田中リベカ, Cheng, F., 荒牧英治, 黒橋禎夫：汎用的な臨床医学テキストアノテー
ション仕様およびガイドラインの策定：重篤肺疾患ドメインに着目して, 自然言語処理, Vol. 29,
No. 4, pp. 1165–1197 (2022).

[13]

東山翔平, 関和広, 上原邦昭：医療用語資源の語彙拡張と診療情報抽出への応用, 自然言語処理,Vol. 22, No. 2, pp. 77–105 (2015).

実験結果と考察表 5 に意味現象タグの予測結果と推論の評価結果を示す．意味現象タグの予測結果については，推論データセットに含まれる複合語 709 件に対するタグ予測の正答率を示している．全ての複合語に対し正解の意味現象タグが付与されていた場合，提案システムは 1054
件中 816 件のペアについて，含意関係を正しく判定し，深層学習のモデルの性能を超える性能を示した．
表 6 に，推論データセット内の複合語に付与された意味現象タグごとの推論全体の正答率を示す．1 件の複合語に対し複数の意味現象タグが付与されるため，各正答率には重複したデータセットも含まれる．このうち，NEG が付与された複合語を含むデータセット
66 件の正答数については，日本語 BERT-JSICK は 35
件，日本語 BERT-JSNLI は 38 件と少ないのに対し，提案システムでは 64 件の文ペアについて正しい含意関係を予測した．
4 contradiction は non-entailment として扱った．

2