# 汎用的な臨床医学テキストアノテーション仕様および ガイドラインの策定: 重篤肺疾患ドメインに着目して

矢田竣太郎 ${ }^{\dagger}$ 田中リベカ ${ }^{\dagger \dagger}$ - Fei Cheng ${ }^{\dagger+\dagger}$ - 荒牧 英治 ${ }^{\dagger}$ 黒橋 禎夫 ${ }^{\dagger \dagger \dagger}$

医学応用のための自然言語処理（医療言語処理）には質の高いアノテーション済み コーパスが必要となる. 本研究では, 医療言語処理の中でも応用事例の多い固有表現認識と関係抽出を統合的に取り扱う，汎用的な臨床医学テキストアノテーション 仕様とその作業ガイドラインの設計について報告する．本仕様では類似の臨床医学 テキスト向けアノテーション仕様を統合し，多くの医療言語処理応用に有用な情報 をコーディングできる汎用的なエンティティ及び関係を定義した。 ガイドラインに は医学知識に基づく判断が必要なアノテーションを減らすことで非医療従事者でも 作業できる工夫を施し，実行可能性を高めることを目指した。これらの過程では言語処理研究者, 医学専門家, アノテーション作業者の三者を交えた反復的な議論プ ロセスを採用し，実例に基づいて仕様・ガイドラインを整備しつつコーパス規模も 拡大させた. 本ガイドラインに基づくアノテーションを重篤肺疾患患者の診療録・読影所見 3,769 件に付与するにあたり，まず半量が済んた段階で予備的な固有表現・関係抽出モデルを作成し，残りをこのモデルによる自動アノテーションの修正作業 に切り替えることで効率化を図ったところ，アノテーションの一貫性も向上した. また最終的なコーパスで訓練した固有表現・関係抽出モデルは実用も期待できる性能に達していることを示した。

キーワード：診療録，読影所見，固有表現認識，関係抽出，コーパス
## Versatile Annotation Guidelines for Clinical-Medical Text with an Application to Critical Lung Diseases

\author{
Shuntaro Yada $^{\dagger}$, Ribeka Tanaka ${ }^{\dagger \dagger}$, Fei Cheng $^{\dagger \dagger \dagger}$, Eiji Aramaki ${ }^{\dagger}$ and \\ SADAO KUROHashI ${ }^{\dagger \dagger \dagger}$
}

\begin{abstract}
Natural language processing for medical applications (medical NLP) requires highquality annotated corpora. In this study, we designed a versatile annotation scheme for clinical-medical text and a set of associated guidelines, which address two common subtasks used in medical NLP: named entity recognition (NER) and relation extraction (RE). The annotation scheme integrates similar existing schemes and defines clinical-medical entities and relations to encode useful information for many
\end{abstract}

medical NLP applications. The guidelines aim to increase the annotation feasibility by reducing the necessity of judgement based on medical knowledge so as to enable non-medical professionals to annotate the text. We adopted a recursive discussion procedure involving NLP researchers, medical professionals, and annotators to develop the scheme and guidelines based on real annotation examples while increasing the corpus size. Further, we obtained annotated corpora comprising 3,769 medical records and radiology reports of patients with serious lung diseases. For improved efficiency, preliminary NER and RE models were created after the first half was annotated; they were subsequently applied to the second half, which was then corrected manually. This two-step annotation also increased the inter-coder agreement. Finally, a joint NER + RE model trained on our corpora showed sufficiently promising performance to suggest its practical implementation.

Key Words: Medical Records, Radiology Reports, Named Entity Recognition, Relation Extraction, Corpus

## 1 はじめに

臨床現場の文書記録が電子カルテシステムによって電子化されて以降，自然言語処理 (Natural Language Processing; NLP) 技術を電子カルテの自由記述テキストに適用する重要性も増す一方である (荒牧，奥村 2017)，例えば診療録は医師が診療に際して記載する記録文書であるが，その診療においては数値入力やカテゴリ選択だけでは表現し得ない微妙なニュアンスや複雑な状況もあることから，依然として診療に関する情報の大部分が自由記述部分に蓄えられており ${ }^{1}$, そのままでは診療履歴の検索や二次的な症例分析に使うのが困難である。この自由記述テキストに，もし固有表現認識 (Named Entity Recognition; NER) を適用して病名や薬品名を識別できれば，ある患者が入院前も含めてどのような病歴を辿ったかや，なぜ特定の薬品が治療に使われてきたかといった情報を抽出できる可能性が開ける。さらに近年，大規模な症状データベー ス（フェノタイピングデータベース）(Köhler et al. 2021) と遺伝子レベル・分子レベルの研究 (Bayes-Genis et al. 2020; Sun and Hu 2016) とを組み合わせることで，劇的な医学の進歩も期待されている。このような研究枠組みに使用できるデータソースとして, これまで分析困難とされてきた電子カルテの自由記述テキストから情報が得られれば，有益であることは明白である． このように医療への NLP 応用（医療言語処理）が注目される中で，適用されるのは教師付き機械学習に基づく手法が多く, 質・量ともに優れた学習デー夕の整備が重要である。ところが医療言語処理のためにアノテーションされたデータは，NER一つを取ってみても，他のドメ
^{1}$ NLP に頼らず電子カルテから情報抽出できるように，予め電子カルテに入力できる項目を規格化・標準化し，機械可読で構造的なデー夕にする動きもないわけではない，例えば新医療リアルワールドデー夕研究機構株式会社（京都）は標準化された診療録入力を支援するためのオンコロジーデータベースを開発・販売している.
}

インに比べると少ない.これは医療データが個人情報を含むものであって一般公開しづらく， アノテーション作業に特別な配慮が必要であることが大きな理由の一つとして知られている (Gonzalez-Hernandez et al. 2017).

専門的な用語・表現が高密度に作成されていることから，医学概念を表す言語表現を定義するのが難しいことも挙げられる。例えば，「間質性肺炎」という病変の名称を固有表現としたいとき,「肺」という臟器名もこの中には含まれている。病名も臟器名も臨床医学的には基本的な概念であり，医療ドメインの固有表現認識タスクでは抽出の対象となる固有表現タイプに設定されやすいが，「間質性肺炎」という表現全体を病名と扱うことも，内包された「肺」を臓器名としてさらに区別してネストされた固有表現とみなすこともできる。さらには「間質性」を核たる病変たる「肺炎」についての属性と捉え，属性＋病変からなる複合的な固有表現とみなす仕様も設計可能である。また「異常がみられる」といった，何らかの臨床医学的事実に言及しつつも標準的な病変名を含まない一般的な表現も散見され，この表現に出現する「異常」をも病名と捉える考え方もできる。いずれの方針も一定の応用目的に照らせば妥当たりうるが，アノテーションの難易度が変わる。臨床医学的に厳密なアノテーションを要求すれば, 作業者に専門知識が必要となり，ただでさえ入手・公開が困難な臨床医学テキストコーパスへのアノテー ションが困難になってしまう．

もちろん臨床医学コーパスは専門家によるアノテーションが施されることが理想だが，現実的に難しいことが知られている。日本では医療従事者は慢性的に不足しているうえ², “本来の職務はアノテーションの作業と大きく乘離しており，熱意を持ってアノテーションに従事可能な人材の確保は容易でない”(荒牧他 2018, p. 124). さらに 2019 年末にはコロナウィルス感染症の世界的蔓延（パンデミック）が発生し，国際的に医療提供体制が逼迫する事態が断続的に起きた (日比他 2021). このような深刻な状況下で，本務である医療行為に専念すべき医療従事者に対し，NLPのためのアノテーションを依頼することは困難である.

本研究では，多くの臨床的応用を見据えた言語処理向けアノテーション仕様を設計し，作業者に専門知識がなくても作業可能になるようなガイドライン (Yada et al. 2021a, 2021b)を策定した. 特に, 臨床医学テキストからの NER と関係抽出 (Relation Extraction; RE) の両タスクで，これまで多くの研究が抽出すべき情報として定義してきた医学概念を広くカバーし，後続の研究者が車輪の再発明をせずに済むような，汎用的なアノテーション仕様を目指した，例えば，小規模な応用については固有表現のみ，あるいは一部の固有表現タイプだけを採用してもらう，また大規模な応用では本仕様をべースに新たな固有表現や関係を追加・拡張してもらうといった利用を想定している。

本研究ではさらに, 大規模な臨床医学テキスト 3,769 件に本アノテーションを実施した. コー パスとしての記述統計，および本コーパスにNER と RE を適用した実験結果を報告する。なお本コーパスは研究用途で活用できるよう一般公開に向けて関係機関と調整中である.

次節以降の構成は以下の通りである。2 節では医療言語処理向けのアノテーション仕様やコー パスを構築する過去の主な研究をまとめる，続いて，本仕様の策定手続きを 3 節で，定義したエンティティや関係の概要を 4 節で説明する。また 5 節において, 本仕様に基づく作業の方針を作業者に説明するためのガイドラインについて述べる。 6 節で本仕様に基づいて作成されたコー パスに関する統計を報告した上で，コーパスの人手による評価結果とコーパスを用いた NER と $\mathrm{RE}$ の実験結果とを 7 節で記述する。最後に 8 節で本研究をまとめ，展望に触れる.

## 2 関連研究

臨床医学テキストからの情報抽出を目的とする代表的なアノテーション仕様を表 1 に整理した. 医療言語処理の中でも最も基本的なタスクは病名抽出, すなわち医学論文や電子カルテ記述の中から病名を表す表現を認識することである。同じ病変を表す異なる表現（「糖尿病」とその略称「DM」など）を集約したい需要から，医学概念を識別するオントロジー上のコードと紐

表 1 主な医療言語処理アノテーション仕様・コーパス

づける正規化（あるいは標準化, エンティティリンキングとも呼ばれる）も併せて取り組まれることが多い (Ogren et al. 2008). NCBI (Doğan et al. 2014) と BC5CDR (Wei et al. 2016) は医療ドメインの NER ないしエンティティリンキングの標準データセットとしてよく用いられる.病名について，患者に実際に見られたかどうか（事実性）を考慮した日本語の大規模コーパスとして荒牧他 (2018)のものがある。電子カルテにおいては患者に実際に認められた症状以外にも，今後発現を注意すべき症状・病変や，その有無を将来検査したい病名などが記載されることがあり，これらを区別することは NER で抽出された情報に基づく後段の解析に役立つ.

病名抽出を拡張し，病変をめぐる医学的関係を抽出する研究も盛んである。病変と，その原因となる遺伝子・タンパク質との間の関係を生物医学論文から同定する Cano et al. (2009)の研究や，患者の状態と症状との因果関係を医学論文から識別する Schulz et al. (2020) の研究がそのような例である。またUzuner et al. (2011)は, 退院サマリに出現する検査名・処置名と病名との間の関係抽出として, 検査によって病変が発見されたかや処置によって病変が治癒したかといった臨床的事実関係を識別するタスクを提案した。なかでも医薬品投与後の副作用を臨床医学テキストから検出するタスクは近年開催が増えている (Hahn and Oleynik 2020). 各国で医師・薬剤師・製薬会社による副作用報告が義務化されているところ，報告のために各種医療文書を精査する人手の作業が大きな負担となっていることを受けたものである．医療言語処理共通タスクを定期的に開催する i2 b2（現在は $\mathrm{n} 2 \mathrm{c} 2$ と名称を変更している）でも，医薬品および付随情報（投薬量や剂形など）を電子カルテから抽出する固有表現認識タスク (Uzuner et al. 2010) や, それら医薬品と副作用表現との間の関係抽出タスク (Henry et al. 2020) が提案されている。近年, 日本語の患者ブログから医薬品副作用抽出を目指すコーパスも構築された (Arase et al. 2020). 他に, 電子カルテ記述から患者の発病・治療・検査などの履歴を時系列で整理する THYME (Styler et al. 2014) は，各種の臨床イベントとテキスト中の時間表現とを結びつける仕様を提案している。臨床医学テキストには日時や期間, 頻度を表す表現も多数含まれるうえ，臨床医学現象そのものの時間的複雑さを考えれば，非常に重要な取り組みといえる。

病変を軸とした特定の種類の医学的事実に限らず，臨床医学情報を全般的に取り扱う汎用的なアノテーション仕様も提案されてきた。ここまで述べた応用を包含するスーパーセットを目指した仕様として, 複数の臨床医学夕スクに汎用的に使えるコーパスの作成に取り組んだ研究である。ごく初期の試みは荒牧他 (2009) の仕様や CLEF Corpus (Roberts et al. 2009) であり,病名に加えて身体部位，検査・薬品名を固有表現に含め，それらの間の関係（病変の包含部位や検査対象の病変など）を定義している。その後も同様の方針で Patel et al. (2018)の仕様や MERLOT (Campillos et al. 2018), 篠原他 (2021)の仕様などが提案されてきた. ただし, 固有表現間の関係まで含めると複雑になりすぎる傾向もあってか, 固有表現だけにとどまる仕様も少なくない (Névéol et al. 2014; Mitrofan et al. 2019).

同様の医療情報抽出タスクに対し，データセットとしてのコーパスのみならずアノテーショ

ン仕様自体が多数みられるのは，アノテーション対象の臨床医学テキスト種や記述言語による違いによるところが大きい，臨床医学テキストは，電子カルテや症例報告論文といった粒度では同じ形式であっても，診療科や国・地域によって記述スタイルが違うことが知られている。さらに, 病院の内部文書である電子カルテに至っては, 病院や医師によっても慣習が違う (Rizvi et al. 2016). 疾患の定義が異なるような概念レベルの違い, あるいは法律によって記載内容が指定されるといった制度レベルの違いもここには介在している。したがって，ある 1 通りのテキスト種・言語で考案されたアノテーション仕様では，異なる設定ではうまく当てはまらない部分が生じ，目指す応用ごとに新たな仕様が提案されることになる。

新たな仕様を設計する際の主な検討事項の一つは，何種類のエンティティや関係を定義するかである。本節で取り上げたアノテーション仕様には多くの共通部分がみられるため, 最大公約数的な仕様を作ることができれば有用と考えられる.

## 3 アノテーション仕様の策定方法

本節では，我々が策定した臨床医学テキストアノテーション仕様をどのような方法・方針で作成したか説明する.

## 3.1 仕様策定者

本研究では，著者ら NLP 研究者 ${ }^{3}$ がガイドライン策定を主導しつつ, 医学専門家（医師および医学研究者） 3 名からなるレビューを定期的に複数回受けた．特に医学専門家からは医学概念の単位や性質について助言を得ながら, 実行可能性の高いアノテーション仕様に向けて議論を重ねた。

## 3.2 仕様策定手続き

仕様の考案と試験アノテーションを複数回異なる規模で繰り返す反復的な枠組みを採用した.実際のアノテーション事例に乏しい中での机上の議論に時間をかけすぎず，アノテーション作業を早い段階で小規模に実施しながら問題点を洗い出すことを繰り返せば，着実に仕様の実行可能性を高められると考えたためである，具体的には，(1) NLP 研究者だけのサイクル，(2) 医療従事者を交えたサイクル，(3) アノテーション作業者を加えたサイクルの順で進めつつ，各サイクルを複数回繰り返しながら，アノテーション対象の臨床テキスト数も段階的に増やしていった。複数回行われたサイクル (3)におけるコーパス作成については 6.2 節で詳述する。各サイクルの詳細を箇条書きで示すとともに，3つのサイクル全体の流れを図 1 に示す.


図 1 アノテーション仕様策定手続きの流れ

(1) NLP 研究者だけのサイクル

(a) アノテーションとして付与するエンティティ及び関係の種類と定義, 作業規則の仮決め

(b) 数件の臨床テキストサンプルを元にした試験アノテーションの実施

(c) 試験アノテーションで生じた課題をもとにしたエンティティ及び関係の種類・定義・作業規則の修正

(d) アノテーション作業を説明するガイドライン文書の作成・編集

(2) 医学専門家を交えたサイクル

(a) アノテーション仕様とサンプルへのアノテーション結果をもとにした仕様の議論

(b) 議論での指摘項目を踏まえた「NLP 研究者だけのサイクル」を実行

(3) アノテーション作業者を加えたサイクル

(a) コーパスの半量4を作業者にアノテーションしてもらう

(b) 作業者からの質問を踏まえた「NLP研究者だけのサイクル」または「医学専門家を交えたサイクル」を必要に応じて実行

(c) 再実行したサイクル (1)，(2) の結果を踏まえて，作業者の質問事項について遡及的にアノテーションを修正

図 1 に示した通り，各サイクル自身を繰り返す他に，後続のサイクルが前のサイクルを呼び出すようになっている．各サイクルは 1 回あたり最長で 3 ヶ月程度を充てたが，サイクル $(2)$ $\rightarrow(1)$ や $(3) \rightarrow(2)$ などの出戻りの場合, 呼び出されるサイクル $(1),(2)$ は数週間程度と短く進めた. 最終的な仕様確定までは 2018 年から 2020 年までの約 2 年かかったが，サイクル (3) は実質的には本番アノテーション作業に相当するので，純粋な仕様策定に関する議論（サイクル (1-b) の試験アノテーションを含む）そのものには, これより短い時間（総計約 1 年程度）が費やされている.


なお, 最初のサイクル (1-a) で仕様策定を開始した際には, 既存のアノテーション仕様 (荒牧他 2009) を参考にした。その後サイクル (1), (2)を通じて, フェノタイピングやオミックス分析に有用と考えられる医学的情報がテキスト中に認められれば，アノテーション仕様として編入していった。サイクル (3-b)でフィードバックとして得る質問は, 作業者が類似事例に基づいてグルーピングした各論点のリストに対し, 仕様策定担当者が適切と考えるアノテーションを指示する。頻出する論点はサイクル (1)への出戻り時に，後述するガイドライン（5 節）に「注記」として記載することで, 品質向上を図った.

## 4 アノテーション仕様の概要

本節では, 本仕様で定義したアノテーション対象を説明する。病名や医薬品名など, 医療に関する概念を表す個々の言語表現を「臨床医学エンティティ」とし, 臨床医学エンティティと, それらの間の関係（臨床医学エンティティ間関係）をアノテーションの対象とした。それぞれ,固有表現認識と関係抽出のための教師データ構築に対応する。以下，アノテーションは便宜的にXML 形式で表現するが，同等の情報を表現できる限りにおいて他のどのような形式でも良いものとした. 臨床医学エンティティとエンティティ間関係のアノテーション例を図 2 に示す.

## 4.1 臨床医学エンティティ

医療専門家と議論の上, 臨床テキストから抽出できれば医学的な解析や分析に有用となる概念を選別し, 10 種類の臨床医学エンティティを定義した（表 2). 病変・症状, 臓器・部位, 特徵・尺度, 変化, 時間表現 5 , 検査・問診, 薬品, 治療, クリニカルコンテクスト, および保留である.これは先行する荒牧他 (2009) の仕様をもとに，汎用性を高める方向で拡張したものである。具体的な定義を表 2 に示す。なお, 性別や氏名といった患者情報も重要な臨床医学的情報であるが，これは臨床医学テキストにメタデータとして含まれていたり，比較的簡単なルー ルベースないし汎用 NER ソフトウェアで取得できる情報であるため, 人手アノテーションというコストを払うに値しないと判断し，除外した。なお，保留エンティティは非医療専門家でもアノテーションを実行可能にするために導入したもので, アノテーション終了後に専門家のレビューの上で最終的な臨床医学エンティティに振り分けることを意図している.

これら臨床医学エンティティのうち, 一部のものには詳細な情報を「属性」として付与する. certainty 属性病変・症状エンティティについて，実際に患者にみられたものであるかを表す. 原則全ての病変・症状エンティティに付与するが，がんの進行度を表す標準規格で


表 2 臨床医学エンティティの種類

ある TNM 分類記号には付与しなくて良い

positive その病変・症状がその患者に実際に認められた場合

suspicious その病変・症状がその患者には認められるのではないかと疑われる場合

negative その病変・症状がその患者には認められなかった場合

general 記述時点の患者の状態と関わりなくその病変・症状が記載されている場合 type 属性時間表現エンティティについて, 時間の種類を表す。この属性は全ての時間表現エンティティに付与される

DATE 日暦に焦点を当てた日付表現

TIME 1 日のうちのある時点に焦点をあてた表現や，不定の現在を表す「今」「現在」 などの時刻表現

DURATION 時間軸上の両端ではなく期間全体を表すことに焦点をあてた期間表現

SET 複数の日付・時刻・期間に焦点をあてた頻度集合表現

AGE 年齢に関する表現

MED 「術後」など医療に特徴的な時間表現

MISC 以上のいずれにも該当しない時間表現

state 属性検查・問診, 薬品, 治療エンティティについて, 患者への実施状況を表す。値よりも名称を表すエンティティに優先的に付与する

scheduled 今後実施を予定している場合

executed すでに実施済みの場合
negated 中止など，実施しないことになった場合

other上記以外の状態である場合

## 4.2 臨床医学エンティティ間の関係

関係は 2 つの臨床医学エンティティの間で成立し, 方向によって意味が異なる. 臨床医学エンティティ $\mathrm{E}_{\mathrm{from}}$ から他の臨床医学エンティティ $\mathrm{E}_{\mathrm{to}}$ への関係として, 基本関係, 時間関係の大きく 2 種類を定義した. これらに加え, 臨床医学エンティティ仕様と同様に, アノテーション作業を補助する目的で, 任意のエンティティ間に付与できる「保留」関係も導入している.

基本関係は, 時間表現以外の臨床医学エンティティが $\mathrm{E}_{\text {from }}$ となるものであり, changeSbj, changeRef, featureSbj, subRegion, keyValueの 5 種類のタイプに分けられる. 各タイプの定義を表 3 に示す.

時間関係は， $\mathrm{E}_{\mathrm{to}}$ に時間表現あるいは文書作成日時 (document creation time; DCT) をとり， $\mathrm{E}_{\text {from }}$ の発生や存在に関する時間的な情報を表す関係である。関係タイプは timeOn, timeBefore, timeAfter, timeBegin, timeEndの 5 種類に分けられる。このうち時間関係 timeOn は $\mathrm{E}_{\text {from }}$ が $\mathrm{E}_{\mathrm{to}}$ に相当する時間で起こったことを表し, おおよその時点や時間的包含関係にある場合も含め, 広く適用される。ただし, $\mathrm{E}_{\mathrm{from}}$ の開始時点あるいは終了時点に関する時間的前後関係が明示されている場合には他の 4 つの時間関係タイプが優先される.

なお, 基本関係の一部のタイプを除いて, 同一文内にない臨床医学エンティティ間にも関係を付与するものとした。これは臨床テキストにおいて, 例えば特定の部位に存在する病変 (subRegion 関係にある）を複数文にわたって記述することなどが頻出するためである.

## 4.3 アノテーション例

図 2 に本アノテーションの例を示す. 例 1 には 2 つの病変・症状（< $\mathrm{d}>$ タグ）エンティティが存在し，いずれも事実性あり（certainty="positive"；記号で表記）である．2つ目の病変・症状エンティティ「陰影」は, 直前の特徴・尺度 (<f>タグ) エンティティ「一部」から修飾されている（featureSbj 関係）ほか，直後の変化（<c>タグ）エンティティ「増強」で表される変化の

表 3 基本関係のタイプ
例 1

例 2

例 3

図 2 アノテーション例

主体である (changeSbj 関係)。時間関係付与の対象となる 2 の病変・症状エンティティはいずれも DCT と同時と考えられる (timeOn 関係)。ただし，「陰影」エンティティからの timeOn 関係は，ガイドライン上で認めた省略ルール（次節で述べる）に従い省略できるため，点線で表示してある.

例 2 は state 属性を持つクリニカルコンテクスト（<cc>タグ）や治療（<r>夕グ）エンティティが出現し，いずれも実施された (state="executed”; +記号) 状態と読める. 特徵・尺度エンティティ「Af bradyに伴う」は一見すると「Af brady」の範囲だけで良いように思われるが，「に伴う」かどうかも医学的に重要な情報であるという医学専門家の意見 (仕様策定サイクル $(2-\mathrm{a})$ ) により, エンティテイ内に含めるという作業規則になっている。また, 時間表現（<TIMEX3>タグ） エンティティ「H36 4/11～22」6は期間を表し (type="DURATION”),「入院」という臨床イベントの発生と同時である（timeOn 関係）とともに,「warfarization」の開始点と読める（timeBegin 関係)．エンティティ「循環器内科通院中」と「心不全」の詳細な時期は不明だが, 少なくとも 「H36 4/11〜22」より前と解せる（timeBefore 関係).

例 3 は新たに検査・問診名（<t-test>タグ）エンティティが出現する例である. 変化エンティティの変化主体として頻出するのは病変・症状エンティティだが, 検査結果が全体的に変化がない $\left(「\right.$ no change」)ことが記述されており, changeSbj 関係の $\mathrm{E}_{\mathrm{to}}$ として検査・問診名エンティティが当てはまる事例になっている。また,「終了」というキーワードがあることから治療エン
^{6} \mathrm{H}$ は年号「平成」の略記だが, 匿名化のため, 実在しない年数に変換してある.
}

ティティ「HOT」が時間表現エンティティ「11/17」の日時 (type="DATE") に実施終了したことをアノテーションできる (timeEnd 関係).

例 1 と例 3 において，もしも前回の検査結果などを記述する文章が前出するなどの場合には,前回の検査を実施した日時を表す時間表現エンティティを $\mathrm{E}_{\mathrm{to}}$ として，それぞれの変化エンティティが $\mathrm{E}_{\text {from }}$ となる changeRef 関係が付与される.

## 5 アノテーションガイドラインの作成

本ガイドライン設計の指針は, ドメイン知識のない作業者でも十分に実行可能なアノテーション仕様の構築にある。一般に, 臨床テキストアノテーションは医師や看護師などの医療従事者またはその経験者によって実施されることが多い. アノテーション対象となる医学的概念の判定には医学知識を要することが多いからである。しかし, 医療従事者にアノテーションを依頼すると，ドメイン知識を必要としないアノテーションに比べて作業単価が高くなり，納期も長くなるなど，コストが増大する傾向にある (荒牧他 2018). さらに, 感染症の流行など医療への需要が高い状況では，ただでさえアノテーション業務へのインセンティブが少ない現役の医療従事者を作業者として迎え入れるのがそもそも困難となる。

医学的知識に乏しくてもアノテーションを可能とするために, 先行研究 (荒牧他 2018) も参考にしつつ, 本研究では大きく以下 4 点の工夫を導入した.

言語表現だけから判断できる手がかりを積極的に記述アノテー夕に医学知識がないことから，医学的表現の範囲・種類・属性の判断に迷うことはよく生じる。しかし, 医学的知識がなくても，周辺の言語表現を手がかりにして確定できることも多く，そのような例が頻出する場合は積極的にガイドラインに記述した。例えば病変・症状エンティティの certainty 属性は医学的に当該病変・症状が患者に見られたかどうかをコーディングしているが，実際に見つかっている場合 (= "positive") は「認めます」や「(+)」などの表現が手がかりになることを例とともに示した。また特定の病変・症状の存在が疑われる場合（＝"suspicious"によく使われる専門用語「D/D」(Differential Diagnosis; 鑑別疾患）に言及するなど，頻出する専門用語についても積極的に紹介した。上記の事例 (Yada et al. 2021b, p. 4) を図 3 に示す.

厳密な医学的差異を吸収し, 似た概念を一種類のエンティティ・関係に集約本仕様では医学的概念としては本来異なる「病変」と「症状」を一種類のエンティティ「病変・症状エンティティ」に集約した。これを厳密に分ける仕様も過去には提案されているが, アノテータがどちらにすべきか迷い，一致率が下がったという報告がある (Campillos et al. 2018). 例えば副作用抽出の応用では，なんらかの薬品により生じた心身の不調全般が識別できればよく, 不調が医学的に「病変」というべきなのか「症状」というべきなのかはあまり重要ではない. 本仕様ではそうした応用上の重要性が低い厳密な違いを集約し, 医学的知識のないアノテー夕にとって

## 2.3.1.2 確実性 (certainty) 属性に応じた手がかり表現

以下，certainty 属性を判断する際に手がかりになる表現とその例（太字）を，値ごとに示す。

Dpositive 「認めます」「見られます」「散在」「(+)」など，存在していることを示す表現.

例

(5) $\langle\mathrm{a}\rangle$ 右肺 $\langle/ \mathrm{a}\rangle$ に $\langle\mathrm{f}\rangle$ 一様 $\langle/ \mathrm{f}\rangle\langle\mathrm{d}$ certainty="positive">すりガラス影 $\langle/ \mathrm{d}\rangle$ が $\langle\mathrm{f}\rangle$ 散在 $</ \mathrm{f}\rangle$.

(6) <d certainty="positive"> 感染の合併 </d>が見られます.

(7) $<a>$ 左第 1 肋骨 < $/ a>k<d$ certainty="positive"> 骨折後の変化</d>が認められます. (「骨折後の変化」という表現が一体となって病状を表しているので，助詞「の」を含むものの，変化タグに切り分けず，全体として疾患・症状タグを付与）

図 3 ガイドラインに示した言語表現上の手がかり例

も仕様がわかりやすくなるよう配慮した。

判断に迷った場合に付与できる「保留」アノテーションを導入診療録の記入を簡素化する目的で，多数の省略語・短縮語が使用される。一部は医学辞書などでもカバーされているが，特定の病院でのみ使われる表現などもある。医学的知識がない場合, こうした表現の臨床医学工ンティティタイプ同定は難しい，医学的な情報のように見えるが，種類がわからないものには,後で医学専門家のレビューを受けやすいように「保留」というエンティティや関係を設定できるようにした。アノテータとしても，作業上この表現を見逃したわけではないことをマークできるという利点がある。例えば「縦隔内に短径 $4 \mathrm{~cm}$ 程度までの LNs が認められます」という文中における「LNs」は “Lymph Nodes”を省略した表現で「リンパ節（腫大）」という病変を表すが, このような表記がコーパス中で稀だった場合, 病変・症状エンティティと思われるが自信がないという意図で保留（<p>タグ）エンティティを付与できる (Yada et al. 2021b, p. 13).繰り返し付与することになるアノテーションを省略できるルールの導入関係アノテーションにおいては，一つのエンティティが他の多数のエンティティと複数の関係を持つこともあり，付与した結果が煩雑な状態になることが多い。仕様の理解を事例から理解する妨げになるほか, アノテーション作業においては人的ミスを誘発することもある。そこで，一部の関係アノテー ション付与を省略できるルールを 3 つ導入した (Yada et al. 2021b, 3.4 節)．そのうちの 1 「時間関係 timeOn の省略」は, 同じ時間表現エンティティ $\mathbf{T} \mathrm{E}_{\mathrm{to}}$ とするエンティティが連続して出現する場合, 最初の 1 つだけ timeOn 関係を付与すれば，後続のエンティティは $\mathbf{T} への$ timeOn 関係の付与を省略して良いというものである。例えば医師がある日の患者の診察時, 電子カルテに残す診療録は, 同一患者の過去のカルテ記述をコピーアンドペーストして作られることが多い (Topol 2019). そのため, 診療録内の 1 セクション全体が「前回の診察内容」で, その次のセクションからは当日の検査内容が続く，などの形式がよく見られる．セクションごとに数十の timeOn 関係を厳密に付与する代わりに，参照する時間点が同じセクション内では

timeOn 関係を 1 つだけにして良いという省略ルールである。なお, ルールに従っている限り，省略されたアノテーションの復元は後処理で自動的に可能である. 後述するアノテーション再現度（7.1.1 節）およびタスク性能（7.2 節）の評価では, これら省略したアノテーションを復元したコーパスを用いた。

以上の工夫はアノテーションの間違いや摇れを生みやすいものの, 一度アノテーションされてしまえば後処理の工程でその結果を整形することにそれほど大きなコストがかからないと判断した。また, 後続のタスクが要求する医学的情報の粒度によって固有表現認識や関係抽出の出力も調整されるべきであり（病変と症状を同じ概念として取り扱うかや, ナ形動詞の活用部分を含めるかなど), アノテーションの段階で詳細かつ厳密に取り扱おうとして実行可能性やコストパフォーマンスの低下をもたらすよりも望ましいと考えた.

また, 一般に関係アノテーションの結果は複雑になりやすい。例えば, 暗黙に推定できる関係をも考慮すると, あらゆるエンティティ同士に何らかの関係が付与できるかもしれないと作業者が考慮し始め, 負担が増大する恐れがある。本仕様では, 最終的に文章から明らかにわかるものだけに絞った．例えば病変同士の因果関係や同時性をラベル付けする仕様もあるが (Uzuner et al. 2011), テキストからのそうした判断は医療従事者でも解釈が摇れるもので，医学知識に乏しい作業者にはさらに難しいため, 本仕様には含めなかった.

## 6 アノテーション結果

## 6.1 対象データ

国立がんセンターと国立医薬基盤・健康・栄養研究所から提供を受けた，重篤肺疾患を取り扱う臨床テキストをアノテーション対象とした. この中には診療録が 461 件, 読影所見が 3,308 件含まれる。診療録とは，医師が患者の診察時に電子カルテシステムに記入する自由記述テキストで，患者の治療歴や検査・投薬歴，当日の診察結果や今後の予定などが書かれている。読影所見は，ある患者の CT スキャン画像やレントゲン画像を解釈する読影医が，その患者の主治医等に向けて画像診断の結果を説明する文書である。表 4 にそれぞれの文書の例を，表 5 にコーパスの言語的記述統計を示す.

重篤肺疾患ドメインに着目するのは, 日本国内でも死者数が最も多い疾患の 1 つだからである ${ }^{7}$. 医療 NLP により従来の臨床医学研究で用いられた以上の情報が電子カルテから抽出できれば，重篤肺疾患の隠れた特徵や創薬対象の発見につながる可能性があり，ひいては死者数低


表 4 コーパス中の文書例

減に寄与できると見込まれる.

なお，本コーパスには患者や医師の個人情報が含まれる。この臨床テキストの取り扱いにあたり, 著者らは所属機関において研究倫理審査の承認及び研究倫理教育の講習を受けた。また, アノテーション作業者とは秘密保持契約を結び, 第三者に臨床テキストの内容を開示・漏洩しないことを求め, 作業後はデータを破棄してもらった.

## 6.2 方法

アノテーション作業の流れを表 6 に示す. 本研究では，まず臨床医学エンティティを定義したのち，エンティティ間関係を定義したので，コーパスへのアノテーション作業もこの順で実施した（作業ステップ(1) $\rightarrow$ (4)）。ただ，エンティティ・関係それぞれのアノテーション作業において，診療録・読影所見ともに，全体の半分程度についてまず人手でアノテーションを実施し (1), (3), その過程で仕様の品質をさらに向上させたあと, 残り半分のアノテーション (2), (4))に取り組んだ. この後半のアノテーションでは, 前半のアノテーションデータを学習データとする固有表現認識ないし関係抽出の機械学習モデル（7.2.1 節と同じ）を構築し，事前にこのモデルによるラベル推定結果を付与することで，アノテーション作業の負担軽减を図った（モデル補助アノテーション)。すなわち, 後半のアノテーションは, 機械学習モデルによる自動アノテーションの修正作業となる. これら各作業ステップにおいて, 3.2 節で述べた仕様策定サイクルが繰り返されている.

なおモデル補助アノテーションないし事前アノテーションを用いればアノテーションの時間的コストと品質を向上させられることは, 一般的なコーパスのみならず (Gobbel et al. 2014) 臨床医学テキストコーパスでも (Kholghi et al. 2017; Lingren et al. 2014) 報告されており, 実用的と見込んで採用した. この方法は, 推定モデルが推定結果についてオラクルの回答を求め, その結果をもとに再学習する能動学習の枠組み (Settles 2009) において，モデル確信度等によらず全ての推定結果について人間の修正を求める設定ともいえ, アノテーション作業における能動学習の有用性 (Tomanek and Olsson 2009) からも支持される.

最後の作業ステップとして, 確定した仕様に沿うよう, コーパス全体を人手で修正した (5)).

表 5 データの規模

表 6 アノテーション作業の順序

これは, (1)から (4)の各作業ステップで都度 3.2 節に示した仕様策定サイクルを実施しており 8 , 仕様変更がそれぞれの作業ステップで発生しているためである。変更された仕様は各作業ステップでアノテーションされた部分 (1)ならコーパス前半のエンティティアノテーションの範囲)内では作業者によって遡及適用してもらったが，後続の作業ステップでの変更は反映されていない，そこで，最終的に仕様が確定した作業ステップ(4)終了後，それまでの変更をコーパス全体に適用したということである。「完全な」アノテーション仕様を事前に設計してからアノテー ション作業を実施する場合と比べて作業量が増えるのは久点であるが，エンティティ及び関係をセットにしたような大規模な仕様の完成には通常 1 年以上の議論を要する ${ }^{9}$. そのような長期間まとまった大きさのコーパスを見ることが叶わないのと比べ, 本手法は仕様設計中のアノテーション作業に関する実行可能性や作成された（中規模）コーパスの有用性を早期に検証できるのが利点である。同様の手法は Alex et al. (2010)でも用いられている.

アノテーション作業者は計 11 名で，うち 1 名は医学研究者である（専門家アノテー夕）が,他 10 名は医療に関する専門的な知識・経験を持たず，日本語への一般的な言語学的アノテー ション作業の経験を有する程度である (一般作業者)。いずれも著者には含まれず著者所属機関にも属さない外部の作業者である ${ }^{10}$ 。専門家アノテータはエンティティアノテーションについて診療録 140 件程度を人手で，読影所見 200 件程度をモデル補助アノテーションで従事した。 7 名の一般作業者はエンティティアノテーションのみ従事し, 他 3 名の一般作業者は関係アノテーションも含めて従事した.

## 6.3 アノテーションの記述統計

アノテーションの結果付与された臨床医学エンティティとエンティティ間関係の総数をそれぞれ表 7,8 に示す. 臨床医学エンティティ及びエンティティ間関係のいずれも, 臨床医学テキストのタイプによって出現しやすいものが異なることがわかる. 例えば診療録では薬品名などが出現するのに対し， CT スキャン画像に対するコメントである読影所見ではそれらはほとんど出現しない，時間表現も，投薬や検査の履歴が詳しく書かれる傾向にある診療録の方が多数出現し, タイプも多様である.

モデル補助アノテーションを実施した後半のデータでも, 各エンティティや関係が前半の比率を概ね保つように増えている。モデル補助によって文書に本来出現するエンティティや関係の分布に大きな偏りが生じる恐れは少ないと考えられる.


表 7 臨床医学エンティティアノテーション作業結果

表 8 臨床医学エンティティ間の関係アノテーション作業結果

## 7 評価実験と分析

本研究で作成したコーパスを 2 つ方法で評価した. 1 つは人手によるもので，アノテーションの品質を検討した。もう1つは機械学習モデルを用いた実験で，後続タスクに対するコーパスの有用性を検証した。

## 7.1 アノテーションの品質

アノテーションの品質を人手で評価するにあたり，一般作業者がアノテーションを再現できるかと, 医学的専門知識を有する者からみて妥当なアノテーションが付与されているかの 2 観点を採用した。

## 7.1.1 アノテーション再現度

本研究ではアノテーションを人手のみの通常作業とモデル補助アノテーションの修正作業にわけたことから，それぞれの場合について，本アノテーションをどの程度再現できるか（再現度）を下記の手順で計測した。まず人手のみ作業とモデル補助作業それぞれで，異なる読影所見・診療録を 5 件ずつ計 20 件を，本コーパスの全アノテーションが終了して十分時間をおいて記憶が薄れてから（1 ヶ月以上）, 本アノテーション経験者（一般作業者 2 名）にガイドラインのみを参照してもらいながら再度アノテーションしてもらった. 作業者 2 名は文書タイプで分担し, 選出した 20 件の文書はどちらか 1 名だけが再アノテーションした. 対象の診療録は, 出現する臨床医学エンティティやエンティティ間関係の種類がバランスするように選出し, 読影
所見は比較的記述の特徴が均一であることから全体よりランダムにサンプリングした。すでに本コーパスに付与されたアノテーションを正解とし，再実施したアノテーション結果がどの程度完全一致するか, その精度・再現率・F1 值のマイクロ平均を表 9 に示すとともに，再現度の代表値としてこれらマイクロ $\mathrm{F} 1$ 値を参照する。ただし，可読性を高めるため各值を 100 倍した。計算には brateval (ver. 0.3.1) ${ }^{11}$ を用いた.

臨床医学エンティティアノテーションについては, モデル補助がなくても 80 前後の F1 值を示し, 本仕様とガイドラインの実行可能性が高いものであることを示唆している。特に, 属性の値の別を考慮しても大きく再現度が下がらないことから，エンティティの状態やモダリティを考慮することは作業品質に大きな悪影響を与えないことがわかる．部分的なコーパスで学習したモデルを用いて自動付与されたアノテーションを修正する作業の場合, 再現度が最大で 10 ポイント程度上昇しており, このアノテーション作業手法の有用性が示唆されている。しかし関係アノテーションは，エンティティに比べると大幅に再現度が低い。関係の項となるエンティティのアノテーションが事前に正しくなければならないうえ, 本仕様が時間関係などの複雑な関係も含むことが原因と考えられる。診療録は特に投薬や治療の開始・中止・終了の関係が複雑に記載されることがある一方，読影所見は病変とそれが見つかった部位に関する定型的な記述から構成されることが多い。こうした特徎が再現度にも表れているといえる。しかし，モデル補助アノテーションでは大きく再現度が改善し, 診療録で 80 程度, 読影所見で 90 程度の F1 値を得ており，医学的なデータ分析研究などの応用に耐える一貫性があるとみなせる。モデル補助が示したアノテーション例に作業者が従順になっている面もあると考えられるが，本仕様

表 9 アノテーション再現実験の精度・再現率・F1 値（マイクロ平均）
^{11}$ https://github.com/READ-BioMed/brateval
}

のようなアノテーションでは事例が重要な手がかりになると作業者も述べており, 複雑な仕様であるほど事前に「候補」が提示されることでエンティティや関係のカバー率が上がると示唆される.

なおアノテーション品質を評価する標準的な手法としては，作業者が初見の文書に対して複数人でアノテーションした結果を比較する，いわゆる一致率評価が知られているが，本研究ではこの評価法の適用を今後の課題としたい。本研究は $3.2,6.2$ 節で述べたようにアノテーション作業でのフィードバックを踏まえて順次仕様を更新していく手法を採用したため，事前の仕様確定と作業者初見文書のプールを前提とする一致率評価を適用しにくかった. 本節の再現実験は，作業者が過去に一度アノテーションを実施したかもしれない文書を再アノテーションする点で, 一致率に比べて簡易な評価となる。しかし一定時間経過による文書およびアノテーション内容の忘却と, ガイドライン外のアノテーション文書例参照禁止という制約のもとでは, 初見の文書へのアノテーションに近いという作業者からの報告があり，標準的な一致率評価の限定的代替とみなして採用した。なお作業者には「仕様の評価であって作業者・作業結果の評価ではない」ことを説明したため, 高い再現度を得ることは作業者のインセンテイブとはならない条件になっている.

## 7.1.2 医療従事者によるレビュー

本研究で得たコーパスの大部分は医学的専門知識のない作業者によってアノテーションされており，アノテーション結果の医学的妥当性は専門家によるアノテーションより低いのではないかという懸念がある。そこで，診療録 12 の再現度算出に用いた 10 文書について，アノテーション結果の医学的妥当性を 3 名の医療従事者により独立にレビューしてもらった. 3 名は過去に本仕様のアノテーション経験はなく, 本研究の著者や謝辞に挙げる関係者と異なる外部の看護師（2 名；ともに実務 10 年以上）と医師（1 名；専門医）である。3 名により修正されたアノテーション結果を真の正解とし, 本研究で得たアノテーションが一致している度合いをマイクロ F1 値で算出した結果を表 10 に示す。エンティティおよび関係アノテーションで 96.0 以上

表 10 アノテーション済み診療録 10 件に対する医療従事者のレビュー結果（マイクロ F1 値）


と, 一定の医学的妥当性が認められる結果と解釈できる。なお 1 文書あたりのアノテーションミスはエンティティで平均して 3 件ほど，関係で平均して 12 件ほどとなる。ただし本レビュー は，アノテーション済みの文書に対し，ガイドラインも参照しつつ，そこに医学的な間違いがないかを評価してもらうという設定で, モデル補助アノテーションに近いことから, 実際に独立してアノテーション作業してもらい一致率を測る標準的な手法よりも評価は高くなる傾向にある点は注意が必要である。アノテータの訓練には 1 ヶ月以上を要する傾向にあり，執筆時点では作業者の確保が難しく, 医学専門家による標準的な一致率評価は今後の課題としたい.

## 7.2 タスク性能

本仕様は臨床医学テキスト向けの NER とREを目的としている。作成されたコーパスが実際に機械学習ベースの NER と REに用いられる水準の品質かどうか, 実験を通して確認する。本研究では，アノテーション作業を人手のみとモデル補助によるものとの 2 つに分けて実施した. 両者の品質は違うことが予想されるため, それぞれのデータセットで実験するとともに,両データセット全てを用いた実験も行う。この設定により，本コーパスの質と量がタスクに与える影響を考察する。

本仕様の臨床医学エンティティの一部には属性が与えられているため, 便宜的に NER を $2 \supset$ のサブタスクに分解し, 計 3 つの NLP タスクを実施する.
- 臨床医学エンティティ認識 (MER)
- 臨床医学エンティティ属性値分類 (MOD)
- 臨床医学エンティティ間関係抽出 (MRE)

## 7.2.1 モデル

機械学習モデルの実装は JaMIE (Cheng et al. 2022) ${ }^{13}$ を用いた. 臨床医学エンティティ認識,属性值分類, 関係抽出を一気通貫 (end-to-end) に解くモデルである.

MER 日本語 Wikipediaコーパスで事前学習した BERT ${ }^{14}$ を使用し，入力テキストを形態素単位で文脈依存の分散表現にしたうえ, CRF で制約する出力層で臨床医学エンティティの BIO (Begin, Inside, Outside) タグを予測する (BERT-CRF).

MOD 病変・症状エンティティ（<d>タグ）など属性を持つ臨床医学エンティティの属性值については, BERT-CRFの出力結果を入力として受け取る別の多層パーセプトロンによる分類モデルで予測する。具体的には, 前述の BERT-CRF によってスパンを予測された各臨床医学エ


ンティティのうち属性を持ちうるものについて, それを構成する形態素の分散表現の和と, その臨床医学エンティティタイプを表す分散表現を連結したべクトルを入力とし，中間層を 1 つ経て softmax 関数で属性值を分類する。

MRE 関係抽出は Multiple Head Selection (Zhang et al. 2017) 方式を採用し， 入力文中の各エンティティについて，関係の種類と関係付与先（第 2 項）となるエンティティを推定する。前述の BERT-CRF モデルの上に，シグモイド関数で活性化する全結合層を 1 つ持つネットワー クを接続する。なお学習・推論時に, 関係がないことを表す「Null関係」を便宜的に導入する.

## 7.2.2 実験方法

エンティティ・属性値・関係の認識・分類・抽出度について, エンティティ・属性・関係タイプ全種（保留を除く）のマイクロ $\mathrm{F} 1$ 値を算出し，5 分割交差検証の平均値で評価する。すなわち, 人手のみデータセット，モデル補助データセット，および両者を合わせた全データセットそれぞれにおいて 5 分割交差検証を実施した。各検証において，学習セットの $10 \%$ サンプルを開発 (dev) セットとして使用した。 入力テキストは Juman 辞書を用いた MeCabでトークナイズし, サブワード分割した. モデル学習における最適化関数は AdamW (Loshchilov and Hutter 2019) とし, 学習率を $2.0 \times 10^{-5}$, 学習エポック数 20 , バッチサイズは 4 とした.

## 7.2.3結果と考察

MER，MOD，MREの実験結果をそれぞれ表 11,12 , 及び 13 に示す.いずれのタスクにおいても，人手データセットよりもモデル補助データセットの方が性能が高く, 両者全てを用いた場合は中間的な性能に落ち着く傾向がみられた。診療録ではモデル補助データセットの方が量が少なく，読影所見ではその逆であるにもかかわらず，その傾向が共通していることを踏まえると，モデル補助データセットの方がアノテーション一貫性が高いことを示唆している．7.1.1 節で報告したアノテーション再現度の評価結果とも符合する。ただし, モデル補助データセットにはモデル推論により人手データセットの情報が間接的に伝播していて, 性能向上に寄与しうることに注意したい。

また, 臨床医学テキスト種の違いでみると, 診療録よりも読影所見の方が全体的に性能が高い. 特に読影所見ではマイクロ $\mathrm{F} 1$ 值が 0.9 前後を示し, 医学的なデータ分析研究などへの応用には申し分ないと思われる水準に達している。これは 6.3 節でも述べた両者の違い, 特に出現するエンティティや関係タイプが診療録においてより複雑であることによると考えられる.

アノテーション手法および文書タイプによるコーパスの違いを考察するために, 追加実験を実施した. 一方のアノテーション手法で学習し他方のアノテーション手法でテストするアノテー ション手法横断実験（文書タイプ別）と，一方の文書タイプで学習し他方の文書タイプでテストする文書タイプ横断実験（学習・テストともに全データセットを使用）である．簡単のため,

表 11 臨床医学エンティティ認識 (MER) におけるマイクロ $\mathrm{F} 1$ 值（5 分割交差検証の平均）

表 12 臨床医学エンティティ属性値認識 (MOD) におけるマイクロ $\mathrm{F} 1$ 値（5 分割交差検証の平均）

表 13 臨床医学エンティティ間関係抽出 (MRE) におけるマイクロ $\mathrm{F} 1$ 值（5 分割交差検証の平均）

表 14 アノテーション手法および文書タイプ横断実験の結果（マイクロ F1 值）

ハイパーパラメータは本実験のまま固定し，各設定で 5 分割交差検証ではなく 1 度きりの実施とした。両実験の結果をまとめて表 14 に示す。アノテーション手法横断実験では, 文書タイプによらず人手データセットで学習してモデル補助でテストする場合の性能が一貫して良いことから，モデル補助データセットがテストセットとしてのアノテーション一貫性に優れていることがここでも示唆された。文書タイプ横断実験では，読影所見で学習し診療録でテストした結果が著しく低い．読影所見は診療録よりもシンプルな文書スタイルであり，診療録よりも含まれるエンティティ・関係タイプ数が少ない（表 $7,8 ）$ ためと考えられる。その逆の設定では一定の転移学習に成功している.

## 8 おわりに

本研究では，自然言語処理の医療ドメイン適用に向け，日本語の臨床医学テキストに汎用的に適用できるアノテーション仕様を提案し, 重篤肺疾患患者の診療録と読影所見でコーパスを作成した. 仕様は臨床医学表現を固有表現とする臨床医学エンティティアノテーションと, それらの間の医学的関係である臨床医学エンティティ間関係アノテーションからなる。言語処理研究者, 医学専門家, アノテーション作業者の三者を交えた反復的なプロセスに基づいて, コー パスを作りながら仕様とガイドラインを策定した。コーパスは半分程度のアノテーションが終わった段階で固有表現認識・関係抽出モデルを作成し，モデルで事前にアノテーションしたデー 夕を修正する形式の作業に切り替え，効率化と品質向上を図った，作成したコーパスでは，臨床医学テキスト種によってアノテーションされた臨床医学エンティティ・関係の数が異なり, テキスト種の特徴を表していることがわかった。このコーパスを用いた固有表現認識・関係抽出夕スクでは, end-to-end のニューラルネットワークモデルが高い性能を発揮し, モデル補助アノテーションに基づくデータセットの一貫性が人手アノテーションのみのデータセットよりも高いことが示唆された.

臨床医学分野の自然言語処理においては，テキストに含まれる個人情報の懸念もあり，アノテーション済みデータが少ないことが指摘されてきた (Gonzalez-Hernandez et al. 2017). 一方, NLP のためのアノテーションガイドライン（指針）を策定する知見は, 論文上では十分に公開されない. 本論文はアノテーション策定への作業レベルの検討も報告することで，コーパス不足にある医療 NLP 応用の促進に貢献するとともに, 医療以外のドメインへの NLP 応用におけるコーパス作成手続きへの示唆を与える意義があると考える.

ただし本研究では, 臨床医学テキストとして重篤肺疾患領域の電子カルテテキストのみを用いている点は課題である。真の汎用アノテーション仕様を目指すならば，他の疾患をめぐる臨床医学テキストへも適用できるべきだからである，我々は，本仕様に基づいたアノテーションを他のテキスト種・言語へと適用することを進めている。まず，本研究で作成した日本語のアノテーションガイドライン (Yada et al. 2021b) を英語に翻訳し (Yada et al. 2021a), 本仕様の国際化に努めた。 さらに, 国立情報学研究所による共同評価基盤 NTCIR 第 16 回において, 実世界の臨床医学テキストに対する言語処理に取り組むタスクとして採択された Real-MedNLP15では, 本仕様に基づくアノテーションを肺疾患に限らない症例報告論文（日本語, 英語とも）に適用した. このような過程で本仕様の限界が浮き彫りとなり, 本仕様の修正や改善を進めることで，汎用性をさらに向上させられると考える.

また医療 NLPにおいては, 固有表現認識や関係抽出といったタスク単体としての評価にとど


まらず，その結果を活用した医療情報学的応用においての有用性も測定されるべきである．例えば荒牧他 (2009) は，アノテーションされたコーパスから医療表現抽出モデルを作成した上で， その抽出結果を用いて電子カルテに記載された患者の診療情報を表形式に可視化するシステムを構築している。このような臨床現場の医療従事者に直接役立つ応用の他にも，基礎研究すなわち医療言語処理技術で大規模コーパスから抽出された臨床医学情報に基づいたビッグデー夕解析などへの応用も考えられる。実際，本研究のモデル・コーパスから抽出されたデータも活用したオミックス分析により，突発性肺繊維症に有効なタンパク質の同定に貢献した実績がある (Natsume-Kitatani et al. 2022). こうした直接患者の生死に結びつかない応用では, 本研究のアノテーション品質ないしモデル性能（F1 值 0.8-0.9 程度）のように多少のノイズを含んでも実用に耐えることを踏まえ，我々は今後も本研究の成果を社会実装に役立てることを目指す. なお自動診断などの致命的な応用においてはさらなる品質・性能が求められるため, 本研究の成果に対する批判的検討が期待される.

本研究で策定したアノテーションガイドラインは日本語 16 - 英語 17 ともに公開している。また, 本研究で作成したアノテーション済みコーパスも, 医薬基盤・健康・栄養研究所で運営されるプラットフォーム「峰」18から公開される予定である。なお本アノテーション仕様には, 文書タイプによって出現が稀なエンティティや関係もあり, 後続タスクにおける機械学習モデルの訓練に不十分なことがある．実際，本コーパスの読影所見では薬品関連のエンティティや時間的開始・終了を表す関係はごく低頻度で，診療録でも中止された入退院を表すエンティティが稀であるなどした，本仕様・コーパスはあくまで汎用性を目指したが，こうした一部のエンティティや関係タイプを不採用としたり，カバーされなかったタイプを新設するなどして，各種応用のたたき台として利用されたい.

## 謝 辞

本研究は JST AIP-PRISM の助成を受けました. 研究内容は Yada et al. (2020) と Cheng et al. (2022)を発展させたものです. 本研究に医学的見地からの助言をしていただいた伊藤眞里研究員をはじめとする国立医薬基盤・健康・栄養研究所の皆様, 小林和馬研究員をはじめとする国立がんセンターの皆様に感謝いたします。また, 本アノテーション仕様の初期設計に関わってくださった九州大学の伊藤薫氏と立命館大学の城綾実氏に御礼申し上げます.


## 参考文献

Alex, B., Grover, C., Shen, R., and Kabadjov, M. (2010). "Agile Corpus Annotation in Practice:

An Overview of Manual and Automatic Annotation of CVs." In Proceedings of the 4th Linguistic Annotation Workshop, pp. 29-37, Uppsala, Sweden. Association for Computational Linguistics.

荒牧英治, 三浦康秀, 外池昌嗣, 大熊智子, 増市博, 大江和彦 (2009). 退院サマリ文章可視化システムの構築. 言語処理学会第 15 回年次大会発表論文集, pp. 348-351. [E. Aramaki et al. (2009). Taiin Samari Bunsho Kashika Shisutemu no Kochiku. Proceedings of the 15th Annual Meeting for the Association for Natural Language Processing, pp. 348-351.].

荒牧英治, 奥村学 (2017). 医療言語処理. 自然言語処理. コロナ社. [E. Aramaki and M. Okumura (2017). Iryo Gengo Shori. Shizen Gengo Shori. Corona Publishing.].

荒牧英治, 若宮翔子, 矢野憲, 永井宥之, 岡久太郎, 伊藤薫 (2018). 病名アノテーションが付与された医療テキスト・コーパスの構築. 自然言語処理, 25 (1), pp. 119-152. [E. Aramaki et al. (2018). Development of the Clinical Corpus with Disease Name Annotation. Journal of Natural Language Processing, 25 (1), pp. 119-152.].

Arase, Y., Kajiwara, T., and Chu, C. (2020). "Annotation of Adverse Drug Reactions in Patients' Weblogs." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6769-6776.

Bayes-Genis, A., Liu, P. P., Lanfear, D. E., de Boer, R. A., González, A., Thum, T., Emdin, M., and Januzzi, J. L. (2020). "Omics Phenotyping in Heart Failure: The Next Frontier." European Heart Journal, 41 (36), pp. 3477-3484.

Campillos, L., Deléger, L., Grouin, C., Hamon, T., Ligozat, A.-L., and Névéol, A. (2018). "A French Clinical Corpus with Comprehensive Semantic Annotations: Development of the Medical Entity and Relation LIMSI annOtated Text corpus (MERLOT)." Language Resources and Evaluation, 52 (2), pp. 571-601.

Cano, C., Monaghan, T., Blanco, A., Wall, D. P., and Peshkin, L. (2009). "Collaborative TextAnnotation Resource for Disease-Centered Relation Extraction from Biomedical Text." Journal of Biomedical Informatics, 42 (5), pp. 967-977.

Cheng, F., Yada, S., Tanaka, R., Aramaki, E., and Kurohashi, S. (2022). "JaMIE: A Pipeline Japanese Medical Information Extraction System with Novel Relation Annotation." In Proceedings of the Language Resources and Evaluation Conference, pp. 3724-3731, Marseille, France. European Language Resources Association.

Doğan, R. I., Leaman, R., and Lu, Z. (2014). "NCBI Disease Corpus: A Resource for Disease

Name Recognition and Concept Normalization." Journal of Biomedical Informatics, 47, pp. $1-10$.

Gobbel, G. T., Garvin, J., Reeves, R., Cronin, R. M., Heavirland, J., Williams, J., Weaver, A., Jayaramaraja, S., Giuse, D., Speroff, T., Brown, S. H., Xu, H., and Matheny, M. E. (2014). "Assisted Annotation of Medical Free Text Using RapTAT." Journal of the American Medical Informatics Association: JAMIA, 21 (5), pp. 833-841.

Gonzalez-Hernandez, G., Sarker, A., O'Connor, K., and Savova, G. (2017). "Capturing the Patient's Perspective: A Review of Advances in Natural Language Processing of HealthRelated Text." Yearbook of Medical Informatics, 26 (1), pp. 214-227.

Hahn, U. and Oleynik, M. (2020). "Medical Information Extraction in the Age of Deep Learning." Yearbook of Medical Informatics, 29 (1), pp. 208-220.

Henry, S., Buchan, K., Filannino, M., Stubbs, A., and Uzuner, O. (2020). "2018 n2c2 Shared Task on Adverse Drug Events and Medication Extraction in Electronic Health Records." Journal of the American Medical Informatics Association: JAMIA, 27 (1), pp. 3-12.

日比泰造, 武冨紹信, 池田徳彦, 永野浩昭, 小野稔, 北川雄光, 森正樹 (2021). 日本医学会連合緊急提言：コロナ禍における医療提供体制。学術の動向, 26 (9), pp. 9_53-9_59. [T. Hibi et al. (2021). Urgent Proposal by the Japanese Medical Science Federation: Providing Safe and Effective Surgical Care During the COVID-19 Pandemic-Initiatives Launched by Japan Surgical Society and Surgical Specialty Societies/Associations. TRENDS IN THE SCIENCES, 26 (9), pp. 9_53-9_59.].

Kawazoe, Y., Shibata, D., Shinohara, E., Aramaki, E., and Ohe, K. (2021). "A Clinical Specific BERT Developed Using a Huge Japanese Clinical Text Corpus." PLOS ONE, 16 (11). e0259763.

Kholghi, M., Sitbon, L., Zuccon, G., and Nguyen, A. (2017). "Active Learning Reduces Annotation Time for Clinical Concept Extraction." International Journal of Medical Informatics, 106, pp. 25-31.

Köhler, S., Gargano, M., Matentzoglu, N., Carmody, L. C., Lewis-Smith, D., Vasilevsky, N. A., Danis, D., Balagura, G., Baynam, G., Brower, A. M., Callahan, T. J., Chute, C. G., Est, J. L., Galer, P. D., Ganesan, S., Griese, M., Haimel, M., Pazmandi, J., Hanauer, M., Harris, N. L., Hartnett, M. J., Hastreiter, M., Hauck, F., He, Y., Jeske, T., Kearney, H., Kindle, G., Klein, C., Knoflach, K., Krause, R., Lagorce, D., McMurry, J. A., Miller, J. A., MunozTorres, M. C., Peters, R. L., Rapp, C. K., Rath, A. M., Rind, S. A., Rosenberg, A. Z., Segal, M. M., Seidel, M. G., Smedley, D., Talmy, T., Thomas, Y., Wiafe, S. A., Xian, J., Yüksel, Z., Helbig, I., Mungall, C. J., Haendel, M. A., and Robinson, P. N. (2021). "The Human

Phenotype Ontology in 2021." Nucleic Acids Research, 49 (D1), pp. D1207-D1217.

Lingren, T., Deleger, L., Molnar, K., Zhai, H., Meinzen-Derr, J., Kaiser, M., Stoutenborough, L., Li, Q., and Solti, I. (2014). "Evaluating the Impact of Pre-Annotation on Annotation Speed and Potential Bias: Natural Language Processing Gold Standard Development for Clinical Named Entity Recognition in Clinical Trial Announcements." Journal of the American Medical Informatics Association: JAMIA, 21 (3), pp. 406-413.

Loshchilov, I. and Hutter, F. (2019). "Decoupled Weight Decay Regularization." In 7th International Conference on Learning Representations. OpenReview.net.

Mitrofan, M., Barbu Mititelu, V., and Mitrofan, G. (2019). "MoNERo: A Biomedical Gold Standard Corpus for the Romanian Language." In Proceedings of the 18th BioNLP Workshop and Shared Task, pp. 71-79, Florence, Italy. Association for Computational Linguistics.

Natsume-Kitatani, Y., Itoh, M. N., Takeda, Y., Kuroda, M., Hirata, H., Miyake, K., Shiroyama, T., Shirai, Y., Noda, Y., Adachi, Y., Enomoto, T., Amiya, S., Adachi, J., Narumi, R., Muraoka, S., Tomonaga, T., Kurohashi, S., Cheng, F., Tanaka, R., Yada, S., Aramaki, E., Wakamiya, S., Chen, Y.-A., Higuchi, C., Nojima, Y., Fujiwara, T., Nagao, C., Takeda, T., Matsumura, Y., Mizuguchi, K., Kumanogoh, A., and Ueda, N. (2022). "Data-driven Patient Stratification and Drug Target Discovery by Using Medical Information and Serum Proteome Data of Idiopathic Pulmonary Fibrosis Patients.". https://doi.org/10.21203/ rs.3.rs-405195/v3

Névéol, A., Grouin, C., Leixa, J., Rosset, S., and Zweigenbaum, P. (2014). "The Quaero French Medical Corpus: A Ressource for Medical Entity Recognition and Normalization." In In Proceedings of BioTextM, Reykjavik.

Ogren, P. V., Savova, G., and Chute, C. G. (2008). "Constructing Evaluation Corpora for Automated Clinical Named Entity Recognition." In Proceedings of the International Conference on Language Resources and Evaluation, Marrakech, Morocco. European Language Resources Association.

Patel, P., Davey, D., Panchal, V., and Pathak, P. (2018). "Annotation of a Large Clinical Entity Corpus." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2033-2042, Stroudsburg, PA, USA. Association for Computational Linguistics.

Pustejovsky, J., Castano, J. M., Ingria, R., Sauri, R., Gaizauskas, R. J., Setzer, A., Katz, G., and Radev, D. R. (2003). "TimeML: Robust Specification of Event and Temporal Expressions in Text." New Directions in Question Answering, 3, pp. 28-34.

Rizvi, R. F., Harder, K. A., Hultman, G. M., Adam, T. J., Kim, M., Pakhomov, S. V. S., and

Melton, G. B. (2016). "A Comparative Observational Study of Inpatient clinical Note-entry and Reading/retrieval Styles Adopted by Physicians." International Journal of Medical Informatics, 90, pp. 1-11.

Roberts, A., Gaizauskas, R., Hepple, M., Demetriou, G., Guo, Y., Setzer, A., Roberts, I., Court, R., and Uk, S. (2009). "Semantic Annotation of Clinical Text: The CLEF Corpus." Journal of Biomedical Informatics, 42 (5), pp. 950-966.

Sauri, R., Littman, J., Knippen, B., Gaizauskas, R., Setzer, A., and Pustejovsky, J. (2006). "TimeML Annotation Guidelines Version 1.2.1." Tech. rep.

Schulz, S., Ševa, J., Rodriguez, S., Ostendorff, M., and Rehm, G. (2020). "Named Entities in Medical Case Reports: Corpus and Experiments." In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 4495-4500, Marseille, France. European Language Resources Association.

Settles, B. (2009). "Active Learning Literature Survey." Tech. rep.

篠原恵美子, 河添悦昌, 柴田大作, 嶋本公徳, 関倫久 (2021). 医療テキストに対する網羅的な所見アノテーションのためのアノテーション基準の構築. 第 25 回日本医療情報学会春季学術集会抄録集, pp. 54-61. [E. Shinohara et al. (2021). Development of Finding-Comprehensive Annotation Guideline for Practical Clinical Text Processing. Proceedings of the 25th Spring Meeting of Japan Association for Medical Informatics, pp. 54-61.].

Styler, 4th, W. F., Bethard, S., Finan, S., Palmer, M., Pradhan, S., de Groen, P. C., Erickson, B., Miller, T., Lin, C., Savova, G., and Pustejovsky, J. (2014). "Temporal Annotation in the Clinical Domain." Transactions of the Association for Computational Linguistics, 2, pp. 143-154.

Sun, Y. V. and Hu, Y.-J. (2016). "Integrative Analysis of Multi-omics Data for Discovery and Functional Studies of Complex Human Diseases." Advances in Genetics, 93, pp. 147-190.

Tomanek, K. and Olsson, F. (2009). "A Web Survey on the Use of Active Learning to Support Annotation of Text Data." In Proceedings of the NAACL HLT 2009 Workshop on Active Learning for Natural Language Processing, pp. 45-48, Boulder, Colorado. Association for Computational Linguistics.

Topol, E. (2019). Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again (Illustrated edition). Basic Books.

Uzuner, O., Solti, I., and Cadag, E. (2010). "Extracting Medication Information from Clinical Text." Journal of the American Medical Informatics Association: JAMIA, 17 (5), pp. 514-518.

Uzuner, Ö., South, B. R., Shen, S., and DuVall, S. L. (2011). "2010 i2b2/VA Challenge on

Concepts, Assertions, and Relations in Clinical Text." Journal of the American Medical Informatics Association: JAMIA, 18 (5), pp. 552-556.

Wei, C.-H., Peng, Y., Leaman, R., Davis, A. P., Mattingly, C. J., Li, J., Wiegers, T. C., and Lu, Z. (2016). "Assessing the State of the Art in Biomedical Relation Extraction: Overview of the BioCreative V Chemical-Disease Relation (CDR) Task." Database: the Journal of Biological Databases and Curation, 2016.

Yada, S., Aramaki, E., Tanaka, R., Cheng, F., and Kurohashi, S. (2021a). "Medical/Clinical Text Annotation Guidelines." Tech. rep.

Yada, S., Aramaki, E., Tanaka, R., Cheng, F., and Kurohashi, S. (2021b). 臨床医学テキストアノテーションガイドライン.テクニカル・レポート. [S. Yada et al. (2021b). Medical/Clinical Text Annotation Guidelines. Tech. rep.].

Yada, S., Joh, A., Tanaka, R., Cheng, F., Aramaki, E., and Kurohashi, S. (2020). "Towards a Versatile Medical-Annotation Guideline Feasible Without Heavy Medical Knowledge: Starting From Critical Lung Diseases." In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 4567-4574, Marseille, France. European Language Resources Association.

Zhang, Y., Li, Z., Lang, J., Xia, Q., and Zhang, M. (2017). "Dependency Parsing with Partial Annotations: An Empirical Comparison." In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 49-58, Taipei, Taiwan. Asian Federation of Natural Language Processing.

## 略歴

矢田竣太郎：2014 年, 東京大学教育学部総合教育科学科卒業. 2016 年, 同大学大学院教育学研究科修士課程修了. 2019 年, 同博士課程単位取得退学. 博士 (教育学). 2020 年より奈良先端科学技術大学院大学助教. 医療言語処理および図書館情報学に従事.

田中リベカ：2013 年お茶の水女子大学理学部情報科学科卒業. 2015 年同大学院博士前期課程修了. 2018 年同博士後期課程単位取得退学. 博士 (理学). 2021 年よりお茶の水女子大学文理融合 $\mathrm{AI}$ ・データサイエンスセンター特任講師.

Fei Cheng : received his B.S. degree in Applied Physics from Donghua University in 2005. He received M.S. and Ph.D. in Informatics from NARA Institute of Science and Technology in 2013 and 2018. His research interests include information extraction, morphological analysis, and a broad range of natural language processing topics. Currently, he is a program-specific assistant professor at Kyoto University.
荒牧英治：2000 年京都大学総合人間学部基礎科学科卒業. 2005 年東京大学大学院情報理工系研究科博士課程修了. 2020 年より奈良先端科学技術大学院大学教授. 博士 (情報理工学). 自然言語処理の医療応用に関する研究に従事.黒橋禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.博士 (工学). 2006 年より京都大学大学院情報学研究科教授. 自然言語処理,知識情報処理の研究に従事. 2020 年より文部科学省科学官.

(2022 年 4 月 25 日受付)

(2022 年 8 月 1 日再受付)

(2022 年 9 月 9 日採録)