国立病院機構が構築する大規模匿名化電子カルテデータNCDAを用いて，自由記述テキスト部から主診断ICD-10コードを予測するシステムを構築した．予測にはWikipediaと医療テキストとでそれぞれ事前学習されたBERTモデルをﬁne-tuningして比較した．電子カルテには既存の言語モデルで扱いづらい数値を用いたテキスト表現が多く含まれている．それらの表現を特殊トークンとしてまとめて扱う手法を提案し，予測性能の向上を確認した．このICD-10コード予測で学習されたモデルを別の医療タスクに応用し，ICD-10コード予測による学習が医療言語処理全般に性能を向上させ得るか調査した．

近年，多くの医療現場で診療記録が電子化されており，情報の集積や管理のし易い環境が整備されている．カルテに記載された病名にはICD-10[1]の分類コードが付与されるが，コーディングと呼ばれる付与作業は診療情報管理士が人手で行っている．ICD-10コードとは，「疾病及び関連保健問題の国際統計分類」というWHOによって定められた国際的に用いられる病名コードのことであり（本研究では常にICD-10を対象とし，以下ICDコードと記述する），階層的に分類された病名が記載されている．ICDコードは先頭のアルファベットに何桁かの数字が続き，桁で分類階層を表す記法になっているが，ICDコードは病名と1対1に対応するわけではない．こうしたICDコードの付与作業は，高度な専門性が必要なうえ曖昧性のある，難易度の高い作業である．基本的にすべてのカルテにコードが付されているため，ICDコードをラベルとみなせば潜在的に膨大な学習データが利用できる．ICDではコードが近い疾病は疾病の性質も近くなるように定義されており，少ない桁数に疾病の特徴が圧縮されている．ICDコードの上位桁予測を言語モデルによって解くことができれば，その言語モデルは疾病の特徴を取り込んだモデルになり，医療テキスト処理全般の性能向上が期待できる．そこで本研究では，まず異なる事前学習済みBERTモデル[2]をﬁne-tuningして複数の手法でICDコード分類を行い，ICDコードの予測性能を比較し分析した．電子カルテの自由記載テキストには，日付や時刻，検査数値など数値表現が数多く出現する．しかし，既存の言語処理モデルは数値表現に弱い.特に医療文書に出てくる検査数値は，医師であれば専門知識によって解釈し適切な診断を下しているが，性別や年齢，身長，体重などの文脈によって数値の示す意味が変わってしまい言語処理タスクとしては難易度が高い．医師がカルテを記載する際には検査結果を具体的な症状などの言葉に変換していることが期待できるため，電子カルテテキストにある数値を特殊トークンに置き換えることで，ICDコード予測の精度が上がるのではないかと考えた．この特殊トークン置換を3パターン用意し，ICDコード推測の性能比較に用いた．さらに，ICDコード予測のﬁne-tuningによって追加的に学習されたモデルを用いて，別の医療タスクに応用し，ICDコード予測による学習が医療言語モデルに与える影響を調査した．