大規模言語モデルによる日本語診療テキストからの人名抽出

病院には経過記録などの診療テキストが大量に蓄積されており，これらの診療テキストを二次利用することで，臨床研究などの促進を図り，医療の質の向上に寄与することが期待されている[1,2]．しかし，診療テキストには，患者や医師の氏名に代表される，個人を識別できる情報が多く含まれている．したがって，個人情報保護の観点から，診療テキスト中の個人識別情報に対して，仮名化または匿名化を施し，個人を特定不可能にする処理（非識別化）を施すことが二次利用の前に求められる場合がある．一方で，人手による非識別化は時間的・金銭的なコストが大きく[3]，診療テキストの二次利用を推進する上での障壁となっている．そのため，自然言語処理技術により診療テキストの非識別化を試みる研究がいくつか報告されている．これまでには，例えばBidirectionalEncoderRepresentationsfromTransformers（BERT）[4]をはじめとする事前学習済みエンコーダモデルを，識別情報に関する情報がアノテーションされたデータにより微調整を行った非識別化モデルが多数提案されている[5,6,7]．加えて，非識別化モデルの実応用を推進するためには，モデルが入力データの性質によらず頑健に動作する必要があるが，診療テキストは施設や文書種別によって記載様式や語彙が異なるため，あるデータセットで微調整したモデルを別施設・別データセットへそのまま適用すると性能が低下することが報告されている[8,9,10]．さらに近年，大規模言語モデル（LargeLanguageModel:LLM）を用いた非識別化手法も提案されている[11,12,13]．これらの手法は，追加学習を行わないzero-shotあるいはfew-shot設定であっても，高い性能で非識別化を行えると報告している[11,14]．しかし，LLMによる非識別化は，二次利用に有益な臨床情報まで過剰に抽出してしまうことや，再現性・実用性についての課題も指摘されている[15]．このように診療テキストの非識別化に関する研究はいくつか報告されているが，その多くは英語の公開データセットで実施されたものであり，日本語の診療テキストを対象とした検討は限られている[16]．加えて，日本語診療テキストに対する非識別化タスクにおいて，エンコーダモデルとLLMの長所・短所の比較と分析を行った研究は，筆者らの調査の限りでは見つけられなかった．そこで本研究では，東北大学病院で作成された日本語の経過記録を対象に，個人識別情報の中でも診療テキストに頻出する人名に注目して，BERTとLLMを用いた人名抽出モデルをそれぞれ構築し，その性能を比較する．また，入力データの性質による実応用上の課題を捉えるため，BERTの微調整に用いた学習データに含まれる人名の集合に基づいて評価データを分割し，未学習人名を含む入力に対する各モデルの頑健性に焦点を当てた分析を行う．1）2）1）本稿で説明する内容は東北大学病院医学系研究科倫理委員会の承認(承認番号:2022-1-851)を得て実施された．2）本研究で使用した診療テキストは事前に東北大学病院内で仮名加工した上で，NEC内部へ転送し，実験を行った．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).するスコアを出力する．そして，このスコア列の上に条件付き確率場[19]を重ねることで，ラベル間遷移を一括して最適化し，IOB2形式における構造的一貫性を保ちながら系列全体のラベル列を推定する．予測されたラベル列から連続スパンを抽出し，各スパンを構成する最初のトークンの開始位置と最後のトークンの終了位置をトークナイザが返すoﬀsetmappingから取得することで，トークン単位の範囲を文字インデックスの範囲へ変換した．微調整時の学習パラメータは，最大シーケンス長を1,024，バッチサイズを16，学習率を1e-5,エポック数を30に設定し，他の値はデフォルトを使用した．LLM人名抽出モデルBERT人名抽出モデルとの比較と，人手アノテーション済みの学習データを得られない状況における実応用を想定して，LLMを用いたzero-shot人名抽出モデルを構築する．ここでは人名抽出タスクを，入力テキストに含まれる人名エンティティ候補と周辺文脈を同時に構造化して生成するタスクとして定式化する．実験では，個人情報保護の観点から，ローカル環境で動作可能なモデルであるQwen3-32B[20]を選択し，推論時のtemperatureは0.6，top-kは20，top-pは0.95に設定した．また，Singhら[12]により提案された手法に着想を得て，人名と左右文脈を構造化して出力させる指示とともに，人間のアノテーション作業時に使用した基準に相当する指示を含むプロンプトを作成した．実験では常にこのプロンプトを用い，処理対象のテキストをプロンプトに埋め込み，LLMに入力することで出力を得た．その後，出力された人名は入力文へ照合し，文字スパンを復元した．原文中に同一表記が複数回出現する場合，左右文脈の文字列マッチングに基づき尤もらしいスパンを推定した．3.2評価指標本実験では，抽出されたエンティティの開始位置と終了位置が，正解アノテーションと完全に一致した場合のみを正解とみなし，Precision・Recall・F1-score（F1）の三評価指標を用いて評価する．ここでTP（TruePositive）は正しく抽出されたエンティティ数，FP（FalsePositive）は不要なエンティティを誤って抽出した数，FN（FalseNegative）は本来抽出すべきエンティティを見逃した数を表す．PrecisionはTP/(TP+FP)，RecallはTP/(TP+FN)と定義する．F1はPrecisionとRecallの調和平均と定義する．Model区分PrecisionRecallF1overall0.9730.9700.971既知0.9740.9730.974BERT未知0.8750.8780.876混在0.9800.9700.975overall0.9140.9490.932既知0.9120.9490.930LLM未知0.8730.9270.899混在0.9470.9480.9483.3実験結果モデルの評価結果を示す．評価データ全体（overall）では，BERTのPrecisionが0.973，Recallが0.970，F1が0.971とすべての指標において高い性能であることが確認された．一方，LLMは，Precisionが0.914，Recallが0.949，F1が0.932となり，適合率に比べ再現率は高い傾向が見られるが，BERTと比較して全指標で性能が低下する結果となった．区分別に見ると，学習データに含まれる人名のみからなる既知データでは，BERTのF1が0.974，LLMのF1が0.930と，BERTが一貫して高性能であった．これに対し，学習データに含まれない人名のみからなる未知データでは，BERTのF1が0.876であるのに対し，LLMはF1が0.899であり，zero-shotLLMの方が未学習語彙への汎化性能に優れる結果となった．混在データにおいては，両モデルとも高い性能を示したものの，BERTのF1が0.975，LLMのF1が0.948と，既知データを多く含む設定では引き続きBERTが優位であった．3.4分析・考察LLM人名抽出モデルの誤り分析データ全体に対するLLM人名抽出モデルの誤りを類型化し，著者が目視で確認した各類型の代表例を示す．ここでは，LLMの誤りを，正解アノテーション（正解）と予測スパン（予測）の対応関係に基づいて三類型に整理した．具体的には，正解と予測について，いずれの予測とも対応が成立しない正解を見落とし，いずれの正解とも対応が成立しない予測を誤抽出と定義した．また，両者が部分的に重なるものの完全一致しない場合は，抽出境界の過不org/licenses/by/4.0/).誤り類型（割合）代表例説明見落とし（29.3%）参加者Dr【鈴木】、Ns【山田】、佐藤PT、【吉田】人名が連続する箇所で見落としが起こる．誤抽出（55.6%）【鈴木】病院，【山田】神経内科，【佐藤】クリニック病院など施設名およびそれに準ずる名称の一部を人名として誤って抽出する．スパン誤り（15.1%）【耳鼻科鈴木】，【山田初診】，胸部CT【後佐藤】Dr漢字が連続する表現において，人名スパン境界の誤りが生じる．足や分割の違いに起因するスパン誤りとして分類した．分類の結果，誤り総数に占める内訳は，見落とし29.3%，誤抽出55.6%，スパン誤り15.1%であった．見落としは，人名が連続して列挙される箇所で発生しやすく，非識別化において致命的な誤りとなり得るため，より見落としの少ないモデルを構築する必要がある．誤抽出については，病院名のような施設名によく含まれる，人名に見られる文字列を，人名として過剰に抽出するケースが多かった．実験において，BERT人名抽出モデルに比べ，LLMのPrecisionが大きく低下していた主な要因は，このような誤抽出であった．そして，スパン誤りは，複数の漢字が連続する表現において，境界が前後にずれることで生じやすかった．未知データにおける誤りの傾向未知データに対しては，BERT・LLMともにすべての指標で性能が低下している．BERTについては，既知データと比較して未知データにおいて，フルネームの人名を途中で区切ってしまうスパン誤りと，同じ文字列で一般名詞の意味を持つ苗字の見落としが増加していた．また，LLMについては，山田（太）のような人名の略記に対する見落としの増加等が原因でRecallが低下し，IC（InformedConsent）といった医療現場で用いられる用語・略語の誤抽出の増加等が原因でPrecisionが低下したが，前節で類型化した代表的な誤りの傾向と一致していた．非識別化モデルの実応用に向けた考察本研究で行った評価データの既知・未知・混在への分割と評価は，ある施設で作成したアノテーション済み学習データで微調整したモデルを，別施設や別期間の診療テキストへ適用する状況を想定し，人名表記のカバレッジの違いを擬似的に再現するものである．表2に示す通り，既知・混在データではBERTが高精度であり，処理対象となるデータセットに対して十分な学習データを準備し，人名表記のカバレッジを高められる場合には，従来の微調整に基づく手法が依然として有力であることが確認された．一方で，未知データではLLMの性能が相対的に良好であり，学習データで人名表記を十分に網羅できない状況では，LLMの使用が有効となり得る．ただし，表3よりLLMは誤抽出が主要な誤りであり，施設名など人名に類似した文字列を過剰抽出しやすい傾向が観察されている．また，個人情報保護の観点にのみ着目すれば，非識別化では見落としが最も重大なリスクとなる一方，誤抽出は相対的に影響が小さい．したがって，例えばLLMを単独で用いるのではなく，LLMの予測を人名等の候補生成として用い，人間による確認で誤抽出を抑制しつつ，漏れのないアノテーション作業の支援に活用できる可能性がある．4おわりに本稿では，診療テキストにおける人名抽出を対象として，微調整したBERTと，zero-shotLLM人名抽出モデルの性能を比較した．東北大学病院38診療科で作成された経過記録から構築した人名アノテーション付きデータを用いた評価の結果，評価データ全体ではBERTが最も高いF1を達成した一方で，学習データに含まれない人名のみからなる入力に対してはLLMがBERTを上回る性能を示した．この結果から，非識別化モデルの実応用において，処理対象の診療テキストに出現する人名を網羅できるだけの学習データが準備できる場合はBERTの方が優位である一方で，十分に学習データが準備できず入力されるデータに含まれる人名をカバーできない場合，LLMが有効に働く可能性が示唆された．今後の課題として，本稿では人名のみを抽出対象としたが，年齢・住所・施設名など他の識別情報についても同様に調査を行う必要がある．今後，複数病院のデータを使用した評価や，初診時記録など他形式のテキストについても評価を行う予定である．org/licenses/by/4.0/).