医療文書の見落とし軽減に向けた重要所見判定手法の妥当性評価

1.1研究背景病院等の医療現場においては，患者を担当する医師（依頼医）と検査画像の読影を行う医師（読影医）が異なることが大病院や大学病院では一般的である．依頼医は患者の診療に必要な情報を得るために読影医にCTなどの検査画像の読影を依頼し，読影医が検査画像の読み解き及び診断を行い，所見の有無を記述した読影レポートを作成する．読影レポートに記述される内容の例を図1に示す[2]．依頼医はこの読影レポートを基に，所見の有無を確認し，患者の診療に活かす．しかし，このプロセスにおいて，依頼医が重要所見を見逃す事例が発生しているため，読影レポートに対する確認不足や見落としを防ぐための仕組みづくりが重要視されている[3]．こうした背景を受けて，読影レポートに記載されている重要所見を依頼医へ通知する仕組みが考案されている．読影医が読影レポート作成時に重要所見を判定する手法が提案されているが，読影医の協力を得られない場合や読影医の負担の大きさが課題となる[4]．一方，用語辞書を作成して，ルールベースで重要所見を自動判定する手法が提案されているが，辞書にない用語の判定や曖昧な表現への対応，用語辞書の管理の負担が課題となる[5]．近年，固有表現抽出モデルにBERTやChatGPTなどの大規模言語モデルを用いて，読影レポートの所見を判定する手法が提案されており，所見を高い性能で判定できる可能性がある[6,7]．しかしながら，我々が行った調査では，読影レポート中に認められた所見の中で，重要といえる所見は全体の30%以下であった．そのため，これら手法で判定した所見を医師に通知することは，重要ではない所見が多く通知されるため，医師の重要所見の見落としを防ぐ仕組みとしては不十分である．1.2我々が実施した先行研究我々が実施した先行研究[1]では，重要所見を判定するために，固有表現抽出モデルで所見の有無を判定し，文書分類モデルで所見の重要度を判定する手法を提案した．岩手医科大学で作成した読影レポートで評価した結果，1つの固有表現抽出モデルで判定するよりも高い精度で重要所見を判定できることがわかっている．1.3類似する先行研究との違い本研究と類似する先行研究[8,9,10]では，読影レポートを対象にモデルを用いて所見検出や重要度判Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).3評価実験提案手法を読影レポートに適用した際の性能を評価する．3.1データセット岩手医科大学で過去に作成された読影レポート350件の所見欄を抽出してデータセットとして利用した．表4にデータセットの統計情報を示す．データセットに対して，所見有無，および重要度のアノテーションを実施した．アノテーション数をそれぞれ，表5，表6に示す．3.2評価方法固有表現抽出モデルの判定結果の正否判定は，2通りの方法（完全一致，部分一致）を用いる．「完全一致」は，モデル判定とアノテーションの所見有無および位置が完全一致した場合のみ正解と見なす．一方，「部分一致」は，所見有無が一致し，位置が部分一致する場合も正解と見なす．両者の違いを表7に示す．評価指標にはF1を用いて，10-fold交差検証法で作成した各モデルの評価値の平均値を算出して評価する．文書分類モデルの判定結果の正否判定は，2通りの方法（個別，集約）を用いる．「個別」は，重要度ごとに正否判定を行う．一方，「集約」は，表8に示すように重要度を集約して，正否判定を行う．集約する理由は，重要所見を含む文と含まない文に対する，それぞれの重要度判定の性能を評価し易くするためである．両者の違いを表9に示す．評価指標にはF1を用いて，10-fold交差検証法で作成した各モデルの評価値の平均値を算出する．所見有無判定結果と重要度判定結果を組み合わせた場合の評価を行う．まず，所見有無判定を用いて「認められる」または「疑いがある」所見を含む文を抽出し，抽出した文に対して重要度判定を行う（図3）．評価指標は，文書分類モデルの判定結果と同様にF1を用いる．4評価結果4.1所見有無判定手法結果「完全一致」，「部分一致」で正否判定した場合の所見有無判定結果を表10に示す．マイクロ平均F1値は「部分一致」の方が「完全一致」よりも高く，org/licenses/by/4.0/).「認められない」と「認められる」に比べて，「疑いがある」のF1値が低い．部分的にでも所見有無を判定できれば，依頼医へ通知できる．また，所見の詳細は依頼医が目視により把握できるため，本研究では，「部分一致」の精度が重要となる．「部分一致」の方法で算出した，所見有無判定性能としては，マイクロ平均F1値0.977を示した．4.2重要度判定手法結果「個別」，「集約」で正否判定した場合の重要度判定結果を表11に示す．「重要度5」および「重要度4」よりも，「重要度4以上」に集約した方がF1値は高い．重要所見の見落としを防ぐという観点では，重要度4以上を正しく4以上と判定することが重要となる．「重要度4以上」の方法で算出した，重要度判定性能としては，F1値0.766を示した．ルール適用前の「個別」，「集約」で正否判定した場合の重要度判定結果を表12に示す．ルール適応前後での性能差はわずかであり，読影医が許容できないとした誤判定を性能を落とすことなく判定する可能性を示した．また，ルール適用により正しく判定可能になった例を表13に示す．所見有無判定にて疑いがあると判定された所見を含む文は，同様の所見を認められると判定された文よりも重要度判定結果が低くなる傾向があることが示唆される.4.3両判定結果組み合わせ結果所見有無判定と重要度判定を組み合わせた場合の評価結果を表14に示す．マイクロ平均F1値0.862であり，実用的な性能であることを示した．5おわりに本稿では，読影レポート中の重要所見を判定するために，我々が実施した先行研究[1]で提案した固有表現抽出と文書分類を組み合わせた手法の有効性を複数の読影医により評価した．岩手医科大学で作成した読影レポートで評価した結果，高い精度で重要所見を判定できることがわかった．また，ルールベース判定を導入することで，汎化性能を維持しつつ重要所見の確実な判定が可能となることも確認した．今後は，本手法の判定結果を依頼医に通知することの有効性を実証し，医師の重要所見の見落とし防止への活用に向けた取り組みを進める．依頼医に通知する際の画面イメージ例を図4に示す．org/licenses/by/4.0/).