症例報告テキストの因果木抽出のための自動評価手法の検討

症例報告の因果木抽出は、症例報告中の因果関係を木構造を用いて構造化するタスクである。因果木抽出の人手評価では、医学的知識とタスクの理解が必要となることから作業者が限られている。一方自動評価においても、柔軟性の不足やグローバル文脈の考慮の不足が指摘されている。本論文では、人手評価データを用いた大規模言語モデルのファインチューニングを行い、LLM評価器を用いた自動評価について分析した。医師の監修を受けた採点基準を用いることで、LLM評価は既存手法と同等の人手評価との相関を示した。さらに、訓練データの性質について分析を行い、点数の偏りよりも正解と評価対象間の類似性の重要さが示された。