症例報告の因果木抽出は、症例報告中の因果関係を木構造を用いて構造化するタスクである。因果木抽出の人手評価では、医学的知識とタスクの理解が必要となることから作業者が限られている。一方自動評価においても、柔軟性の不足やグローバル文脈の考慮の不足が指摘されている。本論文では、人手評価データを用いた大規模言語モデルのファインチューニングを行い、LLM評価器を用いた自動評価について分析した。医師の監修を受けた採点基準を用いることで、LLM評価は既存手法と同等の人手評価との相関を示した。さらに、訓練データの性質について分析を行い、点数の偏りよりも正解と評価対象間の類似性の重要さが示された。

因果木抽出は、症例報告中の因果関係を構造化するタスクである。関係三つ組単位の関係抽出タスクと比較して、因果木抽出は症例の最も重要な第一病態を木構造の根に配置することで、第一病態を中心に症例の文脈全体の因果を構造化するという特徴を持つ。因果木抽出の人手評価では、医学的知識に加えて因果木の理解の両方を要するため作業者が限られており、自動評価手法の開発が求められる。先行研究[1]の自動評価では、予測された因果木を関係三つ組の集合に分解してF1スコアを算出する。先行研究[2]は各関係三つ組の重要度を考慮した重み付けによって、関係三つ組F1と人手評価の相関を向上させた。一方、関係三つ組を用いた自動評価には、単一の正解データへの依存による柔軟性の不足や、症例の文脈全体を包括的には考慮できないというボトルネックが存在する。本研究では、医師の評価傾向を考慮したLLM評価器を構築した。構築したLLM評価器は、既存手法と同程度の人手評価との順位相関を達成した。ます。レイヤーの番号は各ノードの深さに対応する。た、LLM評価器の訓練データのデータ作成過程に由来する欠点について分析を行った。