症例報告テキストの因果木抽出のための自動評価手法の検討

因果木抽出は、症例報告中の因果関係を構造化するタスクである。関係三つ組単位の関係抽出タスクと比較して、因果木抽出は症例の最も重要な第一病態を木構造の根に配置することで、第一病態を中心に症例の文脈全体の因果を構造化するという特徴を持つ。因果木抽出の人手評価では、医学的知識に加えて因果木の理解の両方を要するため作業者が限られており、自動評価手法の開発が求められる。先行研究[1]の自動評価では、予測された因果木を関係三つ組の集合に分解してF1スコアを算出する。先行研究[2]は各関係三つ組の重要度を考慮した重み付けによって、関係三つ組F1と人手評価の相関を向上させた。一方、関係三つ組を用いた自動評価には、単一の正解データへの依存による柔軟性の不足や、症例の文脈全体を包括的には考慮できないというボトルネックが存在する。本研究では、医師の評価傾向を考慮したLLM評価器を構築した。構築したLLM評価器は、既存手法と同程度の人手評価との順位相関を達成した。ます。レイヤーの番号は各ノードの深さに対応する。た、LLM評価器の訓練データのデータ作成過程に由来する欠点について分析を行った。