空間・エンティティ制約下における地理空間推論のための構成的質問応答ベンチマークの自動生成

本研究では，空間制約とエンティティ制約の双方を考慮した，構成的な地理空間質問応答ベンチマークを自動生成するための枠組みを提案する．異なる種類の知識・推論能力を要求する14の質問テンプレートを設計し，実世界の地理的エンティティに関する合計5,306件の質問を生成した．提案ベンチマークを用いた最先端LLMの評価の結果，エンティティの属性情報や関連人物が紐づいた質問を得意とする傾向と，空間計算を要する質問において課題があることが明らかになった．