空間・エンティティ制約下における地理空間推論のための構成的質問応答ベンチマークの自動生成

大規模言語モデル（LLM）が進展し，言語・視覚情報を統合的に処理するための推論能力が大幅に向上したが，地理空間推論においては依然として課題を抱えている．地理空間推論とは，現実世界の場所や施設などの地理的エンティティが関わる，地理空間的な問題の解決に必要な処理である．地理空間推論においては，地理的エンティティ間の距離，方向，地理的包含関係といった空間的関係（空間制約）を捉える能力が求められるとともに，地理的エンティティの文化的性質・社会的機能といった属性的情報や，他の非地理的エンティティとの関係性についての知識（エンティティ制約）も問われる．例として，図1の質問文に答える状況を想定すると，実用的な問題解決においてこの2種の情報を扱うことの必要性を理解しやすい．従来研究で，空間制約やエンティティ制約が関わる推論を必要とする地理空間質問応答（QA）データセットを構築し，LLMの推論能力を評価する取り組み[1,2]が行われている．しかし，既存データセットでは，各質問が要求する具体的スキルが明示質問テンプレート{起点}から{距離値}km圏内にある、{人物}に関係のある{施設カテゴリ}はどこ？生成された質問京都駅から1km圏内にある、空海に関係のある仏教寺院はどこ？的に定義されていないため，評価結果からLLM間の総合的な性能の優劣を比較できても，各LLMが有する具体的な能力・知識の程度を解釈することが困難である．この課題に対し，本研究では，空間制約とエンティティ制約の両方を取り入れた地理空間QAベンチマークを，構成的な方法で自動構築するための枠組みを提案する．提案する枠組みでは，第一に，質問の構成要素となる制約条件を，空間制約とエンティティ制約の2種の観点から体系的に整理した分類体系（表4）を用いる．第二に，分類体系上の制約条件のタイプとその組合せを選択し，それら制約条件をスロットとして含む質問テンプレートを設計・定義する．第三に，Wikidata1）およびOpenStreetMap（OSM）2）上のエンティティ情報を利用し，質問テンプレートの条件を満たすエンティティおよび条件値を当てはめた質問を生成する．この枠組みにより，単純な空間計算処理の質問から，空間的関係とエンティティ属性・関係的要素を複合的に扱う質問まで，実在するエンティティについての質問セットを柔軟かつ体系的に生成しつつ，質問テンプレートごとの回答精度から，要求されている知識・推論能力の程度を解釈することが可能になる．本枠組みに基づいて，5,306件の質問からなるベ1）https://www.wikidata.org/2）https://www.openstreetmap.orgThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).構成要素質問文質問数空間制約重視の質問S0,S2,E1{S0}から{S2}km圏内にある{E1}はどこ？400S0,S2,S3,E1{S0}から{S2}km圏内にあり{S3}に位置する{E1}はどこ？400S0,S1,S2,E1{S1}で，{S0}から{S2}km圏内にある{E1}はどこ？400S0,S1,S2,S3,E1{S1}で，{S0}から{S2}km圏内にあり{S3}に位置する{E1}はどこ？400エンティティ制約重視の質問S1,E1,E2{S1}で，{E2}に関係のある{E1}はどこ？257S1,E1,E4{S1}で，{E4}の{E1}はどこ？326複合的な質問S0,S2,E1,E2{S0}から{S2}km圏内にある，{E2}に関係のある{E1}はどこ？383S0,S2,S3,E1,E2{S0}から{S2}km圏内にあり{S3}に位置し，{E2}に関係のある{E1}はどこ？382S0,S2,E1,E4{S0}から{S2}km圏内にある，{E4}として登録されている{E1}はどこ？400S0,S2,S3,E1,E4{S0}から{S2}km圏内にあり{S3}に位置し，{E4}として登録されている{E1}はどこ？398S0,S1,S2,E1,E2{S1}で，{S0}から{S2}km圏内にある，{E2}に関係のある{E1}はどこ？383S0,S1,S2,E1,E4{S1}で，{S0}から{S2}km圏内にある，{E4}として登録されている{E1}はどこ？396S0,S1,S2,S3,E1,E2{S1}で，{S0}から{S2}km圏内で{S3}に位置し，{E2}に関係のある{E1}はどこ？381S0,S1,S2,S3,E1,E4{S1}で，{S0}から{S2}km圏内で{S3}に位置し，{E4}として登録されている{E1}はどこ？4005,3063.2ベンチマーク構築プロセス本研究で定義した分類体系（付録4の表4）に基づき，4つの空間制約（起点𝑆0，位相的関係𝑆1，計量的関係𝑆2，方向的関係𝑆3）と，3つのエンティティ制約（種別𝐸1，関連人物𝐸2，属性𝐸4）を組み合わせることで，表1に示す質問テンプレートを設計した．作成した質問テンプレートは，空間制約重視の質問4種類，エンティティ制約重視の質問2種類，両方の制約を重視した複合的な質問8種類の，合計14種類である．続いて，回答対象の候補となる日本国内のエンティティをWikidataおよびOSMから取得し，質問テンプレートごとに，後述する方法で条件値の設定とその制約を満たすエンティティの判定を行い，個々の質問を生成した．各質問テンプレートにつき最大400問となるよう，生成された質問の中から，出発地が分散するようにサブセットをサンプリングし，合計5,306問を最終的なベンチマークデータセットとした4）．各質問テンプレートの制約を満たすエンティティの判定は，以下の手順で行った．ステップ1：施設カテゴリ全ての質問は，特定の施設カテゴリ（𝐸1）に属するエンティティ5）を求める形式とする．つまり「...{entity_type}はどこ？」（例：「...{仏教寺院}はどこ？」）という形式である6）．ステップ2：空間的起点と空間計算処理質問を構成する基本要素として起点（𝑆0）がある．これは，質問者と想定される人物の移動の起点を表すもので，本研究では，人間の移動における自然な基準点とみなせる鉄道駅7）を一貫して採用する．起点を基に，距離制約（𝑆2）および方向制約（𝑆3）が決定可能となる．距離制約を提供する場合，起点からの距離を{0.5,1.0,5.0,10.0,50.0}kmの範囲から選択するものとする．方向制約を適用する場合，起点からの方向を{東,西,南,北}の中から選択するものとする．ステップ3：位相幾何的計算必要に応じ，位相幾何的制約（𝑆1）として，特定の行政区域（都道府県・市区町村）との包含関係を設定する．ステップ4：エンティティ制約必要に応じ，エンティティの属性や他の（非地理的）エンティティとの関係についての制約を設定する．対象エンティティに関連する人物についての関連人物制約（𝐸2）では，Wikidata上で，対象エンティティと他の人物エンティティの間に関係性を示すプロパティ8）が付いている場合，制約を満たすと4）構築したデータセットは次のURLで公開する：https://github.com/NAIST-geo-and-lang/Compositional_GeoQA_Benchmark5）施設カテゴリは，寺院，神社，城，美術館，博物館の5カテゴリに限定し，該当するプロパティまたはタグを持つエンティティをWikidataおよびOSMから取得した．6）この形式はタイプ条件付き検索に相当するが，本研究でのスロットベースの定式化はこれに限定されない．エンティティの属性や関係，件数を問うものなど他の質問タイプの質問生成への拡張は今後の課題とする．7）instance_of=railway_stationを持つWikidataエンティティを取得し，そのラベルと緯度・経度を使用した．8）founded_by（創設者），dedicated_to（対象物を捧げる人や組織），associated_with（関連人物）を使用した．org/licenses/by/4.0/).判定する．属性制約（𝐸4）では，対象エンティティが，Wikidata上でエンティティの属性を示すプロパティ値を持つ場合，制約を満たすと判定する．本研究では，国宝や重要文化財といった文化財指定を属性情報として用いる．4実験4.1実験設定モデル公開APIを通じてアクセス可能な商用LLMであるGPT-5.2[6]およびGemini3Flash[7]の地理空間推論能力を評価する．両モデルとも，同等のハイパーパラメータ（付録B）およびプロンプト条件を適用し，外部検索ツールは使用せず内部知識のみに依存するよう設定し，推論レベルはMediumとした．プロンプト形式回答にあたる場所1か所と，回答根拠にあたる説明文という2つの情報を，この順に出力することを求めるプロンプト（付録C）を用いた．評価方法各質問は1個以上5個以下の正解エンティティを持つ．LLMが回答した場所が，正解エンティティのいずれかに，文字列として完全一致する場合に正解とみなした．評価指標として，質問セットに対する正解率を報告する．4.2実験結果質問カテゴリの中で，「空間制約重視の質問」に対して最も低い正解率（30%前後）を示した．「エンティティ制約重視の質問」では，それよりも高い正解率が得られ，Geminiは65%を超える正解率を達成した．空間制約とエンティティ制約を組み合わせた「複合的な質問」では，両モデルとも「空間制約重視の質問」より高く，「エンティティ制約重視の質問」と同等またはそれより低い正解率を示した．4.3結果の考察「空間制約重視の質問」の正解率が低い原因として，正解候補のエンティティを絞り込むために正確な空間計算が要請される点において，その空間計算がLLMにとって困難であることが考えられる．一方，「複合的な質問」では，正確な空間計算を行わなくても，エンティティ制約の情報が，正解候補を絞り込むための重要な手がかりとして機能し，正解構成要素GPT-5.2Gemini3Flash空間制約重視の質問S0,S2,E126.7536.75S0,S2,S3,E123.2533.75S0,S1,S2,E125.2535.25S0,S1,S2,S3,E117.2525.50エンティティ制約重視の質問S1,E1,E243.9767.32S1,E1,E455.5265.34複合的な質問S0,S2,E1,E238.1261.36S0,S2,S3,E1,E237.9659.95S0,S2,E1,E443.7560.25S0,S2,S3,E1,E439.1960.25S0,S1,S2,E1,E240.7369.45S0,S1,S2,E1,E453.2865.25S0,S1,S2,S3,E1,E237.8068.24S0,S1,S2,S3,E1,E451.7569.00全質問平均36.2053.75トは，その構成要素である空間要素（S）とエンティティ要素（E）のIDによって識別される（表4参照）．質問(S0,S2,E1,E2):茨城県ひたちなか市にある佐和駅から10.0km圏内にある，徳川光圀に関係のある神社はどこ？GPT-5.2（正解）:常磐神社Gemini3Flash（不正解）:酒列磯前神社正解セット:常磐神社,常盤神社き正解・不正解を判定している．へと辿り着けるケースが増えると考えられる．たとえば，表3に示す予測結果例では，GPT-5.2は正解「常磐神社」を回答している．この質問では，関連人物（𝐸2）のエンティティ制約「徳川光圀に関連する」が手がかりとして有用であったと考えられる．5おわりに本稿では，空間制約とエンティティ制約下における地理空間推論のための構成的地理空間QAベンチマークの構築と，最先端LLMの性能評価について報告した．今後の展開として，本ベンチマークを拡張し，多段階推論を要する質問，時間的要素を含む質問，ユーザが地図インターフェースを通じて問い合わせる状況を想定したマルチモーダルな質問などを追加し，より包括的な基盤ベンチマークを構築することを予定している．org/licenses/by/4.0/).