Strategy2Evidence:施策駆動型根拠生成の実現可能性の検討

マーケティング施策の意思決定において，施策の効果を事前に正確に予測することは困難である．そのため，意思決定者にとって「納得感のある根拠」は効果予測と同様に重要なファクターとなる．例えば「商品Aを購入する顧客に商品Bを推奨する」という施策に対して，「商品Aと商品Bは同時購買率が高く，この関係は過去6ヶ月間安定している」といった根拠があれば納得感が得られやすい．一方，「過去の購買データに基づく推奨」という説明だけでは，なぜその商品なのか，どの程度の確信を持てるのかが不明確であり，意思決定者の納得感を得にくい．近年，LLMを活用したデータ分析の自動化に関する研究が活発化している．DS-Agent[1]はKaggleコンペティションのタスク自動化を，BLADE[2]はビジネス分析の自動化を目指している．しかし，これらの研究は「データからパターンを発見する」方向数カタログから適切な分析を選択・実行し，施策を支持する根拠（Evidence）を生成する．性であり，膨大な分析手順とパターンの中から意味のあるものを探索し，実行可能な施策へと落とし込むという困難な問題に取り組んでいる．一方，実務では施策案が先に存在し，その妥当性を裏付ける根拠を収集するケースも多い．このような施策駆動型のワークフローには複数の利点がある．まず，施策が与えられることで探索空間が大幅に制限される．例えばクロスセル施策であれば同時購買分析が，顧客維持施策であれば離脱予兆分析が優先されるなど，見るべき分析が絞られる．また，どのようなパターンが出ていれば施策を支持するかも明確になる．さらに，施策の実行可能性は既に担保されているため，分析結果を即座に意思決定に活用できる．これらの特性は，AIによる自動化との親和性も高いと考えられる．本研究では，与えられた施策に対して適切なデータ分析を実行し根拠を生成する「Strategy2Evidence」という問題設定を提案し，その実現可能性を小売ドメインで検証する．本研究の貢献は以下の通りである：(1)新しい問題設定として，施策を入力として納得感のある根拠を出力する「施策→根拠」タスクの定式化，(2)評価の枠組みとして，関数選択・パラメータ・依存関係の3軸による多面的評価の提案，(3)実現可能性の検証として，小売ドメインにおける実験を通じた今後の発展に向けた課題探索である．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).トを採用．(3)どの根拠が最も良いかは評価せず，全バリアントを同等に正解として扱う．(4)エージェント出力は最も類似度の高い根拠と比較して評価．出力根拠の評価は、本稿での設定（op∈F）に基づき，3つの直感的な観点から評価を採用する．SelectScoreは「正しく関数を選べたか」を関数選択のF1スコアで評価する：Select=𝐹1({𝑓𝑖:𝑣𝑖∈𝑉pred},{𝑓𝑗:𝑣𝑗∈𝑉gt})ParamScoreは「正しくパラメータを設定できたか」をマッチしたノード間のパラメータ類似度で評価する：∑Param=1|𝑀|(𝑣𝑝,𝑣𝑔)∈𝑀sim(𝜃𝑝,𝜃𝑔)StructureScoreは「正しい順序で関数を実行できたか」を正解の依存関係の再現率で評価する：Structure=|𝐴gt∩paths(𝐸pred)|/|𝐴gt|4実験4.1実験設定OnlineRetailII[7]（UK中心の小売取引データ，約20,000注文，4,200商品）から250インスタンスを生成した．返品・キャンセルを除外し，販売回数10回以上の商品を対象として，8施策タイプに分配した（詳細は付録A）．エージェントには16種類の分析関数（6カテゴリ）を提供し，5モデル（GPT-5-mini，GPT-5，Gemini-3-Pro，Gemini-3-Flash，Gemini-2.5-Flash-Lite）と2つのエージェント型で評価した．Plan型分析実行前にEvidenceグラフ全体を定義する方式である．LLMは施策と関数カタログを入力として，全ての分析ノードとその依存関係を一度に出力する．生成されたEvidenceグラフは実行エンジンによって決定的に実行される．すなわち，同一のEvidenceグラフからは常に同一の分析結果が得られる．React型分析関数を逐次的に呼び出しながらEvidenceを構築する方式である．LLMは各ステップで次に実行すべき分析関数を選択し，その結果を観察してから次の関数を決定する．実行した関数呼び出しの系列がEvidenceグラフとなる．この方式では，構造的に線形なグラフしか生成できない制約がある．Overall=(Select+Param+Struct)/3TypeModelSelectParamStructOverallPlanGPT-5-mini0.550.830.820.73PlanGPT-50.500.770.520.60PlanGemini-3-Pro0.630.710.340.56PlanGemini-3-Flash0.610.690.270.52PlanGemini-2.5-FL0.460.740.220.47ReactGPT-5-mini0.460.820.160.48ReactGPT-50.430.780.130.45ReactGemini-3-Pro0.470.820.150.48ReactGemini-3-Flash0.450.820.110.46ReactGemini-2.5-FL0.420.890.090.47NodeCountvsOverallScore1.0plangemini-flash-liteplangemini-flashplangemini-proplangpt-5-miniplangpt-5reactgemini-flash-litereactgemini-flashreactgemini-proreactgpt-5-minireactgpt-5GTAvg(~5)0.80.6OverallScore0.40.20.0