RAGAsによるAIエージェントのコード生成における要件に対応した評価フレームワークの構築

大規模言語モデル（LLM）では，生成内容がユーザの質問に適切に答えているかを定量化する評価が重要課題である．近年，この背景から，RAG（Retrieval-AugmentedGeneration）を対象とした自動評価フレームワークRAGAs（Retrieval-AugmentedGenerationAssessment）が提案され，忠実性や関連性に加えて，AIエージェントに適したワークフローの「目標達成」を判定する指標（AgentGoalAccuracy）も提供されている．また，近年，ソフトウェア開発へのAIエージェントの導入が加速している．AIエージェントは人間の代わりに複雑な処理を行える一方で，その生成コードは一般に分量が多く，構造も複雑であるため，ユーザの要件を満たしているかを人手で検証することは容易ではない．本研究は，RAGの評価として設計されたRAGAsを，AIエージェントが生成するコードの要件充足評価へ転用し，ユーザの要件の段階的なフェーズに対応した評価方法を提案する．