国語科共通テスト試行調査を用いたRAGによる答案生成の評価と再検索RAGの提案

「国語」の試験は，受験生の基礎知識を測るだけでなく，多様な素材や議論を通じて思考の過程を深め，その成果を問うことを目的としている．特に，記述式や複数選択の設問を組み合わせることで，文脈の理解力や主体的な学びを評価する．大規模言語モデル（LLM:LargeLanguageModel）は，言語の理解[1]および生成[2]において高い性能を発揮している．これを活用することで，多層的な素材や設問に対応し，文脈を踏まえた答案を生成することが可能になる．さらにLLMを用いることで，受験生の思考過程を可視化し，主体的な学びを支援する新しいアプローチにつながると期待される．本研究では，大学入学共通テスト試行調査における各設問に対し，その答案生成手法として，単純なLLM，Retrieval-AugmentedGeneration（RAG），さらには再検索プロセスを考慮しシンプルな改良を施したRAG（以下再検索RAGと略称する）をそれぞれ用い，公式の採点ガイドラインに基づいて評価を行う．RAG[3]は，外部データベースから動的に知識を組み込むことにより，LLM単体では解答が難しい訓練時に含まれない専門的知識や，非公開情報を含む問題に対応可能である．さらに，この手法がLLM内部の知識よりも与えられたコンテキストの情報を優先して利用することを踏まえると[4]，「国語」のような外部情報に依存して複雑な問題を解くタスクにおいてRAGが高い効力を発揮すると考える．再検索RAGはRAGの改良版であり，シンプルな再検索プロセスを取り入れる．このアプローチにより，より採点条件を満たした答案を生成できるようになることを確認した．本研究の貢献は以下である．1.国語科共通テスト試行調査の公式な採点基準を利用してRAGの性能を定量的に評価したこと