国語科共通テスト試行調査を用いたRAGによる答案生成の評価と再検索RAGの提案

近年，大規模言語モデル（LLM:LargeLanguageModel）は発展の一途を辿ってきたが，これまで日本語の国語問題，特に大学入学共通テストのような全国試験レベルの問題にLLMを用いて取り組む研究は十分に行われてこなかった．本研究では，この課題に取り組むため，複数のLLMを用いて大学入学共通テスト試行調査の国語科目における答案を作成し，採点ガイドラインに基づいてその答案を評価する．また，Retrieval-AugmentedGeneration（RAG）手法を活用し，答案生成の手法を検討する．この際，再検索プロセスを考慮した手法を取り入れることで既存のRAG手法を改良し，生成される答案の精度や一貫性の向上を目指すとともに，単純なLLMでの生成との違いを調査した．実験の結果，再検索プロセスを考慮したRAG手法を用いることによって，より採点条件を満たした答案を生成できるようになることを確認した．