日本語ロングコンテキスト処理能力評価ベンチマークの開発

LLMの開発は盛んに行われているが，新しいモデルが開発されるにつれ，より多くの入力を受け付けられるようになっている．これは，長文要約や，複数の文章にまたがった質問応答といった需要に答えるためである．実際，OpenAIが2023年にリリースしたGPT-4[8]の最大コンテキスト長は8kだったが，2025年にリリースされたGPT-5[10]は200kである．LLMのロングコンテキスト処理能力を評価すべく，様々なベンチマークが構築されている．ここで得られた知見がより良いモデル開発につながっている．一方，日本語において，それを評価するようなデータセットはない．本研究においては，JEMHop[6]，NIILC[11]データセットを用いて，日本語でLLMのロングコンテキスト処理能力を評価する初のベンチマークを作成し，複数のLLMを評価した．∗本研究はNIILLMC在籍時の成果です．