大規模言語モデル（LLM）のロングコンテキスト処理能力を評価するためのベンチマークが数多く提案され，その知見はモデル改良に活用されてきた．一方で，日本語においてはそのようなベンチマークが未整備であるという課題がある．本研究では，JEMHopおよびNIILCデータセットを基盤として，日本語におけるLLMのロングコンテキスト処理能力を評価する初のベンチマークを構築し，複数の代表的なLLMを用いて評価を行った．その結果，モデル間でロングコンテキスト耐性に差が見られること，および情報の位置によって性能が変動する傾向が日本語環境においても確認された．

LLMの開発は盛んに行われているが，新しいモデルが開発されるにつれ，より多くの入力を受け付けられるようになっている．これは，長文要約や，複数の文章にまたがった質問応答といった需要に答えるためである．実際，OpenAIが2023年にリリースしたGPT-4[8]の最大コンテキスト長は8kだったが，2025年にリリースされたGPT-5[10]は200kである．LLMのロングコンテキスト処理能力を評価すべく，様々なベンチマークが構築されている．ここで得られた知見がより良いモデル開発につながっている．一方，日本語において，それを評価するようなデータセットはない．本研究においては，JEMHop[6]，NIILC[11]データセットを用いて，日本語でLLMのロングコンテキスト処理能力を評価する初のベンチマークを作成し，複数のLLMを評価した．∗本研究はNIILLMC在籍時の成果です．