日本語ロングコンテキスト処理能力評価ベンチマークの開発

大規模言語モデル（LLM）のロングコンテキスト処理能力を評価するためのベンチマークが数多く提案され，その知見はモデル改良に活用されてきた．一方で，日本語においてはそのようなベンチマークが未整備であるという課題がある．本研究では，JEMHopおよびNIILCデータセットを基盤として，日本語におけるLLMのロングコンテキスト処理能力を評価する初のベンチマークを構築し，複数の代表的なLLMを用いて評価を行った．その結果，モデル間でロングコンテキスト耐性に差が見られること，および情報の位置によって性能が変動する傾向が日本語環境においても確認された．