JapaneseHRNIAH:架空データを用いた日本語人事労務領域のロングコンテキスト性能評価ベンチマーク

近年，大規模言語モデル（LLM）のコンテキスト長が飛躍的に拡大し，100万トークンを超えるコンテキストを処理できるモデルが登場している．これにより，大量の文書を一度に処理し，その中から必要な情報を検索・統合するタスクが現実的なものとなってきた．特に，企業の人事労務部門では，就業規則，給与テーブル，雇用契約書，勤怠ログ，1on1面談記録など，多様な形式の文書を統合的に扱う必要がある．しかし，ロングコンテキストLLMの実用化を進める上で，その性能を適切に評価するベンチマークが必要である．NeedleInAHaystack（NIAH）ベンチマーク[1]は，大量の文書（干し草の山）の中から特定の情報（針）を検索する能力を評価する手法として広く用いられている．しかし，既存のベンチマークは主に英語の一般的なドメインを対象としており，日本語や特定の実務ドメインに特化した評価は不足している．本研究では，日本語人事労務ドメインに特化したNIAHベンチマークを構築し，架空企業の従業員60名分のデータを含む合成データセットを「干し草の山（Haystack）」として作成した．単一データ検索，複数データ検索，時系列データ検索の3種類のタスクタイプを設計し，主要な6モデル（GPT-5，GPT-5-mini，Gemini3Pro，Gemini3Flash，ClaudeSonnet4.5，ClaudeOpus4.5）を評価した．なお，本研究で構築したベンチマークは右記のGitHubリポジトリで公開している．https://github.com/kufu/Japanese-HR-NIAH