ロングコンテキストLLMの実用化が進む中，大量の文書から必要な情報を正確に検索・統合する能力の評価が重要となっている．特に人事労務ドメインでは，就業規則，勤怠データ，契約書など多様な文書を統合し，複雑な質問に答える必要がある．しかし，既存のNIAHベンチマークは一般的なドメインでの評価に留まり，日本語や特定ドメインに特化した評価は不足している．本研究では，日本語人事労務ドメインに特化したNIAHベンチマークを構築した．架空企業の従業員60名分のデータを含む合成データセットを「干し草の山（Haystack）」として作成し，単一データ検索，複数データ検索，時系列データ検索の3種類のタスクタイプを設計した．主要な6モデルを評価した結果，モデル間で性能差が確認され，特に時系列データ検索タスクで難易度が高いことが明らかになった．本研究は，日本語ドメイン特化ベンチマークの提供と，人事SaaS企業におけるLLM実用化の指針を示す点で貢献する．

近年，大規模言語モデル（LLM）のコンテキスト長が飛躍的に拡大し，100万トークンを超えるコンテキストを処理できるモデルが登場している．これにより，大量の文書を一度に処理し，その中から必要な情報を検索・統合するタスクが現実的なものとなってきた．特に，企業の人事労務部門では，就業規則，給与テーブル，雇用契約書，勤怠ログ，1on1面談記録など，多様な形式の文書を統合的に扱う必要がある．しかし，ロングコンテキストLLMの実用化を進める上で，その性能を適切に評価するベンチマークが必要である．NeedleInAHaystack（NIAH）ベンチマーク[1]は，大量の文書（干し草の山）の中から特定の情報（針）を検索する能力を評価する手法として広く用いられている．しかし，既存のベンチマークは主に英語の一般的なドメインを対象としており，日本語や特定の実務ドメインに特化した評価は不足している．本研究では，日本語人事労務ドメインに特化したNIAHベンチマークを構築し，架空企業の従業員60名分のデータを含む合成データセットを「干し草の山（Haystack）」として作成した．単一データ検索，複数データ検索，時系列データ検索の3種類のタスクタイプを設計し，主要な6モデル（GPT-5，GPT-5-mini，Gemini3Pro，Gemini3Flash，ClaudeSonnet4.5，ClaudeOpus4.5）を評価した．なお，本研究で構築したベンチマークは右記のGitHubリポジトリで公開している．https://github.com/kufu/Japanese-HR-NIAH