JapaneseHRNIAH:架空データを用いた日本語人事労務領域のロングコンテキスト性能評価ベンチマーク

ロングコンテキストLLMの実用化が進む中，大量の文書から必要な情報を正確に検索・統合する能力の評価が重要となっている．特に人事労務ドメインでは，就業規則，勤怠データ，契約書など多様な文書を統合し，複雑な質問に答える必要がある．しかし，既存のNIAHベンチマークは一般的なドメインでの評価に留まり，日本語や特定ドメインに特化した評価は不足している．本研究では，日本語人事労務ドメインに特化したNIAHベンチマークを構築した．架空企業の従業員60名分のデータを含む合成データセットを「干し草の山（Haystack）」として作成し，単一データ検索，複数データ検索，時系列データ検索の3種類のタスクタイプを設計した．主要な6モデルを評価した結果，モデル間で性能差が確認され，特に時系列データ検索タスクで難易度が高いことが明らかになった．本研究は，日本語ドメイン特化ベンチマークの提供と，人事SaaS企業におけるLLM実用化の指針を示す点で貢献する．