neoAI-InstructBench:実践的シナリオに基づく日本語複合指示追従ベンチマーク

大規模言語モデル（LLM）の社会実装が進むにつれ,実利用シーンにおけるユーザーの指示は複雑化している.タスク1つをとっても,箇条書き形式,専門用語の回避,比喩の挿入といったように,多岐にわたる制約が同時に課されることが一般的である.特に日本語では,敬語体系やカタカナ等の表記.文末表現といった言語固有の制約が存在するため,複合的な制約を満たす能力を実運用に近い形で評価することが重要である.しかし,既存の指示追従能力評価ベンチマークは,実運用で現れる複合指示を十分に反映できていない.IfEval[1]のような代表的ベンチマークは,文字数制限や禁止語,指定フォーマットといった客観的に判定可能な制約（Closed-ended[2]）を中心に設計されており,判定に文脈理解や解釈を要する非決定論的な制約（Open-ended）を評価できない.また,評価に用いる制約の種類や表現が限られている場合,モ1）https://github.com/neoAI-inc/neoAI-InstructBenchneoAI-InstructBench実世界の複雑さを測る、多様な制約を統合した複合指示ベンチマークSituation世界モデルって何ですか？Style認知科学や心理学の観点から、日常生活の身近な例えを使い、中学生でもCreativity理解できる平易な言葉遣いで説明してくだContentさい。回答は具体的な研究例や実験を1つ以上含め、Markdownの記法を使わない…Formatデルがそのパターンに過学習し,ベンチマーク上の遵守が実運用における頑健な指示追従能力を必ずしも保証しないことが報告されている[3].さらに,多くの既存設定[2,4]は単一の観点からの指示で構成されるため,実利用で頻出する異種制約の同時要求や複数制約が互いに及ぼす干渉を検証できていない.本研究は,実運用シナリオに基づいた汎用的な日本語複合指示を体系的に評価し,モデルの指示追従能力の実態と限界を明らかにすることを目的として,実運用ログを起点に複合指示ベンチマークneoAI-InstructBench（図1）を構築した.本ベンチマークは,Closed-endedとOpen-endedの双方を評価対象に含み,5つのカテゴリにまたがる制約を組み合わせた複合指示タスクとして構成した.また,各指示がすべて異なる文面となるよう設計した.主要なモデルを評価した結果,GPT-5.2[5]のタスク完遂率は67%であった.加えて,複合指示下における指示間干渉の傾向と,表記・形式制約がボトルネックとなり得る点を分析した.さらに,一部のモデルでは推論が停止せず最大トークン数に達することで無応答に至る失敗様式も確認した.Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).4評価設定4.1評価指標モデルの性能を多角的に測定するため,2つの指標を用いる.PromptAccは,1つのタスクに含まれるすべての指示を満たしたタスクの割合である.Inst.Accは,各指示の達成可否を判定し,その平均として算出する.いずれも成否判定に基づく.4.2評価手法指示の性質に応じたハイブリッド評価を採用した.文字数カウントや特定の単語の有無など,指示カテゴリーに依らず客観的に検証可能な条件については,Python関数によるルールベース評価（Closed-ended）を行った.厳格な判定基準を採用し,具体的には,モデル出力に含まれる装飾記号の除去やフォーマットの自動修正といった前処理を行わず,生の出力文字列が条件を完全に満たしている場合のみを成功と判定した.一方,ルールベースでの検証が困難な指示については,LLM-as-a-judgeによる評価（Open-ended）を行った.評価モデルには判定根拠を出力させた上で,遵守の可否のみを判定させた.評価用プロンプトの詳細はAppendixCに示す.4.3実験環境実験の再現性を担保するため,以下の設定で推論を行った.推論時の最大トークン数は10,240に設定し,Reasoningeﬀorthigh相当に設定した3）.また,推論により全てトークンが消費され,空のレスポンスが返された場合は最大3回リトライを行い,それでも空の場合は回答なしとして扱った.Throttling等のサーバー側要因によるエラーは,このリトライの対象外とする.5実験結果5.1全体結果主要なClosedmodelおよびOpenweightsmodelの評価結果を表2に示す．全モデルの中で最も高いPromptAccを示したのはGPT-5.2の67%であり,neoAI-InstructBenchの複合指示タスクの難易度の高さが示唆される.また,指示正解率の平均88%とタ3）highが設定できない場合は8,192トークンを推論用に指定した.ModelPromptAccInst.AccGPT-5.2[5]67.0088.34GPT-5.1[9]66.0087.12GPT-5mini[10]61.0075.15GPT-5nano[10]35.0058.59ClaudeOpus4.5[11]56.0083.74ClaudeSonnet4.5[12]51.0081.60ClaudeHaiku4.5[13]39.0074.23Gemini3Pro[14]51.0081.60Gemini2.5Flash[15]45.0077.30Gemini2.5FlashLite[15]37.0073.31KimiK2Thinking[16]47.0079.75Qwen3235BA22BInstruct[17]42.0074.85Qwen3235BA22Bthinking[17]47.0077.91gpt-oss-120b[18]45.0079.75gpt-oss-20b[18]47.0075.46Gemma327BInstruct[19]20.0062.27スク正解率の67%の乖離は,多くの指示を遵守していても,特定の指示の欠落によりタスク全体が失敗となる場合があることを示す.さらに,OpenweightsモデルのPromptAccは最大でも47%に留まり,最大67%のClosedmodelとの間に差が見られた.同系列の軽量モデルほど正解率が低下しており,複合指示の同時達成には一定の推論・生成能力が必要である.6分析と考察6.1指示数およびカテゴリーごとの傾向指示数の増加に伴うタスク正解率（PromptAcc）の推移を図2右に示す.一般に,タスクに含まれる指示数が増えるほど全指示の同時充足は困難となり,PromptAccは低下する.一方で,一部のモデルでは指示数が増加する区間で一時的な上昇を含む非単調な変動も観測された.ただし,指示数別に分割した場合のサンプル数が小さいため,観測された変動には統計的な不確実性が含まれ得る.次に,GPT-5.2のカテゴリ別正解率（図2左）では,Situation（95.2%）およびCreativity（96.9%）で高い正解率が得られた.一方,Format（79.7%）やContent（83.6%）では相対的に失敗が多く,複合指示下では形式的・語彙的な制約がボトルネックとなり得る.さらに,文字種の制約や文末記号の統一といった表記指示でも失敗が観測され,日本語固有の制約への適応には改善の余地がある.例えば,文末を全角の「？」または「！」で統一するStyle指示に対して半角の「!」を出力する,ひらがなと句読点のみを使用する指示に対して「同じれしぴでも」と漢字がorg/licenses/by/4.0/).1箇所だけ入り込む,といった例を確認した.全モデルのカテゴリ別および指示数別の詳細な結果はAppendixAに示す.6.2指示間干渉と失敗様式複合指示において,カテゴリー𝐴の指示が含まれることがカテゴリー𝐵の遵守に与える影響を評価するため,干渉効果Δ(𝐴→𝐵)を定義する.入力プロンプトを構成する指示の集合をCとし,集合Cの条件下におけるカテゴリー𝐵の正解率をAcc(𝐵|C)とし,𝐴∈CはCにカテゴリー𝐴の指示が含まれることを表す.干渉効果Δ(𝐴→𝐵)は,カテゴリー𝐴の指示を含む場合と含まない場合のカテゴリー𝐵の正解率差として次式で表される.Δ(𝐴→𝐵)=Acc(𝐵|𝐴∈C)−Acc(𝐵|𝐴∉C)(1)Δ(𝐴→𝐵)<0は,カテゴリー𝐴の指示を含むことがカテゴリー𝐵の性能を阻害していることを表す.分析の結果,カテゴリ間で正負の干渉が観測された.例えば,Content指示が含まれる場合,Format指示の正解率が約10ポイント低下する一方で,Style指示の正解率は約20ポイント向上する傾向が確認された.本分析は相関に基づくものであり,厳密な因果関係の特定にはさらなる検証が必要である.Overthinkingによる無応答一部のモデルでは,3回のリトライを含む全ての生成においてReasoningのみで最大トークン数に達し,回答が出力されない現象が確認された.本実験では,GPT-5nanoで26件,GPT-5miniで11件,GPT-5.1で2件発生した.複合指示が増えると回答探索に失敗し,運用上致命的な無応答に至る可能性がある.6.3自動評価の課題LLMを用いた自動評価の判定精度についても定性的に確認した.評価基準は明文化しているものの,ルは行の指示が存在することで列の指示の正解率がどの程度変化したかを示す.値が負であれば干渉により精度が低下し,正であれば精度が向上したことを意味する.解釈が分かれるケースでは判定揺れが見られた.例えば,「Git初心者にも心理的な不安を与えないように」という指示に対し,モデルが「『詰み』『禁じ手』『破壊光線』など,取り返しのつかない失敗を連想させる語を用いた」として不合格と判定した事例があった.しかし,当該指示は「不安を与えない」という要件自体に解釈の余地があり,語彙選択が許容範囲かどうかの判断が一意に定まりにくい．配慮や創造性の評価には難しさが残っており,自動評価の限界として考慮する必要がある.7おわりに本研究では,実運用シナリオに基づく日本語複合指示ベンチマークneoAI-InstructBenchを構築し,主要な大規模言語モデルを評価した.その結果,最も高いPromptAccを示したGPT-5.2においてもタスク正解率は67%に留まり,複合指示タスクの難易度の高さが示唆された.今後は,複合指示下で顕在化する干渉および表記・形式制約の破綻を抑制する手法の検討と,評価の信頼性向上が課題である.org/licenses/by/4.0/).