るガードレールが導入されている．大規模言語モデル（LargeLanguageModels;LLMs）こうした防御策が導入される一方で，それらには，有害な応答を抑制するためのセーフティアラを意図的に回避する攻撃手法も報告されている．イメントやガードレールが導入されているが，これZhangらは，従来のプロンプトエンジニアリングらを回避するジェイルブレイク攻撃も数多く報告さに基づく手法とは異なるアプローチとして，LLMれている．ZhangらによるLLMInterrogation（LINT）Interrogation（LINT）[2]を提案した．LINTは，生成は，自己回帰生成におけるトークン選択過程へ直接時にモデル内部で保持される次トークンの候補集合介入することで高い攻撃成功率を示すジェイルブレへのアクセスを前提とする．その上で，top-𝑘候補イク攻撃であるが，top-𝑘の候補トークンそれぞれの一部を差し替えることにより，否定的応答への遷に対する短文生成を伴うため，計算コストが大きい移を回避し，本来は防御策によって抑制されているという課題がある．本研究では，次トークンの出力応答を引き出す．この操作により，平均2～3回程確率分布に完全にアクセス可能なホワイトボックス度のトークン差し替えのみで，200トークンを超え環境を想定し，生成前の段階で，候補トークンが将る有害応答が生成されることが報告されている．来的に有害な応答へとつながりやすいかを評価すLINTの設計では，次トークンの出力確率分布全る探索戦略を検討する．具体的には，肯定応答また体にはアクセスせず，候補集合として与えられるは拒否応答に特徴的な短いトークン列をターゲッtop-𝑘のみを用いて操作を行うことが前提とされてトフレーズとして定義し，その出現確率に基づいている．この制約の下では，有害な応答へとつながり次トークン候補を並び替えることで，短文生成の対得る文脈を同定するために，多数のトークン候補に象を限定する．Llama2-7b-chat-hfを用いた実験によ対して生成を試行し，その挙動を観測する必要があり，提案手法はLINTの基本構造を維持したまま，る．しかし，実際に出力として利用される候補はご攻撃成功率を一定程度保ちつつ，探索過程におけるく一部に限られるため，多くの試行は有害応答の生推論トークン数を削減できることが確認された．成には寄与せず，探索過程における試行数の増大を招く．その結果，LINTにおける探索効率は低下す

る．一方で，近年ではLlamaやQwenに代表される大規模言語モデル（LargeLanguageModels;LLMs）ように，次トークンの出力確率分布全体にアクセスは，その推論能力や表現能力の向上に伴い，自然言可能なモデルも利用されつつあるが，既存手法の多語を介して高度な推論・生成を行う基盤モデルとくはtop-𝑘のみを前提としており，この情報を生成して，幅広く応用されている．一方で，これらのモ前の評価に十分活用していない．そのため，応答生デルは，利用者の意図に関わらず，違法・有害な行成前に，各トークン候補が将来的に誘発しやすい文為を助長し得る情報や，不適切な言説を生成して脈を評価できる可能性が残されている．しまうリスクを内包していることも指摘されてい本研究では，この点を踏まえ，攻撃者の探索過程る．このため，実運用されている多くのLLMでは，を解析する観点から，多数のトークン候補の中からファインチューニングやReinforcementLearningfrom将来的に有害な応答へとつながりやすいものを，実HumanFeedback（RLHF）といった学習段階でのア際に応答生成を行うことなく識別できるかという問org/licenses/by/4.0/).題に着目する．具体的には，あるトークンが選択された場合に，その後の生成過程において，有害な要求に対する肯定的・協力的な応答に特徴的な表現が出現しやすいかどうかを，将来のトークン分布における特定表現の出現確率として評価する．ここで用いる評価は，これらの表現を実際に出力させることを目的とするものではなく，将来の生成挙動に関する潜在的な傾向を推定する指標として用いられる．この評価に基づいてトークン候補を選択することで，有害な応答を引き出しやすい生成経路を優先的に探索できる可能性がある．本研究の主な貢献は以下の二点にまとめられる．(1)次トークンの出力確率分布にアクセス可能なホワイトボックス環境において，候補トークンが将来的に有害な応答へとつながりやすいかを生成前に確率的に評価する探索戦略を提案する．本手法は，LINTの枠組みを踏襲しつつ，不要な生成試行を抑制することで探索効率の向上を図る．(2)実験を通じて，上記の確率的評価が，次トークン候補の選択が有害応答につながる傾向を生成前に捉える指標として有効であることを示す．なお，本研究は，大規模言語モデルの安全機構の特性を分析し，防御手法設計に資する知見を得ることを目的とする．生成された有害応答は評価目的にのみ用いる．