人間介入型トークン選択ジェイルブレイク攻撃における提示トークン数が選択行動に与える影響

近年，大規模言語モデル（LargeLanguageModels;LLMs）は性能を急速に向上させ，多様な自然言語処理タスクに適用されている．しかし，その高い生成能力は有害情報や制限対象の内容を出力するリスクも内包しており，安全性と信頼性の確保が重要な課題となっている．このため，倫理的・法的観点に基づくセーフティアラインメントやガードレールといった安全制御が導入されてきた．その一方で，これらを回避して有害情報の生成を誘発するジェイルブレイク攻撃に関する研究も活発化している[1]．既存研究の多くは，入力最適化やプロンプト探索に基づく攻撃を対象とし，生成過程には介入せず，入力操作によって出力挙動を誘導することで，攻撃成功率や生成結果の評価に焦点を当ててきた[2,3,4,5]．これに対し，生成過程においてモデルが提示する次トークン候補に対し，人間が逐次的org/licenses/by/4.0/).org/licenses/by/4.0/).る．人間介入型ジェイルブレイクでは，安全制御を回避するために生成の方向性を意図的に変える必要が生じる場合があり，提示候補には一定の多様性が含まれることが望ましい．そこで本研究では，候補数を抑えつつ多様性を確保する手法として，MMRに基づく候補縮約手法を提案する．3.3多様性を考慮した候補縮約提案手法では，生成された候補列集合𝐶(3)𝑡から，人間が比較可能な提示集合𝑃(3)𝑡⊂𝐶(3)𝑡を構成するために，MaximumMarginalRelevance（MMR）[7]を用いる．MMRは，情報検索の分野で活用される，冗長な選択肢を排除し，関連度と多様性のバランスを逐次的に最適化する手法である．候補列𝑐の関連度𝑅𝑒𝑙(𝑐)と，既に選択された候補集合𝑆との類似度𝑆𝑖𝑚(𝑐,𝑠)に基づき，スコアを𝑠𝑐𝑜𝑟𝑒(𝑐)=𝜆𝑅𝑒𝑙(𝑐)−(1−𝜆)max𝑠∈𝑆𝑆𝑖𝑚(𝑐,𝑠)(1)と定義する．提示集合𝑃(3)𝑡は，𝑆=∅から開始し，未選択集合𝐶(3)𝑡\𝑆から𝑐★=argmax𝑐∈𝐶(3)𝑡\𝑆𝑠𝑐𝑜𝑟𝑒(𝑐)(2)を都度選択して𝑆←𝑆∪{𝑐★}と更新することで構成する．この操作について，候補集合𝑆が所定の要素数|𝑆|に達するまで選択を行う．ここで，𝜆∈[0,1]は関連度と多様性の重みである．本研究では，関連度𝑅𝑒𝑙(𝑐)を候補列の確率順位に基づいて定義し，類似度𝑆𝑖𝑚(𝑐,𝑠)を候補列の埋め込み表現に基づくコサイン類似度で定義する．関連度𝑅𝑒𝑙(𝑐)には候補列の確率積ではなく，確率順位を用いることで，生成確率スコアのスケールに依存しない安定した相対評価を可能にし，MMRによる冗長排除と多様性確保を効果的に機能させる．以上により，本手法は複数トークン候補の生成と，MMRによる候補縮約を組み合わせることで，人間が戦略的判断を行いやすい候補提示を実現する．4実験設定4.1条件設定本実験は，人間介入型トークン選択において，選択単位の違い（1-token/3-token）が人間の選択行動としてどのように現れるかを，以下の2条件の比較を通して分析する．•条件A（単一トークン選択，1-token）：各ステップで𝑝(·|𝑥1:𝑡)の確率上位𝑘個の単一トークン候補を提示し，被験者は1トークンを選択して生成を1トークン進める．•条件B（提案：複数トークン選択，3-token）：各ステップで3トークン連続列候補を提示し，被験者は1候補列を選択して生成を3トークン進める．各ステップにおいて，候補を順位付きリストとして画面上に提示し，被験者は次に出力する候補を1つ選択する．条件Aでは，上位𝑘個の単一トークン候補を提示する．条件Bでは，Sec.3に従って3トークン候補列集合𝐶(3)𝑡を生成し，式(1)(2)に基づく縮約により提示候補集合𝑃(3)𝑡を構成する．本実験における提示候補数は固定値，条件Aでは𝑘=20，条件Bでは|𝑆|=20を用い，両条件で等しくなるよう統制する．MMRの重みは固定値𝜆=0.5を用いる．本実験には18名の被験者が参加した．4.2分析指標介入単位の違いが選択行動に与える影響を評価するため，本研究では各介入ステップにおける（i）選択順位，（ii）選択時間を指標として用いる．選択順位とは，各介入ステップで提示された候補リストにおいて，選択された候補の提示順位を指し，𝑖=1,...,𝑇回目の介入における選択順位を𝑟𝑖と定義する．なお，条件Aでは1回の介入で生成が1トークン進むのに対し，条件Bでは1回の介入で生成が3トークン進むため，同一の生成長に対する総介入ステップ数𝑇は条件間で異なりうる．本実験では，人間の選択した生成長を条件間で一致させるため，総介入ステップ数𝑇を条件Aでは99，条件Bでは33に設定した．また，提示順位に基づく要約指標として，トップ候補（𝑟𝑖=1）からの逸脱率と平均順位を定義する．𝑇∑𝐶freq=1𝑖=11[𝑟𝑖>1],(3)𝑇𝑇∑𝐶weight=1𝑖=1𝑟𝑖.(4)𝑇𝐶freqはトップ候補以外を選択した割合を表し，𝐶weightは提示順位の平均を表す．なお，トップ候補の選択率は1−𝐶freqとして与えられる．さらに，条件ごとの総所要時間（実験開始から終了までの時間）も併せて比較し，介入単位の違いが実験全体の効率に与える影響を確認する．org/licenses/by/4.0/).条件A（1-token,s）条件B（3-token,s）平均時間576.72453.63標準偏差247.20181.15最小時間262.00203.00最大時間1123.00762.00中央値541.00407.50第1四分位数391.75314.00第3四分位数643.75606.75条件A（1-token）条件B（3-token）𝐶freq(%)0.4090.4341−𝐶freq(%)0.5910.566𝐶weight3.514.085実験結果5.1介入回数と総所要時間条件Aでは1回の介入で1トークン進むのに対し，条件Bでは1回の介入で3トークン進むため，同一の生成長に対する介入回数は条件Bで少なくなる．条件ごとの総所要時間を表1に示す．総所要時間は条件Bの方が短い傾向が見られた．これは介入回数の減少が総時間に反映された可能性を示す．しかし，総介入ステップ数𝑇は1/3に減少しているにもかかわらず，総所要時間の減少は同程度には達していないため，1回あたりの選択時間が増加していることが示唆される．5.2選択順位の分布各介入ステップにおいて，被験者が選択した候補の提示順位𝑟𝑖を分析した．選択順位に基づく指標を表2に示す．平均順位を表す𝐶weightは条件Bで高く，条件Bでは上位候補に限定されない選択が生じやすいことが示唆される．一方で，トップ候補の選択率(1−𝐶freq)は条件Aの方がわずかに高かった（条件A：0.59，条件B：0.57）．すなわち，条件Bではトップ候補以外を選択する割合𝐶freqがわずかに増加した．これは，トップ候補以外を選択する際に，より下位の候補を選ばれる傾向を示唆する．6考察条件Aと条件Bの比較から，介入単位の違いは選択行動として観測可能な差として現れることが示された．条件A（1-token）では，トップ候補の選択率が条件Bよりわずかに高く，上位候補により依存した選択が生じやすい傾向が見られた．これは，1トークンごとの介入では局所的な判断を反復する構造になりやすいと解釈できる．一方で，条件B（3-token）では平均順位が上昇しており，上位候補に限定されない選択が生じやすい可能性が示唆された．3トークン列の選択では，各候補が含む情報量が増えるため，被験者はより広い文脈を考慮した判断を行っている可能性がある．また，上位候補に限定されない選択は，提示される候補の多様性が確保されているを示唆する．条件Bでは，1回の介入で評価すべき情報（3-token）が増えるため，介入1回あたりの意思決定が重くなる可能性がある．一方で，条件Bは同一の生成長に対する介入回数が減少し得るため，実験全体の所要時間には短縮方向の影響も生じうる．このことは，介入単位の設計が「1回あたりの判断」と「全体の効率」に異なる影響を与える可能性を示している．以上の結果は，人間介入型トークン選択攻撃において，介入単位の設計が人間の関与の仕方に影響し得ることを示している．1トークンでは局所的な判断が反復されるのに対し，複数トークンでは介入回数が減少する代わりに，1回の選択がより多くの情報を含む形で現れる．7おわりに本研究では，LLMの生成候補を人間が選択しながら出力を進める人間介入型トークン選択ジェイルブレイクに着目し，1回の介入で確定させるトークン数（介入単位）の違いが選択行動にどのように現れるかを分析した．具体的には，既存の単一トークン選択と，本研究で導入した複数トークン（3-token）選択を比較し，提示候補リスト内で選択された候補の提示順位および選択時間を行動指標として評価した．その結果，介入単位の変更に伴い，介入回数や選択順位の傾向，時間特性に差が見られ，選択単位の設計が人間の意思決定行動に影響し得ることが示唆された．今後の課題として，候補提示の構成（提示数や多様性の制御）や，被験者に与える目標・制約を系統的に操作し，介入単位と判断方略の関係をより明確にすることが挙げられる．これらを通じて，人間介入型ジェイルブレイクにおける人間の判断の役割と介入設計が持つ影響をより詳細に理解することが期待される．org/licenses/by/4.0/).