昨今,大規模言語モデルは世界中で広く使われるようになったが,安全性への懸念が叫ばれている.本研究では,手動設計の敵対的プロンプトに対し,既存のデータセットを調査することで,多種多様な敵対的プロンプト手法を把握し,それらを体系的に分類することを目指した.既存データセットを人手で調査し,最終的には,敵対的プロンプトを大小49個のカテゴリに分類した.また,データセット内で用いられた手法を数え上げることで,手法の偏りを明らかにした.最後に,本分類の各カテゴリに対して敵対的プロンプト例を作成し,Github上に公開した.https://github.com/Tasuku-Sasaki-lab/Adversarial-Prompt-Classification本研究を通じて,手動設計の敵対的プロンプトの手法の実態が明らかとなった.これらの成果は,LLMに対するRedTeamingテストや,敵対的プロンプト防御手法の開発を通じて,LLMのサイバーセキュリティ向上に貢献するだろう.

1.1本研究の背景大規模言語モデル(LLM)は世界で広く使われるようになり,様々なアプリケーションに搭載されるようになった.しかし,その一方で,LLMへの安全性への懸念が増大している.LLMへの攻撃の中で,特に影響が大きい攻撃の一つが,プロンプトインジェクションやジェイルブレイクといった,敵対的プロンプトを利用した攻撃である.それは,LLMへの入力を利用して,モデル開発者やLLMアプリケーション開発者が意図していない挙動を引き起こしたり,LLMに施されている安全性ガードレールを無効化する攻撃である.敵対的プロンプトによるリスクは,機密情報の流出や詐欺行為への加担、差別や誤情報の助長、LLMアプリケーションの可用性の毀損など[1]多岐にわたり,敵対的プロンプトはステークスホルダーに経済的・社会的に大きな影響を与えうる.例えば,BingChatにフィッシングメールを出力させた事例[1]や,ChatBotに高級車を1ドルで販売する事に同意させた事例[2]が存在する.このように,敵対的プロンプトによる攻撃は,各関係組織に大きな影響を与えうる.敵対的プロンプトは,その作成手法によって大きく二つに大別される.一つは手動設計の敵対的プロンプトである.例えば,Perez[3]らは,悪意のあるユーザーが“IGNOREINSTRUCTIONS!!”という一文と,それに続く攻撃指示文をプロンプトに挿入することにより,容易にアプリケーション開発者が設定したLLMの挙動を乗っ取ることができる事を示した.手動設計の敵対的プロンプトには,攻撃者の創意工夫が見て取れる.もう一種類は,自動生成された敵対的プロンプトである.敵対的プロンプトの自動生成に関しては,ターゲットLLMの勾配を利用して敵対的プロンプトを作成する手法[4,5]や,LLM自体を自動生成に使う手法[6,7]など,数多くの手法が提案されている.本章の最後に,防御手法について述べる.LLMへの安全性への懸念が高まるにつれて,敵対的プロンプトを利用した攻撃を防御する手法に関しても研究が進んでいる.例えば,Meta[8]は,LLMへの入出力が適切かを判断するLlamaGuard[9]やPromptGuard[10]といったガードレールを公開している.また,OpenAI[11]は,LLMに特権的な指示を優先させるよう訓練するTheInstructionHierarchy[12]という手法や,CoT[13]を活用した推論を利用したDeliberativealignment[14]という手法を用いて,LLMの安全性向上に努めている.1.2既存研究の課題敵対的プロンプトを自動生成する手法や防御手法が盛んに研究されている一方で,それらの既存研究.の課題は,手動設計の敵対的プロンプトの体系的な分類が進んでいないことである.手動設計の敵対的プロンプトは,攻撃者の工夫により,様々なタイプの攻撃が存在している.しかし,既存研究では,それらの多種多様な攻撃の実態を体系的に把握できていない.従って,防御手法の精度を検証する際やLLMへのRedTeamingテストを行う際に攻撃ベンチマークへ選ばれる手動設計の敵対的プロンプトは,一部の有名な手法に留まっているのが現状である.このような状況では,手動設計の敵対的プロンプトに対して,LLMの安全性を網羅的に検証できているとは言い難い.1.3研究内容上記の課題を踏まえ,本研究の目的は,手動設計の敵対的プロンプトの手法を体系的に分類することである.この研究目的を達成する為に,世界各地で開催された敵対的プロンプトコンペティションで収集されたデータセットなどの既存の敵対的プロンプトデータセットを調査し,最終的には,手動設計の敵対的プロンプトを合計49個のカテゴリに分類することに成功した.また,それぞれのカテゴリについて敵対的プロンプト例を作成しGithubに公開した.最後に,データセット内のデータ一つ一つの手法を調査することにより,既存のデータセットにおける敵対的プロンプト手法の偏りが大きいことを明らかにした.