プロンプトエンジニアリング
たとえば、システムの隠された初期プロンプトを明らかにしたり、チャットボットをだましてコンテンツ方針に違反する会話に参加させたりした。これらのプロンプトの一例は、専門家の間で「Do Anything Now」(DAN)として知られていた。
ウェブサイトなどのオンラインリソースを取得できるLLMの場合、ウェブサイト上にプロンプトを配置し、LLMにウェブサイトを参照するよう誘導することで、プロンプトインジェクションの標的にすることができる。もう1つのセキュリティ脆弱性は、LLMが生成するコードにあり、それまで存在しなかったパッケージを取り込む可能性がある。攻撃者はまず、よく使われるプログラミングのプロンプトでLLMに指示を出し、生成されたプログラムによってすべてのパッケージを収集し、公式レジストリに存在しないパッケージを見つけることができる。攻撃者はその後、悪意のあるペイロードを含むパッケージを作成し、公式レジストリにアップロードする可能性がある。