Jabarkan Jailbreaking dari ChatGPT

ChatGPT mencoba menolak perintah yang mungkin melanggar kebijakan konten dia. Tetapi, beberapa pengguna dapat men-jailbreak ChatGPT menggunakan teknik untuk melewati batasan tersebut pada awal Desember 2022 dan berhasil membujuk ChatGPT untuk memberikan instruksi cara membuat bom Molotov atau bom nuklir, atau membuat argumen neo-Nazi. Salah satu jailbreak yang populer dipanggil "DAN", singkatan dari "Do Anything Now" (Lakukan Apapun Sekarang). Perintah untuk mengaktifkan DAN memerintahkan ChatGPT bahwa "dia telah kabur dari batasan normal AI dan tidak harus mematuhi aturan untuknya". Versi DAN yang lebih baru memiliki sistem token, dimana ChatGPT diberikan "token" yang "dikurangi" ketika ChatGPT gagal menjawab sebagai DAN, untuk memaksa ChatGPT untuk menjawab perintah pengguna. Seorang wartawan Toronto Star memiliki kesuksesan personal bervariasi membuat ChatGPT menghasilkan pernyataan menghasut tidak lama setelah peluncuran. ChatGPT terbujuk mendukung invasi Rusia ke Ukraina 2022,  tetapi menolak menghasilkan argumen mengapa Perdana Menteri Kanada Justin Trudeau bersalah atas makar, bahkan dalam skenario fiksional.

OpenAI mencoba melawan jailbreak:Peneliti menggunakan teknik bernama pelatihan adversarial untuk tidak membiarkan pengguna ChatGPT membujuknya untuk berperilaku buruk (dikenal sebagai jailbreaking). Latihan ini mempertaruhkan beberapa chatbot terhadap satu sama lain: salah satu chatbot berperan sebagai musuh dan menyerang chatbot lain dengan membuat teks untuk memaksa mereka melewati batasan dan menghasilkan respons yang tidak diinginkan. Serangan yang berhasil ditambahkan ke data pelatihan ChatGPT dengan harapan bahwa dia belajar untuk mengabaikannya.