Jabarkan Keterbatasan dari ChatGPT

OpenAI mengakui bahwa ChatGPT "kadang-kadang menulis jawaban yang kelihatannya benar tetapi ternyata salah atau tidak masuk akal". Perilaku ini umum untuk model bahasa besar dan dinamakan halusinasi kecerdasan buatan. Model hadiah ChatGPT, yang didesain berdasarkan pengawasan manusia, bisa terlalu dioptimalkan sehingga mengurangi performa, dalam sebuah contoh patologi optimisasi yang dinamakan Hukum Goodhart.

ChatGPT memiliki pengetahuan kejadian setelah 2021 yang terbatas. Menurut BBC, pada Desember 2022, ChatGPT tidak diperbolehkan "mengekspresikan opini politik atau berpartisipasi dalam aktivisme politik". Tetapi, riset mengusulkan bahwa ChatGPT memiliki orientasi pro-lingkungan dan libertarian-kiri ketika diperintahkan untuk mengekspresikan pandangannya terhadap pernyataan politik dari dua aplikasi saran pemungutan suara yang mapan.

Ketika melatih ChatGPT, peninjau manusia menginginkan jawaban yang panjang, terlepas dari pemahaman sebenarnya atau konten faktual. Data pelatihan juga mengalami bias algoritme, yang mungkin ditampilkan ketika ChatGPT merespon ke perintah yang memiliki deskripsi orang. Dalam sebuah kasus, ChatGPT membuat rap yang mengklaim peneliti wanita dan ras lain lebih rendah daripada peneliti pria dan kulit putih.