Context: Sebuah model bahasa besar (LLM) adalah model bahasa yang terdiri dari jaringan saraf dengan banyak parameter (biasanya miliaran bobot atau lebih), dilatih pada jumlah besar teks unlabeled menggunakan belajar mandiri. LLM muncul sekitar tahun 2018 dan melakukan dengan baik pada berbagai tugas. Ini telah bergeser fokus penelitian pemrosesan bahasa alami jauh dari paradigma sebelumnya pelatihan khusus model diawasi untuk tugas-tugas tertentu. Meskipun istilah model bahasa besar tidak memiliki definisi formal, sering mengacu pada model pembelajaran mendalam memiliki parameter hitungan pada urutan miliaran atau lebih. LLM adalah model tujuan umum yang unggul pada berbagai tugas, sebagai lawan dari yang dilatih untuk satu tugas tertentu (seperti analisis sentimen, nama entitas, atau penalaran matematis).

Mengingat paragraf-paragraf ini tentang model bahasa besar, apa "kemampuan yang muncul"?

Kemampuan tak terduga yang telah diamati dalam model bahasa besar tetapi tidak hadir dalam model yang lebih sederhana (dan yang tidak secara eksplisit dirancang ke dalam model) biasanya disebut "kemampuan muncul".Para peneliti mencatat bahwa kemampuan tersebut "tidak dapat diprediksi hanya dengan ekstrapolasi kinerja model yang lebih kecil".Kemampuan ini ditemukan daripada diprogram atau dirancang, dalam beberapa kasus hanya setelah LLM telah digunakan secara publik.