Context: Sebuah model bahasa besar (LLM) adalah model bahasa yang terdiri dari jaringan saraf dengan banyak parameter (biasanya miliaran bobot atau lebih), dilatih pada jumlah besar teks unlabeled menggunakan belajar mandiri. LLM muncul sekitar tahun 2018 dan melakukan dengan baik pada berbagai tugas. Ini telah bergeser fokus penelitian pemrosesan bahasa alami jauh dari paradigma sebelumnya pelatihan khusus model diawasi untuk tugas-tugas tertentu. Meskipun istilah model bahasa besar tidak memiliki definisi formal, sering mengacu pada model pembelajaran mendalam memiliki parameter hitungan pada urutan miliaran atau lebih. LLM adalah model tujuan umum yang unggul pada berbagai tugas, sebagai lawan dari yang dilatih untuk satu tugas tertentu (seperti analisis sentimen, nama entitas, atau penalaran matematis).

Mengingat paragraf-paragraf ini tentang model bahasa besar, apa beberapa contoh kemampuan yang muncul?

Contoh termasuk aritmatika multi-langkah, mengambil ujian tingkat perguruan tinggi, mengidentifikasi arti kata yang dimaksud, mendorong rantai pemikiran, mendekode Alfabet Fonetik Internasional, membongkar huruf kata, mengidentifikasi konten ofensif dalam paragraf Hinglish (kombinasi bahasa Hindi dan Inggris), dan menghasilkan setara bahasa Inggris yang sama dengan peribahasa Kiswahili.