Context: Meskipun istilah model bahasa besar tidak memiliki definisi formal, sering merujuk pada model pembelajaran mendalam yang memiliki parameter hitungan pada urutan miliaran atau lebih. LLM adalah model tujuan umum yang unggul pada berbagai tugas, sebagai lawan dari yang dilatih untuk satu tugas tertentu (seperti analisis sentimen, pengakuan entitas bernama, atau penalaran matematis). Keterampilan dengan yang mereka mencapai tugas, dan berbagai tugas di mana mereka mampu, tampaknya menjadi fungsi dari jumlah sumber daya (data, parameter-ukuran, daya komputasi) yang ditujukan untuk mereka, dengan cara yang tidak tergantung pada terobosan tambahan dalam desain. Meskipun dilatih pada tugas-tugas sederhana di sepanjang garis memprediksi kata berikutnya dalam kalimat, model bahasa saraf dengan pelatihan yang cukup dan parameter hitungan ditemukan untuk menangkap banyak sintaksis dan semantik bahasa manusia. Selain itu, model bahasa besar menunjukkan pengetahuan yang cukup besar tentang dunia, dan mampu "menghafal" sejumlah besar fakta selama pelatihan.

Apa definisi formal dari model bahasa besar?

Istilah model bahasa besar (LLM) tidak memiliki definisi formal. Namun, sering merujuk pada model pembelajaran mendalam yang memiliki parameter hitungan pada urutan miliaran atau lebih.