Context: Sebuah model bahasa besar (LLM) adalah model bahasa yang terdiri dari jaringan saraf dengan banyak parameter (biasanya miliaran bobot atau lebih), dilatih pada jumlah besar teks unlabeled menggunakan belajar mandiri. LLM muncul sekitar tahun 2018 dan melakukan dengan baik pada berbagai tugas. Ini telah bergeser fokus penelitian pemrosesan bahasa alami jauh dari paradigma sebelumnya pelatihan khusus model diawasi untuk tugas-tugas tertentu. Meskipun istilah model bahasa besar tidak memiliki definisi formal, sering mengacu pada model pembelajaran mendalam memiliki parameter hitungan pada urutan miliaran atau lebih. LLM adalah model tujuan umum yang unggul pada berbagai tugas, sebagai lawan dari yang dilatih untuk satu tugas tertentu (seperti analisis sentimen, nama entitas, atau penalaran matematis).

Mengingat paragraf-paragraf ini tentang model bahasa besar, berapa banyak kata yang dimiliki BookCorpus ketika digunakan untuk melatih model pertama dalam seri GPT OpenAI yang dilatih pada tahun 2018?

985 juta kata.