Dalam sebuah artikel penelitian yang telah diterbitkan, para peneliti menggambarkan pralatihan generatif sebagai kemampuan untuk melatih model bahasa dengan data yang tidak berlabel dan mencapai prediksi yang akurat. Model GPT pertama, GPT-1, dikembangkan pada tahun 2018. GPT-4 diperkenalkan pada bulan Maret 2023 sebagai penerus dari GPT-3.
GPT-3 dilatih dengan lebih dari 175 miliar parameter atau bobot. Rekayasawan melatihnya di lebih dari 45 terabita data dari berbagai sumber, seperti teks web, Common Crawl, buku, dan Wikipedia. Sebelum pelatihan, kualitas rata-rata set data ditingkatkan seiring perkembangan model dari versi 1 ke versi 3.
GPT-3 dilatih dalam mode semidiawasi. Pertama, rekayasawan machine learning memberi model deep learning data pelatihan yang tidak berlabel. GPT-3 akan memahami kalimat, memecahnya, dan merekonstruksinya menjadi kalimat baru. Dalam pelatihan tanpa pengawasan, GPT-3 berusaha untuk memberikan hasil yang akurat dan realistis dengan sendirinya. Kemudian, para rekayasawan machine learning akan menyempurnakan hasilnya dalam pelatihan yang diawasi, sebuah proses yang dikenal sebagai pembelajaran penguatan dengan umpan balik manusia (RLHF).
Anda dapat menggunakan model GPT ini tanpa pelatihan lebih lanjut, atau Anda juga dapat menyesuaikannya dengan beberapa contoh untuk tugas tertentu.