Penyulihbentuk praterlatih generatif

Penyulihbentuk praterlatih generatif (PPG) atau GPT adalah jenis model bahasa besar (LLM) dan kerangka kerja yang menonjol untuk kecerdasan buatan generatif. Mereka adalah jaringan saraf tiruan yang digunakan dalam tugas pemrosesan bahasa alami. GPT didasarkan pada arsitektur penyulihbentuk, dilatih sebelumnya pada kumpulan data besar berisi teks tak berlabel, dan mampu menghasilkan konten baru yang mirip manusia. Pada tahun 2023, sebagian besar LLM memiliki karakteristik ini dan terkadang disebut secara luas sebagai GPT. GPT pertama diperkenalkan pada tahun 2018 oleh OpenAI. OpenAI telah merilis model dasar GPT yang sangat berpengaruh yang telah diberi nomor urut, untuk membentuk seri "GPT- n ". Masing-masing secara signifikan lebih mampu dibandingkan sebelumnya, karena peningkatan ukuran dan pelatihan. Yang terbaru, GPT-4, dirilis pada Maret 2023. Model seperti ini telah menjadi dasar bagi sistem GPT mereka yang lebih spesifik tugas, termasuk model yang disesuaikan untuk mengikuti instruksi — yang pada gilirannya mendukung layanan bot percakapan ChatGPT. Istilah "GPT" juga digunakan dalam nama dan deskripsi model yang dikembangkan oleh orang lain. Misalnya, model fondasi GPT lainnya mencakup serangkaian model yang dibuat oleh EleutherAI, dan tujuh model yang dibuat oleh Cerebras pada tahun 2023. Selain itu, perusahaan di industri yang berbeda telah mengembangkan GPT khusus tugas di bidangnya masing-masing, seperti "EinsteinGPT" dari Salesforce dan "BloombergGPT" dari Bloomberg.