Jabarkan GPT-2 dari OpenAI

Generative Pre-trained Transformer 2, umumnya dikenal dengan bentuk singkatannya GPT-2, adalah model bahasa transformator tanpa terarah dan penerus GPT. GPT-2 pertama kali di umumkan pada Februari 2019, dengan awalnya versi demonstrasi terbatas dirilis ke publik. Versi penuh dari GPT-2 tidak segera dirilis karena khawatir akan potensi penyalahgunaan, termasuk penggunaan untuk menulis berita palsu. Beberapa ahli menyatakan skeptis bahwa GPT-2 merupakan ancaman yang signifikan. Allen Institute for Artificial Intelligence menanggapi GPT-2 dengan alat untuk mendeteksi "berita palsu saraf".

Penulis GPT-2 berpendapat bahwa model bahasa tanpa pengawasan adalah pembelajar tujuan umum, di ilustrasikan oleh GPT-2 mencapai akurasi dan kebingungan yang canggih pada 7 dari 8 tugas zero-shot (contoh. modelnya tidak dilatih lebih jauh pada contoh tugas masukan-keluaran spesifik apa pun). Korpus yang dilatihnya, disebut WebText, berisi lebih dari 8 juta dokumen dengan total 40 gigabita teks dari URL yang dibagikan dalam pengiriman Reddit dengan setidaknya 3 suara positif. Itu menghindari masalah tertentu pengkodean kosa kata dengan token kata dengan menggunakan pengkodean pasangan bita. Ini memungkinkan untuk mewakili string karakter apa pun dengan menyandikan karakter individu dan token multi-karakter.