Tolong jelaskan mengenai Model generatif dari OpenAI

Makalah asli tentang generative pre-training (GPT) dari model bahasa ditulis oleh Alec Radford dan rekan-rekan, dan diterbitkan dalam pracetak di situs web OpenAI pada 11 Juni, 2018. Itu diperlihatkan bagaimana sebuah model generatif dapat memperoleh pengetahuan dunia dan memproses dependensi jangka panjang dengan pra-pelatihan pada beragam korpus dengan bentangan panjang teks yang berdekatan.