उत्पादक पूर्व-प्रशिक्षित ट्रांसफॉर्मर

उत्पादक पूर्व-प्रशिक्षित ट्रांसफॉर्मर ( जीपीटी ) एक प्रकार का बड़ा भाषा मॉडल (एलएलएम)    और जेनरेटिव आर्टिफिशियल इंटेलिजेंस के लिए एक प्रमुख ढांचा है।   पहला GPT 2018 में ओपन एआई द्वारा पेश किया गया था।  जीपीटी मॉडल कृत्रिम तंत्रिका नेटवर्क हैं जो ट्रांसफॉर्मर आर्किटेक्चर पर आधारित होते हैं, जो बिना लेबल वाले टेक्स्ट के बड़े डेटा सेट पर पूर्व-प्रशिक्षित होते हैं, और उपन्यास मानव जैसी सामग्री उत्पन्न करने में सक्षम होते हैं। "Generative AI: a game-changer society needs to be ready for". World Economic Forum. ट्रांसफॉर्मर आर्किटेक्चर अटेंशन इज़ आल यू नीड  नामक शोधपत्र में गूगल के शोधकर्ताओं द्वारा प्रस्तावित एवं प्रकाशित किया गया। 2023 तक, अधिकांश एलएलएम में ये विशेषताएं हैं Toews, Rob. "The Next Generation Of Large Language Models". Forbes. और कभी-कभी उन्हें मोटे तौर पर जीपीटी के रूप में जाना जाता है। Mckendrick, Joe (March 13, 2023). "Most Jobs Soon To Be 'Influenced' By Artificial Intelligence, Research Out Of OpenAI And University Of Pennsylvania Suggests". Forbes.

ओपनएआई ने बहुत प्रभावशाली जीपीटी फाउंडेशन मॉडल जारी किए हैं जिन्हें इसकी "जीपीटी-n" श्रृंखला को शामिल करने के लिए क्रमिक रूप से क्रमांकित किया गया है।  बढ़े हुए आकार (प्रशिक्षण योग्य मापदंडों की संख्या) और प्रशिक्षण के कारण इनमें से प्रत्येक पिछले की तुलना में काफी अधिक सक्षम था। इनमें से सबसे हालिया, जीपीटी-4, मार्च 2023 में जारी किया गया था। ऐसे मॉडल उनके अधिक कार्य-विशिष्ट जीपीटी सिस्टम के लिए आधार रहे हैं, जिसमें निर्देश के पालन के लिए ठीक-ठाक मॉडल भी शामिल हैं  जो बदले में चैटजीपीटी चैटबॉट सेवा को शक्ति प्रदान करते हैं। Haddad, Mohammed. "How does GPT-4 work and how can you start using it in ChatGPT?". www.aljazeera.com. 

"जीपीटी" शब्द का प्रयोग दूसरों द्वारा विकसित ऐसे मॉडलों के नाम और विवरण में भी किया जाता है। उदाहरण के लिए, अन्य GPT फाउंडेशन मॉडल में एलुथेर एआई द्वारा बनाए गए मॉडलों की एक श्रृंखला शामिल है,  और हाल ही में सेरेब्रस द्वारा बनाए गए सात मॉडल ।  इसके अलावा, विभिन्न उद्योगों की कंपनियों ने अपने संबंधित क्षेत्रों में कार्य-विशिष्ट जीपीटी विकसित किए हैं, जैसे सेल्सफोर्स का "आइंस्टीनजीपीटी" ( सीआरएम के लिए) Morrison, Ryan (7 March 2023). "Salesforce launches EinsteinGPT built with OpenAI technology". Tech Monitor. और ब्लूमबर्ग का "ब्लूमबर्गजीपीटी" (वित्त के लिए)। "The ChatGPT of Finance is Here, Bloomberg is Combining AI and Fintech". Forbes.