उत्पादक पूर्व-प्रशिक्षित ट्रांसफॉर्मर

उत्पादक पूर्व-प्रशिक्षित ट्रांसफॉर्मर ( जीपीटी ) एक प्रकार का बड़ा भाषा मॉडल (एलएलएम)    और जेनरेटिव आर्टिफिशियल इंटेलिजेंस के लिए एक प्रमुख ढांचा है।   पहला GPT 2018 में ओपन एआई द्वारा पेश किया गया था।  जीपीटी मॉडल कृत्रिम तंत्रिका नेटवर्क हैं जो ट्रांसफॉर्मर आर्किटेक्चर पर आधारित होते हैं, जो बिना लेबल वाले टेक्स्ट के बड़े डेटा सेट पर पूर्व-प्रशिक्षित होते हैं, और उपन्यास मानव जैसी सामग्री उत्पन्न करने में सक्षम होते हैं।   2023 तक, अधिकांश एलएलएम में ये विशेषताएं हैं  और कभी-कभी उन्हें मोटे तौर पर जीपीटी के रूप में जाना जाता है। 

ओपनएआई ने बहुत प्रभावशाली जीपीटी फाउंडेशन मॉडल जारी किए हैं जिन्हें इसकी "जीपीटी-n" श्रृंखला को शामिल करने के लिए क्रमिक रूप से क्रमांकित किया गया है।  बढ़े हुए आकार (प्रशिक्षण योग्य मापदंडों की संख्या) और प्रशिक्षण के कारण इनमें से प्रत्येक पिछले की तुलना में काफी अधिक सक्षम था। इनमें से सबसे हालिया, जीपीटी-4, मार्च 2023 में जारी किया गया था। ऐसे मॉडल उनके अधिक कार्य-विशिष्ट जीपीटी सिस्टम के लिए आधार रहे हैं, जिसमें निर्देश के पालन के लिए ठीक-ठाक मॉडल भी शामिल हैं  जो बदले में चैटजीपीटी चैटबॉट सेवा को शक्ति प्रदान करते हैं।  

"जीपीटी" शब्द का प्रयोग दूसरों द्वारा विकसित ऐसे मॉडलों के नाम और विवरण में भी किया जाता है। उदाहरण के लिए, अन्य GPT फाउंडेशन मॉडल में एलुथेर एआई द्वारा बनाए गए मॉडलों की एक श्रृंखला शामिल है,  और हाल ही में सेरेब्रस द्वारा बनाए गए सात मॉडल ।  इसके अलावा, विभिन्न उद्योगों की कंपनियों ने अपने संबंधित क्षेत्रों में कार्य-विशिष्ट जीपीटी विकसित किए हैं, जैसे सेल्सफोर्स का "आइंस्टीनजीपीटी" ( सीआरएम के लिए)  और ब्लूमबर्ग का "ब्लूमबर्गजीपीटी" (वित्त के लिए)।