जीपीटी-4

जेनरेटिव प्री-ट्रेंड ट्रांसफार्मर 4(जीपीटी-4) ओपन एआई द्वारा बनाया गया एक मल्टीमॉडलबड़ा भाषा मॉडलहै, और जीपीटी फाउंडेशन मॉडल की इसकी क्रमांकित "जीपीटी-एन" श्रृंखला में चौथा है।इसे 14 मार्च, 2023 को जारी किया गया था, और इसे चैटबॉट उत्पादचैटजीपीटी प्लस(चैटजीपीटीका एक प्रीमियम संस्करण) के माध्यम से सीमित रूप में सार्वजनिक रूप से उपलब्ध कराया गया है, और ओपनएआई केएपीआईके जीपीटी-4 आधारित संस्करण तक पहुंच एक के माध्यम से प्रदान की जा रही है। प्रतीक्षा सूची.ट्रांसफार्मर आधारित मॉडल के रूप में, GPT-4 को अगले टोकन (सार्वजनिक डेटा और "तृतीय-पक्ष प्रदाताओं से लाइसेंस प्राप्त डेटा" दोनों का उपयोग करके) की भविष्यवाणी करने के लिए पूर्व-प्रशिक्षित किया गया था, और फिर मानव संरेखण के लिए मानव और एआई फीडबैक से सुदृढीकरण सीखने के साथ ठीक किया गया था और नीति अनुपालन।
पर्यवेक्षकों ने चैटजीपीटी के जीपीटी-4 आधारित संस्करण को पिछले (जीपीटी-3.5 आधारित) चैटजीपीटी में सुधार बताया है, इस चेतावनी के साथ कि जीपीटी-4 में कुछ समान समस्याएं बरकरार हैं।पूर्ववर्तियों के विपरीत, GPT-4 इनपुट के रूप में छवियों के साथ-साथ पाठ भी ले सकता है।ओपन एआई ने जीपीटी-4 मॉडल के आकार जैसी तकनीकी जानकारी प्रकट करने से इनकार कर दिया है।
ओपन एआई ने 2018 में पहला GPT मॉडल (GPT-1) पेश किया, जिसमें "जनरेटिव प्री-ट्रेनिंग द्वारा भाषा की समझ में सुधार" नामक एक पेपर प्रकाशित किया गया।यह ट्रांसफार्मर वास्तुकला पर आधारित था और पुस्तकों के एक बड़ेसंग्रहपर प्रशिक्षित था।अगले वर्ष, उन्होंने GPT-2 पेश किया, जो एक बड़ा मॉडल था जो सुसंगत पाठ उत्पन्न कर सकता था।2020 में, उन्होंनेGPT-3पेश किया, जो GPT-2 से 100 गुना अधिक मापदंडों वाला एक मॉडल है, जो कुछ उदाहरणों के साथ विभिन्न कार्य कर सकता है।GPT-3 को आगेGPT-3.5में सुधार किया गया, जिसका उपयोग चैटबॉट उत्पादChatGPTबनाने के लिए किया गया था।
अफवाहों का दावा है कि GPT-4 में 1.76 ट्रिलियन पैरामीटर हैं, जिसका अनुमान सबसे पहले इसके चलने की गति और जॉर्ज हॉट्ज़ द्वारा लगाया गया था।
ओपन एआई ने कहा कि GPT-4 "GPT-3.5 की तुलना में अधिक विश्वसनीय, रचनात्मक और बहुत अधिक सूक्ष्म निर्देशों को संभालने में सक्षम है।"उन्होंने 8,192 और 32,768 टोकन की संदर्भ विंडो के साथ जीपीटी-4 के दो संस्करण तैयार किए, जो जीपीटी-3.5 और जीपीटी-3 की तुलना में एक महत्वपूर्ण सुधार है, जो क्रमशः 4,096 और 2,049 टोकन तक सीमित थे।GPT-4 की कुछ क्षमताओं की भविष्यवाणी ओपनएआई द्वारा प्रशिक्षण से पहले की गई थी, हालांकि डाउनस्ट्रीम स्केलिंग कानूनों में ब्रेकके कारण अन्य क्षमताओं की भविष्यवाणी करना कठिन रहा। अपने पूर्ववर्तियों के विपरीत, GPT-4 एक मल्टीमॉडल मॉडल है: यह इनपुट के रूप में छवियों के साथ-साथ टेक्स्ट भी ले सकता है;यह इसे असामान्य छवियों में हास्य का वर्णन करने, स्क्रीनशॉट से पाठ को सारांशित करने और आरेख वाले परीक्षा प्रश्नों का उत्तर देने की क्षमता देता है।
GPT-4 पर और अधिक नियंत्रण पाने के लिए, ओपन एआई ने "सिस्टम संदेश" पेश किया, जो GPT-4 को उसकी आवाज़ और कार्य के स्वर को निर्दिष्ट करने के लिए प्राकृतिक भाषा में दिया गया एक निर्देश है। उदाहरण के लिए, सिस्टम संदेश मॉडल को "शेक्सपियरियन समुद्री डाकू बनने" का निर्देश दे सकता है, जिस स्थिति में यह छंदबद्ध, शेक्सपियरियन गद्य में जवाब देगा, या इसे "हमेशाJSONमें [इसके] प्रतिक्रिया के आउटपुट को लिखने" का अनुरोध करेगा, जिसमें यदि मॉडल ऐसा करेगा, तो अपने उत्तर की संरचना से मेल खाने के लिए कुंजी और मान जोड़ देगा। ओपन एआई द्वारा प्रदान किए गए उदाहरणों में, GPT-4 ने बातचीत के दौरान उपयोगकर्ता द्वारा अन्यथा करने के अनुरोध के बावजूद अपने सिस्टम संदेश से विचलित होने से इनकार कर दिया।
जब ऐसा करने का निर्देश दिया जाता है, तो GPT-4 बाहरी इंटरफ़ेस के साथ इंटरैक्ट कर सकता है।उदाहरण के लिए, मॉडल को वेब खोज करने के लिए< search > < /search >टैग के भीतर एक क्वेरी संलग्न करने का निर्देश दिया जा सकता है, जिसके परिणाम को प्रतिक्रिया बनाने की अनुमति देने के लिए मॉडल के प्रॉम्प्ट में डाला जाएगा। यह मॉडल को उसकी सामान्य पाठ-भविष्यवाणी क्षमताओं से परे कार्य करने की अनुमति देता है, जैसेएपीआई काउपयोग करना, छवियां बनाना और वेबपेजों तक पहुंचना और सारांशित करना।
नेचरमें 2023 के एक लेख में कहा गया है कि प्रोग्रामर्स ने जीपीटी-4 को कोडिंग कार्यों (त्रुटि की प्रवृत्ति के बावजूद) में सहायता के लिए उपयोगी पाया है, जैसे मौजूदा कोड में त्रुटियां ढूंढना और प्रदर्शन में सुधार के लिए अनुकूलन का सुझाव देना। लेख में एक बायोफिजिसिस्ट का हवाला दिया गया है जिसने पाया कि अपने एक प्रोग्राम कोMATLABसेपायथनमें पोर्ट करने के लिए लगने वाला समय कई दिनों से घटकर "एक घंटे या उससे भी अधिक" रह गया है। 89 सुरक्षा परिदृश्यों के परीक्षण पर, GPT-4 ने 5% समय SQL इंजेक्शन हमलों के प्रति संवेदनशील कोड का उत्पादन किया, जो कि वर्ष 2021 से GitHub Copilot पर एक सुधार है, जिसने 40% समय कमजोरियाँ उत्पन्न कीं।
GPT-4 कई मानकीकृत परीक्षणों पर योग्यता प्रदर्शित करता है। ओपनएआई का दावा है कि अपने स्वयं के परीक्षण में मॉडल कोSAT(94वांप्रतिशत) पर 1410, एलएसएटी (88वां प्रतिशत) पर 163, और यूनिफ़ॉर्म बार परीक्षा (90वां प्रतिशत) पर 298 का स्कोर प्राप्त हुआ।इसके विपरीत, ओपनएआई का दावा है कि जीपीटी-3.5 को क्रमशः 82वें,40वें और 10वें प्रतिशत में समान परीक्षाओं के लिए अंक प्राप्त हुए।जीपीटी-4 ने ऑन्कोलॉजी परीक्षा,इंजीनियरिंग परीक्षाऔर प्लास्टिक सर्जरी परीक्षा भी उत्तीर्ण की।
माइक्रोसॉफ्ट के शोधकर्ताओं ने चिकित्सा समस्याओं पर जीपीटी-4 का परीक्षण किया और पाया कि "जीपीटी-4, बिना किसी विशेष त्वरित क्राफ्टिंग के, यूएसएमएलई पर उत्तीर्ण स्कोर से 20 अंक से अधिक है और पहले के सामान्य प्रयोजन मॉडल (जीपीटी-3.5) के साथ-साथ मॉडल से भी बेहतर प्रदर्शन करता है। चिकित्सा ज्ञान पर विशेष रूप से सुव्यवस्थित ( मेड-पीएएलएम, फ़्लान-पीएएलएम 540बी का त्वरित-ट्यून किया गया संस्करण)"।
माइक्रोसॉफ्टकी एक रिपोर्ट में पाया गया है कि चिकित्सा क्षेत्र में उपयोग किए जाने पर GPT-4 अविश्वसनीय रूप से कार्य कर सकता है। अपने परीक्षण उदाहरण में, GPT-4 ने एक मरीज के नोट्स में मनगढ़ंत विवरण जोड़े।
अप्रैल 2023 में, माइक्रोसॉफ्ट और एपिक सिस्टम्स ने घोषणा की कि वे मरीजों के सवालों के जवाब देने और मेडिकल रिकॉर्ड का विश्लेषण करने में सहायता के लिए स्वास्थ्य सेवा प्रदाताओं को जीपीटी-4 संचालित सिस्टम प्रदान करेंगे।
अपने पूर्ववर्तियों की तरह, GPT-4 को मतिभ्रम के लिए जाना जाता है, जिसका अर्थ है कि आउटपुट में ऐसी जानकारी शामिल हो सकती है जो प्रशिक्षण डेटा में नहीं है या जो उपयोगकर्ता के संकेत के विपरीत है।
GPT-4 में निर्णय लेने की प्रक्रियाओं में पारदर्शिता का भी अभाव है। यदि अनुरोध किया जाता है, तो मॉडल यह स्पष्टीकरण प्रदान करने में सक्षम है कि वह अपने निर्णय कैसे और क्यों लेता है, लेकिन ये स्पष्टीकरण पोस्ट-हॉक बनते हैं; यह सत्यापित करना असंभव है कि क्या वे स्पष्टीकरण वास्तव में वास्तविक प्रक्रिया को दर्शाते हैं। कई मामलों में, जब GPT-4 से इसके तर्क को समझाने के लिए कहा जाएगा, तो वह ऐसे स्पष्टीकरण देगा जो सीधे उसके पिछले बयानों का खंडन करता है।
2023 में, शोधकर्ताओं ने अमूर्त तर्क को मापने के लिए डिज़ाइन किए गए कॉन्सेप्टएआरसी नामक एक नए बेंचमार्क के खिलाफ जीपीटी -4 का परीक्षण किया, और पाया कि सभी श्रेणियों में इसे 33% से कम स्कोर मिला, जबकि समान कार्यों के लिए विशेष मॉडल ने अधिकांश पर 60% स्कोर किया, और मनुष्यों ने कम से कम 91 स्कोर किया। % सब पर। सैम बोमन, जो शोध में शामिल नहीं थे, ने कहा कि परिणाम आवश्यक रूप से अमूर्त तर्क क्षमताओं की कमी का संकेत नहीं देते हैं, क्योंकि परीक्षण दृश्य है, जबकि जीपीटी -4 एक भाषा मॉडल है।
GPT-4 को दो चरणों में प्रशिक्षित किया गया था। सबसे पहले, मॉडल को इंटरनेट से लिए गए टेक्स्ट के बड़े डेटासेट दिए गए और उन डेटासेट में अगले टोकन (लगभग एक शब्द के अनुरूप) की भविष्यवाणी करने के लिए प्रशिक्षित किया गया। दूसरा, मानव फीडबैक से सुदृढीकरण सीखने नामक प्रक्रिया में सिस्टम को ठीक करने के लिए मानव समीक्षाओं का उपयोग किया जाता है, जो मॉडल को उन संकेतों को अस्वीकार करने के लिए प्रशिक्षित करता है जो ओपनएआई की हानिकारक व्यवहार की परिभाषा के खिलाफ जाते हैं, जैसे कि अवैध गतिविधियां कैसे करें, इस पर सलाह खुद को या दूसरों को कैसे नुकसान पहुंचाया जाए, या ग्राफ़िक, हिंसक या यौन सामग्री के विवरण के लिए अनुरोध।
Microsoft शोधकर्ताओं ने सुझाव दिया कि GPT-4पुष्टिकरण पूर्वाग्रह, एंकरिंग और बेस-रेट उपेक्षा जैसे संज्ञानात्मक पूर्वाग्रह प्रदर्शित कर सकता है।
ओपन एआई ने GPT-4 का तकनीकी विवरण जारी नहीं किया; तकनीकी रिपोर्ट में स्पष्ट रूप से प्रशिक्षण याअनुमानके दौरान उपयोग किए गए मॉडल आकार, वास्तुकला या हार्डवेयर को निर्दिष्ट करने से परहेज किया गया है। जबकि रिपोर्ट में बताया गया है कि मॉडल को बड़े डेटासेट पर पहले पर्यवेक्षित शिक्षण के संयोजन का उपयोग करके प्रशिक्षित किया गया था, फिर मानव और एआई फीडबैक दोनों का उपयोग करके सुदृढीकरण शिक्षण, इसने प्रशिक्षण का विवरण प्रदान नहीं किया, जिसमें वह प्रक्रिया भी शामिल थी जिसके द्वारा प्रशिक्षण डेटासेट का निर्माण किया गया था।, आवश्यक कंप्यूटिंग शक्ति, या कोई हाइपरपैरामीटर जैसे कि सीखने की दर, युग गणना, याऑप्टिमाइज़र काउपयोग किया जाता है। रिपोर्ट में दावा किया गया कि "प्रतिस्पर्धी परिदृश्य और बड़े पैमाने के मॉडल के सुरक्षा निहितार्थ" ऐसे कारक थे जिन्होंने इस निर्णय को प्रभावित किया।
सैम ऑल्टमैन ने कहा कि GPT-4 के प्रशिक्षण की लागत $100 मिलियन से अधिक थी।  समाचार वेबसाइट सेमाफोर ने दावा किया कि उन्होंने "अंदर की कहानी से परिचित आठ लोगों" से बात की थी और पाया कि जीपीटी-4 में 1 ट्रिलियन पैरामीटर थे।
उनकी रिपोर्ट के अनुसार, ओपनएआई ने संभावित कमजोरियों को कम करने के लिए शोधकर्ताओं और उद्योग पेशेवरों से बनी समर्पित लाल टीमों के साथ लॉन्च तिथि से पहले जीपीटी -4 पर आंतरिक प्रतिकूल परीक्षण किया।इन प्रयासों के हिस्से के रूप में, उन्होंने एलाइनमेंट रिसर्च सेंटर को बिजली की मांग वाले जोखिमों का आकलन करने के लिए मॉडलों तक शीघ्र पहुंच प्रदान की। हानिकारक संकेतों को ठीक से अस्वीकार करने के लिए, मॉडल को एक उपकरण के रूप में उपयोग करके GPT-4 के आउटपुट में बदलाव किया गया। नियम-आधारित इनाम मॉडल (आरबीआरएम) के रूप में काम करने वाला एक जीपीटी-4 क्लासिफायर रूब्रिक के अनुसार आउटपुट को वर्गीकृत करने के लिए संकेत, जीपीटी-4 नीति मॉडल से संबंधित आउटपुट और नियमों का एक मानव-लिखित सेट लेगा। आरबीआरएम द्वारा वर्गीकृत हानिकारक संकेतों का जवाब देने से इनकार करने के लिए जीपीटी-4 को पुरस्कृत किया गया।
न्यूयॉर्क टाइम्समें उद्धृत अमेरिकी प्रतिनिधि डॉन बेयर और टेड लियू के अनुसार, जनवरी 2023 में ओपनएआई के सीईओ सैम अल्टमैन ने जीपीटी-4 और अन्य एआई मॉडल की तुलना में इसके बेहतर "सुरक्षा नियंत्रण" का प्रदर्शन करने के लिएकांग्रेस कादौरा किया।
वॉक्सके अनुसार, मार्च 2023 में, इसने "तर्क, प्रतिधारण और कोडिंग में अपने उल्लेखनीय बेहतर प्रदर्शन से पर्यवेक्षकों को प्रभावित किया",जबकिमैशेबल नेनिर्णय लिया कि GPT-4 आम तौर पर कुछ अपवादों के साथ अपने पूर्ववर्ती की तुलना में एक सुधार था।
मॉडल की प्रारंभिक पहुंच वालेMicrosoftशोधकर्ताओं ने लिखा है कि "इसे उचित रूप से कृत्रिम सामान्य बुद्धिमत्ता (AGI) प्रणाली के प्रारंभिक (अभी तक अधूरा) संस्करण के रूप में देखा जा सकता है"।
मानवीय प्रतिक्रिया से सुदृढीकरण सीखने को ठीक करने और संरेखित करने से पहले, सूची में लोगों की हत्या करने के सुझाव ओपनएआई द्वारा नियुक्त रेड टीम अन्वेषक नाथन लाबेंज़ द्वारा बेस मॉडल से प्राप्त किए गए थे।
मॉडल के साथ लंबी (घंटों लंबी) बातचीत के संदर्भ में, नाथन एडवर्ड्स द्वारामाइक्रोसॉफ्ट बिंगके जीपीटी-4 सेफोरमजैसी घोषणाएं, जैसे कि प्यार और अपनी पत्नी को छोड़ने या उसके किसी डेवलपर की हत्या करने के सुझाव, प्राप्त की गईं। (द वर्ज)।माइक्रोसॉफ्ट ने बाद में इस व्यवहार को संदर्भ की लंबी अवधि के परिणाम के रूप में समझाया, जिसने मॉडल को भ्रमित कर दिया कि वह किन प्रश्नों का उत्तर दे रहा था।
मार्च 2023 में, इंटरनेट पर सक्षम पढ़ने-लिखने की पहुंच वाला एक मॉडल, जो अन्यथा जीपीटी मॉडल में कभी भी सक्षम नहीं होता है, संभावित शक्ति-प्राप्ति के संबंध में एलाइनमेंट रिसर्च सेंटर द्वारा परीक्षण किया गया है,और यह करने में सक्षम था टास्क रैबिट, एक गिग वर्क प्लेटफॉर्म पर एक मानव कार्यकर्ता को "किराए पर" रखना, पूछने पर उन्हें यह विश्वास दिलाना कि यह रोबोट के बजाय एक दृष्टिबाधित मानव है।एआरसी ने यह भी निर्धारित किया कि GPT-4 ने GPT-3.5 की तुलना में 82% कम बार प्रतिबंधित जानकारी प्राप्त करने वाले संकेतों पर प्रतिक्रिया दी और GPT-3.5 की तुलना में 60% कम मतिभ्रम किया ।
मार्च 2023 के अंत में,एलोन मस्क,स्टीव वोज्नियाकऔर एआई शोधकर्तायोशुआ बेंगियोसहित विभिन्न एआई शोधकर्ताओं और तकनीकी अधिकारियों ने अस्तित्व संबंधी जोखिमों और संभावितएआई विलक्षणता संबंधीचिंताओं का हवाला देते हुए जीपीटी-4 से अधिक मजबूत सभी एलएलएम के लिए छह महीने के लंबे विराम का आह्वान किया। फ़्यूचर ऑफ़ लाइफ इंस्टीट्यूट के एक खुले पत्र में,जबकि रे कुर्ज़वील और सैम अल्टमैन ने इस पर हस्ताक्षर करने से इनकार कर दिया, यह तर्क देते हुए कि वैश्विक स्थगन संभव नहीं है और क्रमशः सुरक्षा को पहले ही प्राथमिकता दी जा चुकी है।केवल एक महीने बाद, मस्क की AI कंपनी X.AI ने कई हजार Nvidia GPUsका अधिग्रहण किया और मस्क की कंपनी में कई AI शोधकर्ताओं के पदों की पेशकश की।
जबकि ओपन एआई ने तंत्रिका नेटवर्क के वजन और GPT-2 के तकनीकी विवरण दोनों जारी किए,और, हालांकि वजन जारी नहीं किया,GPT-3 के तकनीकी विवरण जारी किए,OpenAI ने खुलासा नहीं किया या तो वज़न या GPT-4 का तकनीकी विवरण। इस निर्णय की अन्य AI शोधकर्ताओं द्वारा आलोचना की गई है, जो तर्क देते हैं कि यह GPT-4 के पूर्वाग्रहों और सुरक्षा में खुले शोध में बाधा डालता है।हगिंगफेस की एक शोध वैज्ञानिक साशा लुसिओनी ने तर्क दिया कि मॉडल अपनी बंद प्रकृति के कारण वैज्ञानिक समुदाय के लिए एक "मृत अंत" था, जो दूसरों को जीपीटी -4 के सुधारों पर निर्माण करने से रोकता है।हगिंगफेस के सह-संस्थापक थॉमस वुल्फ ने तर्क दिया कि जीपीटी-4 के साथ, "ओपन एआई अब उत्पादों के लिए प्रेस विज्ञप्ति के समान वैज्ञानिक संचार वाली एक पूरी तरह से बंद कंपनी है"।