# محول مولد مسبق التدريب

نموذج GPT الأصلي
**المُحول المُولّد مسبق التدريب** (جي بي تي) أو **المحول المُولّد المدرب مسبقا** (بالإنجليزية: Generative pre-trained transformers (GPT)) هي نوع من النماذج اللغوية الكبيرة وإطار بارز للذكاء الاصطناعي التوليدي. قدمت شركة أوبن أيه آي الجي بي تي الأول في عام 2018. نماذج الجي بي تي هي شبكات عصبية اصطناعية تعتمد على هيكلية محولات، مدربة مسبقا على مجموعات بيانات كبيرة من النصوص غير الموسومة، وقادرة على توليد محتوى جديد يشبه المحتوى البشري. أصبحت لمعظم النماذج اللغوية الكبيرة بحلول عام 2023 هذه الخصائص وتشار إليها أحيانا على نطاق واسع بصفتها جي بي تيز (الإنجليزية: *GPTs*).

أصدرت أوبن أيه آي نماذج أساسية لـ جي بي تي ذات تأثير كبير والتي رُقمت بتسلسل، لتشكل سلسلتها جي بي تي-إن . كل من هذه النماذج كان أكثر قدرة من السابق، بسبب الحجم المتزايد (عدد المعاملات التي يمكن تدريبها) والتدريب. أحدث هذه النماذج، جي بي تي-4، أُصدر في مارس 2023. هذه النماذج كانت الأساس لأنظمة جي بي تي الخاصة بهذه النماذج المخصصة للمهام الأكثر تحديدًا، بما في ذلك النماذج المعدلة لمتابعة الإرشادات - التي بدورها تُشغل خدمة الدردشةشات جي بي تي.

يُستخدم مصطلح "جي بي تي" أيضًا في أسماء وأوصاف النماذج التي طورها الآخرون. على سبيل المثال، تشمل النماذج الأساسية الأخرى لـ جي بي تي سلسلة من النماذج التي أنشأتها إي لوثر إي آي، ومؤخراً سبعة نماذج أنشأتها سيريبراس في 2023. بالإضافة إلى ذلك، قامت شركات في صناعات مختلفة بتطوير جي بي تيز محددة للمهام في مجالاتها المختلفة، مثل نموذج سيلز فورس المُسمى "أينشتاين جي بي تي - (الإنجليزية: *EinsteinGPT*)" (لإدارة علاقات العملاء)، ونموذج بلومبيرغ المُسمى "برومبيرج جي بي تي - (الإنجليزية: *BloombergGPT*)" (للتمويل).

## التاريخ

### التطورات الأولية

كان التدريب التوليدي المسبق (GP) مفهومًا راسخًا منذ فترة طويلة في تطبيقات التعلم الآلي. وكان يُستخدم أساسًا كشكل من أشكال التعلم شبه المُراقب، حيث يُدرب النموذج على مجموعة بيانات غير مُعلّمة (خطوة التدريب المسبق) من خلال تعلم توليد نقاط البيانات في مجموعة البيانات، ثم يُدرب على تصنيف مجموعة بيانات مُعلّمة. وكانت هناك 3 أنواع رئيسية من التدريب التوليدي المُبكر.

تتعلم نماذج ماركوف المخفية نموذجًا توليديًا للتسلسلات للتطبيقات اللاحقة. على سبيل المثال، في التعرف على الكلام، يستنتج نموذج ماركوف المخفي المُدرب التسلسل المخفي الأكثر احتمالية لإشارة الكلام، ويُؤخذ التسلسل المخفي على أنه أصوات إشارة الكلام. طُورت هذه النماذج في السبعينيات وطُبقت في التعرف على الكلام في الثمانينيات.

تتعلم أدوات الضغط ضغط البيانات مثل الصور والتسلسلات النصية، وتُعتبر البيانات المضغوطة تمثيلًا جيدًا للتطبيقات اللاحقة مثل التعرف على الوجه. وبالمثل تتعلم أجهزة التشفير التلقائي تمثيلًا كامنًا للبيانات لتطبيقات لاحقة مثل التعرف على الكلام. لُوحظت العلاقة بين أجهزة التشفير التلقائي وأدوات الضغط الخوارزمية في عام 1993.

خلال العقد الثاني من القرن الحادي والعشرين، حلت الشبكات العصبية المتكررة مشكلة الترجمة الآلية مع إضافة آلية الانتباه. تم تحسين ذلك في بنية المحولات، التي نشرها باحثو جوجل في "الانتباه هو كل ما تحتاجه" (2017). أدى هذا التطور إلى ظهور نماذج لغوية كبيرة مثل BERT في 2018. الذي كان عبارة عن محول مُدرّب مُسبقًا (PT) ولكن لم يتم تصميمه ليكون توليديًا (كان BERT نموذجًا "للتشفير فقط"). أيضًا في عام 2018 نشرت أوبن أيه آي "تحسين فهم اللغة من خلال التدريب التوليدي المسبق"، والذي قدم نموذج جي بي تي-1 وهو أول نماذج سلسلة جي بي تي.

في عام 2017 عمل بعض المؤلفين الذين سيعملون لاحقًا على جي بي تي-1 على التدريب التوليدي المسبق للغة باستخدام الذاكرة القصيرة المدى المطولة (LSTM)، مما أدى إلى نموذج يُمكنه تمثيل النص باستخدام متجهات يُمكن ضبطها بسهولة للتطبيقات اللاحقة.

قبل البنى القائمة على المحولات، كانت نماذج البرمجة اللغوية العصبية (معالجة اللغة الطبيعية) الأفضل أداءً تستخدم التعلم المُراقب من كميات كبيرة من البيانات المُعلّمة يدويًا. حد الاعتماد على التعلم المُراقب من استخدامها في مجموعات البيانات التي لم تكن مُعلّمة جيدًا، كما جعل تدريب نماذج اللغات الكبيرة للغاية مُكلفًا ويستغرق وقتًا طويلاً بشكل باهظ.

تضمن النهج شبه المُراقب الذي استخدمته أوبن أيه آي لإنشاء نظام توليدي واسع النطاق - وكان أول من فعل ذلك باستخدام نموذج محول - مرحلتين: مرحلة "تدريب مُسبق" توليديةغير مُراقبة لتعيين المعلمات الأولية باستخدام هدف نمذجة اللغة، ومرحلة "ضبط دقيق" تمييزية مُراقبة لتكييف هذه المعلمات مع مهمة مُستهدفة.

### التطورات اللاحقة

نشرت أوبن أيه آي الإصدارات الأولى من جي بي تي-3 في يوليو 2020. وكانت له ثلاثة نماذج: باباج (الإنجليزية: *babbage*) بواقع 1 مليار مُعلمة، وكوري - (الإنجليزية: *curie*) بواقع 6.7 مليار مُعلمة، ودافنشي - (الإنجليزية: *davinci*) بواقع 175 مليار مُعلمة.

في يوليو 2021، نشرت أوبن أيه آي نموذج "كوديكس - (الإنجليزية: *Codex*)"، وهو نموذج جي بي تي مُخصص للمهام مُستهدف لتطبيقات البرمجة. طُور عن طريق الضبط الدقيق لإصدار 12 مليار مُعلمة من جي بي تي-3 (يختلف عن نماذج جي بي تي-3 السابقة) باستخدام التعليمات البرمجية من غيت هاب.

في مارس 2022، نشرت أوبن أيه آي إصدارين من جي بي تي-3 ضُبطا بدقة لاتباع التعليمات (ضبط التعليمات)، ويُسمى (الإنجليزية: *davinci-instruct-beta*) (175 مليار) ونموذج "دافنشي النصي الأول - (الإنجليزية: *text-davinci-001*)"، ثم بدأت اختبار بيتا لنموذج "كود دافنشي الثاني - (الإنجليزية: *code-davinci-002*)". [33] ضُبط نموذج "دافنشي النصي الثاني" لاتباع التعليمات من نموذج "كود دافنشي الثاني". في نوفمبر 2022 أصدرت الشركة نموذجي "دافنشي النصي الثالث - (الإنجليزية: *text-davinci-003*)" وشات جي بي تي، وكلاهما مبني على "دافنشي النصي الثاني" عبر التعلم المعزز من التغذية الراجعة البشرية (RLHF). دُرب نموذج "دافنشي النصي الثالث" على اتباع التعليمات (مثل سابقاتها)، بينما دُرب "شات جي بي تي" بشكل أكبر على التفاعل الحواري مع مُستخدم بشري.

أصدرت شركة أوبن أيه آي نموذج جي بي تي-4 وهو أحدث نموذج جي بي تي أساسي في 14 مارس 2023. وأتاحت للمستخدمين الوصول إليه مُباشرةً من خلال إصدار مُميز من "شات جي بي تي"، وأتاحت للمطورين دمجه في المنتجات والخدمات الأخرى عبر واجهة برمجة التطبيقات. من بين المُنتجين الآخرين لنماذج جي بي تي الأساسية شركة "إليوثير أيه آي" ولها سلسلة من النماذج بدأت إصدارها في مارس 2021، وشركة "سيريبراس" ولها سبعة نماذج بدأت اصدارها في مارس 2023.

## النماذج الأساسية

النموذج الأساسي هو نموذج ذكاء اصطناعي دُرب على بيانات واسعة النطاق ويمكن تكييفه لمجموعة متنوعة من المهام اللاحقة.

تُعتبر هذه النماذج الأساسية الأكثر بروزًا في سلسلة نماذج "جي بي تي" من أوبن أيه آي، وأحدثها هو جي بي تي-4 الذي رفضت أوبن أيه آي نشر حجم النموذج أو تفاصيل تدريبه مشيرة إلى "البيئة التنافسية والآثار الأمنية للنماذج الكبيرة".

سلسلة نماذج GPT-n من أوبن أيه آي| النموذج | البنية المعمارية | عدد المعاملات | بيانات التدريب | تاريخ الإصدار | تكلفة التدريب |
| --- | --- | --- | --- | --- | --- |
| جي بي تي-1 | 12 مستوى، 12 رأسًا من المحولات (بدون مشفر)، متبوعًا بسوفت ماكس الخطية. | 117 مليون | مجموعة بيانات "كتاب كوربوس": 4.5 جيجابايت من النصوص، من 7000 كتاب غير منشور من أنواع مختلفة. | 11 يونيو 2018 | 30 يومًا على 8 وحدات معالجة الرسوميات P600، أو 1 بيتا فلوبس/يوم. |
| جي بي تي-2 | GPT-1، ولكن مع تعديل في التنعيم | 1.5 مليار | نص الويب: 40 جيجابايت من النصوص، 8 مليون مستند، من 45 مليون صفحة ويب حصلت على تصويت إيجابي على ريديت. | 14 فبراير 2019 (الإصدار الأول/المحدود) و5 نوفمبر 2019 (الإصدار الكامل) | "عشرات من فلوبس/يوم"، أو 1.5e21 FLOP. |
| جي بي تي-3 | GPT-2، ولكن مع تعديل للسماح بتوسيع أكبر | 175 مليار | 499 مليار رمز يتكون من الزحف المشترك (570 جيجابايت)، نص الويب، ويكيبيديا الإنجليزية، ومجموعتين من الكتب (Books1 وBooks2). | 28 مايو 2020 | 3640 بيتا فلوبس/يوم (الجدول D.1)، أو 3.1e23 فلوب. |
| جي بي تي-3 | غير معلن | 175 مليار | غير معلن | 15 مارس 2022 | غير معلن |
| جي بي تي-4 | تم تدريبه أيضًا باستخدام كل من توقع النص و"التعلم التعزيزي من ردود الفعل البشرية"؛ يقبل النصوص والصور كمدخلات. التفاصيل الإضافية غير معلنة. | غير معلن. يقدر بحوالي 1.7 تريليون. | غير معلن | 14 مارس 2023 | غير معلن. يقدر بحوالي 2.1 × 1025 فلوب. |

من النماذج الأخرى نموذج بالم من جوجل، وهو نموذج أساسي شامل يُقارن بجي بي تي-3، وهو متاح للمطورين عبر واجهة برمجة التطبيقات (API)، ونموذج "جي بي تي-جي تي - (الإنجليزية: *GPT-JT*)" من توقيذر، والذي يُعتبره البعض أقرب بديل مفتوح المصدر لجي بي تي-3 وهو مشتق من نماذج جي بي تي مفتوحة المصدر السابقة. كما أن لدى "ميتا أيه آي" (المعروفة سابقًا باسم فيسبوك) نموذجًا كبيرًا قائمًا على التحويلات التوليدية، يُعرف باسم لاما.

يمكن أن تستخدم النماذج الأساسية أنماطًا أخرى غير النصوص كمدخلات أو مخرجات. ويعد نموذج جي بي تي-4 نموذجًا متعدد الوسائط له القدرة على مُعالجة المدخلات كنص أو صورة، وتقتصر مخرجاته على النصوص. فيما يتعلق بالإخراج متعدد الوسائط، تُستخدم بعض النماذج التوليدية القائمة على المحولات لتقنيات في تقنيات تحويل النص إلى صورة، مثل نماذج الانتشار وفك التشفير المتوازي. يمكن أن تكون هذه الأنواع من النماذج بمثابة نماذج أساسية مرئية (VFMs) لتطوير أنظمة لاحقة يُمكنها العمل مع الصور.

## النماذج المخصصة للمهام

يمكن تكييف نموذج جي بي تي الأساسي بشكل أكبر لإنتاج أنظمة أكثر استهدافًا موجهة إلى مهام مُحددة و/أو مجالات موضوعية. يمكن أن تتضمن أساليب هذا التكييف ضبطًا دقيقًا إضافيًا (إلى جانب ما يُجرى للنموذج الأساسي) بالإضافة إلى أشكال مُعينة من هندسة المُطالبات.

من الأمثلة المهمة على ذلك ضبط النماذج بدقة لاتباع التعليمات، وهي بالطبع مهمة واسعة إلى حد ما ولكنها أكثر استهدافًا من النموذج الأساسي. في يناير 2022، قدمت أوبن أيه آي "انستركت جي بي تي - (الإنجليزية: *InstructGPT*)" - وهي سلسلة من النماذج التي ضُبطت بدقة لاتباع التعليمات باستخدام مزيج من التدريب المُراقب والتعلم المعزز من التغذية الراجعة البشرية (RLHF) على نماذج لغة جي بي تي-3 الأساسية. تشمل المزايا التي يتمتع بها هذا على النماذج الأساسية المجردة دقة أعلى، ومشاعر سلبية/سامة أقل، ومحاذاة أفضل بشكل عام مع احتياجات المستخدم. لذلك، بدأت أوبن أيه آي في استخدام هذا كأساس لعروض خدمة واجهة برمجة التطبيقات الخاصة بها. تم إصدار نماذج أخرى مُضبوطة للتعليمات من قبل آخرين، بما في ذلك إصدار مفتوح بالكامل.

نوع آخر (ذو صلة) من النماذج المُخصصة للمهام هو روبوتات الدردشة، التي تُشارك في محادثة تُشبه الإنسان. في نوفمبر 2022 أطلقت أوبن أيه آي "شات جي بي تي" - وهي واجهة دردشة عبر الإنترنت تعمل بواسطة نموذج لغة مُضبوط للتعليمات دُرب بطريقة مُشابهة لـ "انستركت جي بي تي". قاموا بتدريب هذا النموذج باستخدام التعلم المعزز من التغذية الراجعة البشرية، حيث يُجري مُدربو الذكاء الاصطناعي البشري محادثات يلعبون فيها دور كل من المستخدم والذكاء الاصطناعي، وخلطوا مجموعة بيانات الحوار الجديدة هذه مع مجموعة بيانات "انستركت جي بي تي" للحصول على تنسيق محادثة مُناسب لروبوت الدردشة. تشمل روبوتات الدردشة الرئيسية الأخرى حاليًا بينغ شات من مايكروسوفت، الذي يستخدم جي بي تي-4 من أوبن أيه آي (كجزء من تعاون وثيق أوسع بين أوبن أيه آي ومايكروسوفت)، وروبوت الدردشة المُنافس من جوجل، بارد الذي أعتمد في البداية على عائلة لامدا من نماذج اللغات المُدربة على المحادثة، مع خطط لتحويله إلى نماذج بالم.

نوع آخر من المهام التي يُمكن استخدام جي بي تي من أجلها هو المهمة الفوقية المتمثلة في إنشاء تعليماته الخاصة، مثل تطوير سلسلة من المُطالبات "لنفسها" لتكون قادرة على تحقيق هدف أكثر عمومية يُحدده مُستخدم بشري. يُعرف هذا باسم وكيل الذكاء الاصطناعي، وبشكل أكثر تحديدًا وكيل تكراري لأنه يستخدم نتائج تعليماته الذاتية السابقة لمساعدته في تشكيل مُطالباته اللاحقة؛ كان المثال الرئيسي الأول على ذلك هو أوتو جي بي تي (الذي يستخدم نماذج جي بي تي من أوبن أيه آي)، ومنذ ذلك الحين طُورت نماذج أخرى أيضًا.

### تعددية الوسائط

يمكن أيضًا استهداف الأنظمة التوليدية القائمة على المحولات للمهام التي تتضمن أساليب تتجاوز النص. على سبيل المثال يجمع "شات جي بي تي المرئي" من مايكروسوفت بين "شات جي بي تي" ونماذج الرؤية الأساسية (VFMs) لتمكين الإدخال أو الإخراج الذي يشتمل على صور بالإضافة إلى نص. أيضًا تُوفر التطورات في تقنية تحويل النص إلى كلام أدوات لإنشاء محتوى صوتي عند استخدامها جنبًا إلى جنب مع نماذج لغة جي بي تي الأساسية.

### تخصص المجال

يمكن توجيه أنظمة جي بي تي نحو مجالات أو نطاقات مُعينة. فيما يلي بعض الأمثلة لهذه النماذج والتطبيقات:

* EinsteinGPT - لمجالات المبيعات والتسويق، للمساعدة في إدارة علاقات العملاء (يستخدم جي بي تي-3.5).
* BloombergGPT - للمجال المالي، للمساعدة في الأخبار والمعلومات المالية (يستخدم أساليب الذكاء الاصطناعي "المُتاحة مجانًا"، جنبًا إلى جنب مع بياناتهم الخاصة).
* Khanmigo - يُوصف بأنه إصدار جي بي تي للتدريس، يُساعد الطلاب الذين يستخدمون أكاديمية خان من خلال إرشادهم خلال دراساتهم دون تقديم إجابات مُباشرة (مدعوم من جي بي تي-4).
* SlackGPT - لخدمة المراسلة الفورية سلاك، للمساعدة في التنقل وتلخيص المُناقشات عليها (يستخدم واجهة برمجة تطبيقات أوبن أيه آي).
* BioGPT - للمجال الطبي الحيوي، للمساعدة في توليد النصوص واستخراج البيانات من الأدبيات الطبية الحيوية (يستخدم جي بي تي-2).

في بعض الأحيان، تُحقق خصوصية المجال عبر المكونات الإضافية للبرامج أو الإضافات. على سبيل المثال، طورت العديد من الشركات المختلفة مكونات إضافية مُعينة تتفاعل مُباشرةً مع واجهة "شات جي بي تي" من أوبن أيه آي، ولدى جوجل ورك سبيس إضافات مُتاحة مثل (الإنجليزية: *GPT for Sheets and Docs*) والتي يُقال إنها تُساعد في استخدام وظائف جداول البيانات في جداول بيانات جوجل.

في نوفمبر 2023، أعلنت أوبن أيه آي أنها ستُتيح لمُشتركي "شات جي بي تي بلس" إنشاء إصدارات مُخصصة من "شات جي بي تي" تُسمى "جي بي تيز - (الإنجليزية: *GPTs*)". بحيث يُمكن تخصيصها لمجالات مُحددة عبر هندسة المُطالبات، ومجموعات البيانات المُنسقة، والتفاعل المُستهدف مع الأدوات الخارجية. ويمكن للمستخدمين الذين يُسجلون كمُنشئين مُتحققين إتاحة الـ "جي بي تيز" للمستخدمين آخرين، مع إمكانية تحقيق الدخل منها. (هذا يختلف بشكل ملحوظ عن خدمة واجهة برمجة تطبيقات أوبن أيه آي، حيث يعتمد هذا داخليًا على منصة أوبن أيه آي.)

## قضايا العلامة التجارية

أكدت شركة أوبن أيه آي، التي أنشأت أول محول توليدي مُدرّب مُسبقًا (GPT) في عام 2018، مؤخرًا أنه يجب اعتبار "جي بي تي" علامة تجارية خاصة بها. وفي أبريل 2023 عدلت إرشادات العلامة التجارية في شروط الخدمة الخاصة بها للإشارة إلى أن الشركات الأخرى التي تستخدم واجهة برمجة التطبيقات الخاصة بها لتشغيل خدمات الذكاء الاصطناعي الخاصة بها لن تتمكن بعد الآن من تضمين "جي بي تي" في مثل هذه الأسماء أو العلامات التجارية. في مايو 2023 تعاقدت أوبن أيه آي مع خدمة إدارة العلامات التجارية لإخطار عملاء واجهة برمجة التطبيقات الخاصة بها بهذه السياسة، على الرغم من أن هذه الإخطارات لم تصل إلى حد تقديم مُطالبات قانونية علنية (مثل مزاعم انتهاك العلامات التجارية أو خطاب التوقف والكف). في نوفمبر 2023 بدأت في تمكين مُشتركي "شات جي بي تي بلس" من إنشاء إصدارات مُخصصة من "شات جي بي تي" والتي تُسمى "جي بي تيز - GPTs" على موقع أوبن أيه آي. تنص شروط خدمة أوبن أيه آي على أنه يجوز لمُشتركيها استخدام "جي بي تي" في أسماء هذه الإصدارات، على الرغم من أنه "غير مُشجع".

وبشكل مُتصل، تقدمت أوبن أيه آي إلى مكتب الولايات المتحدة لبراءات الاختراع والعلامات التجارية (USPTO) للحصول على تسجيل علامة تجارية محلية لمُصطلح "جي بي تي - GPT" في مجال الذكاء الاصطناعي. سعت أوبن أيه آي إلى تسريع معالجة طلبها، لكن مكتب البراءات رفض هذا الطلب في أبريل 2023. في مايو 2023 رد مكتب البراءات على الطلب بتحديد أن "جي بي تي" كان وصفًا عامًا. اعتبارًا من نوفمبر 2023، تُواصل أوبن أيه آي مُتابعة حجتها من خلال العمليات المُتاحة. بغض النظر عن ذلك، فإن عدم الحصول على علامة تجارية أمريكية مُسجلة لا يحول دون مستوى مُعين من حقوق العلامات التجارية بموجب القانون العام في الولايات المتحدة، و/أو حقوق العلامات التجارية في دول أخرى.

بالنسبة لأي نوع أو نطاق من حماية العلامات التجارية في الولايات المتحدة، ستحتاج أوبن أيه آي إلى إثبات أن المصطلح "مُميز" بالفعل لعروضها المُحددة بالإضافة إلى كونه مُصطلحًا تقنيًا أوسع لنوع التكنولوجيا. أشارت بعض التقارير الإعلامية إلى أن أوبن أيه آي قد تتمكن من الحصول على تسجيل علامة تجارية بشكل غير مُباشر بناءً على شهرة منتج روبوت الدردشة "شات جي بي تي"، الذي سعت أوبن أيه آي للحصول على حماية له بشكل مُنفصل وسعت لفرضه بقوة أكبر.

تُشير تقارير أخرى إلى أنه من غير المرجح منح تسجيلًا للعلامة التجارية "GPT وحده، نظرًا للاستخدام المتكرر للمصطلح للإشارة ببساطة إلى أنظمة الذكاء الاصطناعي التي تنطوي على المحولات التوليدية المدربة مسبقًا. وفي كل الأحوال سيحتاج الآخرون إلى تجنب استخدام المصطلح لمنتجات أو خدمات مُماثلة بطرق يُحتمل أن تُسبب ارتباكًا. لكن إذا أصبحت هذه الحقوق واسعة النطاق بما يكفي لتوريط استخدامات أخرى راسخة في هذا المجال، فإن مبدأ الاستخدام العادل الوصفي للعلامات التجارية لا يزال يُمكن أن يُواصل الاستخدام غير المُتعلق بالعلامة التجارية.

## انظر أيضا

المُحول المُولِّد مسبق التدريب 5

## قائمة المراجع المُختارة

فيما يلي قائمة بالإصدارات الرسمية الرئيسية من "أوبن أيه آي"، ومايكروسوفت حول نماذج GPT الخاصة بهم:

* **GPT-1**: تقرير، إصدار على GitHub.
* **GPT-2**: إعلان في مدونة، تقرير حول قرار الإصدار "المتدرج"، إصدار على GitHub.
* **GPT-3**: تقرير. لم يتم إصدار الكود على GitHub أو بأي صيغة أخرى منذ ذلك الحين.
* **WebGPT**: إعلان في مدونة، تقرير،
* **InstructGPT**: إعلان في مدونة، تقرير.
* **ChatGPT**: إعلان في مدونة (لا يوجد تقرير).
* **GPT-4**: إعلان في مدونة، تقارير، بطاقة نموذج.
* **GPT-4o**: إعلان في مدونة.

## المصادر

## المراجع

* Bommasani (et-al)، Rishi (12 يوليو 2022). "On the Opportunities and Risks of Foundation Models". arXiv:2108.07258 [cs.LG]. `{{استشهاد بأرخايف}}`: الوسيط `|arxiv=` مطلوب (مساعدة)صيانة الاستشهاد: ref duplicates default (link)
* Bubeck، Sébastien؛ Chandrasekaran، Varun؛ Eldan، Ronen؛ Gehrke، Johannes؛ Horvitz، Eric؛ Kamar، Ece؛ Lee، Peter؛ Lee، Yin Tat؛ Li، Yuanzhi؛ Lundberg، Scott؛ Nori، Harsha؛ Palangi، Hamid؛ Ribeiro، Marco Tulio؛ Zhang، Yi (13 أبريل 2023). "Sparks of Artificial General Intelligence: Early experiments with GPT-4". arXiv:2303.12712 [cs.CL]. `{{استشهاد بأرخايف}}`: الوسيط `|arxiv=` مطلوب (مساعدة)
* Solaiman، Irene؛ Brundage، Miles؛ Clark، Jack؛ Askell، Amanda؛ Herbert-Voss، Ariel؛ Wu، Jeff؛ Radford، Alec؛ Krueger، Gretchen؛ Kim، Jong Wook؛ Kreps، Sarah؛ McCain، Miles؛ Newhouse، Alex؛ Blazakis، Jason؛ McGuffie، Kris؛ Wang، Jasmine (12 نوفمبر 2019). "Release Strategies and the Social Impacts of Language Models". arXiv:1908.09203 [cs.CL]. `{{استشهاد بأرخايف}}`: الوسيط `|arxiv=` مطلوب (مساعدة)
* Wu (et-al)، Chenfei (8 مارس 2023). "Visual ChatGPT". arXiv:2303.04671 [cs.CV]. `{{استشهاد بأرخايف}}`: الوسيط `|arxiv=` مطلوب (مساعدة)صيانة الاستشهاد: ref duplicates default (link)
* Zhu، Yukun؛ Kiros، Ryan؛ Zemel، Rich؛ Salakhutdinov، Ruslan؛ Urtasun، Raquel؛ Torralba، Antonio؛ Fidler، Sanja (2015). "Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books". *IEEE International Conference on Computer Vision (ICCV) 2015*. arXiv:1506.06724. مؤرشف من الأصل في 2023-02-05. اطلع عليه بتاريخ 2023-02-07.
* "GPT-4 has more than a trillion parameters – Report". *The Decoder*. 25 مارس 2023. مؤرشف من الأصل في 2023-09-10. اطلع عليه بتاريخ 2024-10-28.
* Heah، Alexa (26 أبريل 2023). "OpenAI Unsuccessful At Speeding Up Its Attempt To Trademark 'GPT'". *DesignTAXI*. مؤرشف من الأصل في 2023-04-26. اطلع عليه بتاريخ 2023-05-21.`{{استشهاد بخبر}}`: صيانة الاستشهاد: ref duplicates default (link)
* Russo، Philip (22 أغسطس 2023). "The Genesis of Generative AI for Everything Everywhere All at Once in CRE". *Commercial Observer*. مؤرشف من الأصل في 2023-08-24. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بخبر}}`: صيانة الاستشهاد: ref duplicates default (link)
* Bourlard، H.؛ Kamp، Y. (1988). "Auto-association by multilayer perceptrons and singular value decomposition". *Biological Cybernetics*. ج. 59 ع. 4–5. DOI:10.1007/BF00332918. PMID:3196773. S2CID:206775335. مؤرشف من الأصل في 2024-04-24. اطلع عليه بتاريخ 2024-10-28.
* Brown، Tom B.؛ Mann، Benjamin؛ Ryder، Nick؛ Subbiah، Melanie؛ Kaplan، Jared؛ Dhariwal، Prafulla؛ Neelakantan، Arvind؛ Shyam، Pranav؛ Sastry، Girish؛ Askell، Amanda؛ Agarwal، Sandhini؛ Herbert-Voss، Ariel؛ Krueger، Gretchen؛ Henighan، Tom؛ Child، Rewon؛ Ramesh، Aditya؛ Ziegler، Daniel M.؛ Wu، Jeffrey؛ Winter، Clemens؛ Hesse، Christopher؛ Chen، Mark؛ Sigler، Eric؛ Litwin، Mateusz؛ Gray، Scott؛ Chess، Benjamin؛ Clark، Jack؛ Berner، Christopher؛ McCandlish، Sam؛ Radford، Alec؛ Sutskever، Ilya؛ Amodei، Dario (28 مايو 2020). "Language Models are Few-Shot Learners". *NeurIPS*. arXiv:2005.14165v4.
* Chen، Mark؛ Tworek، Jerry؛ Jun، Heewoo؛ Yuan، Qiming؛ Ponde de Oliveira Pinto، Henrique؛ Kaplan، Jared؛ Edwards، Harri؛ Burda، Yuri؛ Joseph، Nicholas؛ Brockman، Greg؛ Ray، Alex؛ Puri، Raul؛ Krueger، Gretchen؛ Petrov، Michael؛ Khlaaf، Heidy (01 يوليو 2021). "Evaluating Large Language Models Trained on Code". *Association for Computational Linguistics*. arXiv:2107.03374. مؤرشف من الأصل في 2024-11-12. اطلع عليه بتاريخ 2024-10-28.
* Cottrell, Garrison W.; Munro, Paul; Zipser, David (1987). "Learning Internal Representation From Gray-Scale Images: An Example of Extensional Programming". *Proceedings of the Annual Meeting of the Cognitive Science Society* (بالإنجليزية). **9**. Archived from the original on 2024-12-01. Retrieved 2024-10-28.
* Deng، Li (22 يناير 2014). "A tutorial survey of architectures, algorithms, and applications for deep learning | APSIPA Transactions on Signal and Information Processing | Cambridge Core". *Apsipa Transactions on Signal and Information Processing*. Cambridge.org. ج. 3. DOI:10.1017/atsip.2013.9. S2CID:9928823. مؤرشف من الأصل في 2024-12-18. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بدورية محكمة}}`: صيانة الاستشهاد: ref duplicates default (link)
* Devlin، Jacob؛ Chang، Ming-Wei؛ Lee، Kenton؛ Toutanova، Kristina (24 مايو 2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding". *Association for Computational Linguistics*. arXiv:1810.04805v2.
* Elman, Jeffrey L.; Zipser, David (01 Apr 1988). "Learning the hidden structure of speech". *The Journal of the Acoustical Society of America* (بالإنجليزية). **83** (4). Bibcode:1988ASAJ...83.1615E. DOI:10.1121/1.395916. ISSN:0001-4966. PMID:3372872. Archived from the original on 2024-10-07. Retrieved 2024-10-28.
* Erhan, Dumitru; Courville, Aaron; Bengio, Yoshua; Vincent, Pascal (31 Mar 2010). "Why Does Unsupervised Pre-training Help Deep Learning?". *Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics* (بالإنجليزية). JMLR Workshop and Conference Proceedings. Archived from the original on 2024-12-20. Retrieved 2024-10-28.
* Fu، Yao؛ Peng، Hao؛ Khot، Tushar (2022). "How does GPT Obtain its Ability? Tracing Emergent Abilities of Language Models to their Sources". *Yao Fu's Notion*. مؤرشف من الأصل في 2023-04-19. اطلع عليه بتاريخ 2024-10-28.
* Hinton (et-al)، Geoffrey (15 أكتوبر 2012). "Deep neural networks for acoustic modeling in speech recognition" (PDF). *IEEE Signal Processing Magazine*. Digital Object Identifier 10.1109/MSP.2012.2205597. DOI:10.1109/MSP.2012.2205597. S2CID:206485943. مؤرشف من الأصل (pdf) في 2024-11-21. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بدورية محكمة}}`: صيانة الاستشهاد: ref duplicates default (link)
* Hinton، Geoffrey E؛ Zemel، Richard (1993). "Autoencoders, Minimum Description Length and Helmholtz Free Energy". *Advances in Neural Information Processing Systems*. Morgan-Kaufmann. ج. 6. مؤرشف من الأصل في 2023-11-05. اطلع عليه بتاريخ 2024-10-28.
* Juang، B. H.؛ Rabiner، L. R. (1991). "Hidden Markov Models for Speech Recognition". *Technometrics*. ج. 33 ع. 3. DOI:10.2307/1268779. ISSN:0040-1706. JSTOR:1268779. مؤرشف من الأصل في 2024-11-12. اطلع عليه بتاريخ 2024-10-28.
* Luo (et-al)، Renqian (3 أبريل 2023). "BioGPT: Generative pre-trained transformer for biomedical text generation and mining". *Briefings in Bioinformatics*. ج. 23 ع. 6. arXiv:2210.10341. DOI:10.1093/bib/bbac409. PMID:36156661. مؤرشف من الأصل في 2024-07-11. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بدورية محكمة}}`: صيانة الاستشهاد: ref duplicates default (link)
* Nakano، Reiichiro؛ Hilton، Jacob؛ Balaji، Suchir؛ Wu، Jeff؛ Ouyang، Long؛ Kim، Christina؛ Hesse، Christopher؛ Jain، Shantanu؛ Kosaraju، Vineet؛ Saunders، William؛ Jiang، Xu؛ Cobbe، Karl؛ Eloundou، Tyna؛ Krueger، Gretchen؛ Button، Kevin (01 ديسمبر 2021). "WebGPT: Browser-assisted question-answering with human feedback". *CoRR*. arXiv:2112.09332. مؤرشف من الأصل في 2024-11-12. اطلع عليه بتاريخ 2024-10-28.
* Ouyang، Long؛ Wu، Jeff؛ Jiang، Xu؛ وآخرون (4 نوفمبر 2022). "Training language models to follow instructions with human feedback". *NeurIPS*. arXiv:2203.02155.
* Schmidhuber، Jürgen (1992). "Learning complex, extended sequences using the principle of history compression" (pdf). *Neural Computation*. ج. 4 ع. 2. DOI:10.1162/neco.1992.4.2.234. S2CID:18271205. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بدورية محكمة}}`: صيانة الاستشهاد: ref duplicates default (link)
* Sharma، Animesh K.؛ Sharma، Rahul (2023). "The role of generative pretrained transformers (GPTs) in revolutionising digital marketing: A conceptual model". *Journal of Cultural Marketing Strategy*. ج. 8 ع. 1. DOI:10.69554/TLVQ2275. مؤرشف من الأصل في 2024-12-17. اطلع عليه بتاريخ 2024-10-28.
* Vaswani، Ashish؛ Shazeer، Noam؛ Parmar، Niki؛ Uszkoreit، Jakob؛ Jones، Llion؛ Gomez، Aidan N؛ Kaiser، Łukasz؛ Polosukhin، Illia (2017). "Attention is All you Need" (PDF). *Advances in Neural Information Processing Systems*. Curran Associates, Inc. ج. 30. مؤرشف من الأصل (pdf) في 2024-02-21. اطلع عليه بتاريخ 2024-10-28.
* "The A to Z of Artificial Intelligence". *Time*. 13 أبريل 2023. مؤرشف من الأصل في 2023-06-21. اطلع عليه بتاريخ 2024-10-28.
* Alford، Anthony (13 يوليو 2021). "EleutherAI Open-Sources Six Billion Parameter GPT-3 Clone GPT-J". *InfoQ*. مؤرشف من الأصل في 2023-02-10. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* Asay، Matt (27 فبراير 2023). "Embrace and extend Excel for AI data prep". *InfoWorld*. مؤرشف من الأصل في 2023-10-01. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* "Auto-GPT, BabyAGI, and AgentGPT: How to use AI agents". *Mashable*. 19 أبريل 2023. مؤرشف من الأصل في 2023-04-25. اطلع عليه بتاريخ 2024-10-28.
* Demcak, Tramatm-Igor (26 Apr 2023). "OpenAI's Battle for Brand Protection: Can GPT be trademarked?". *Lexology* (بالإنجليزية). Archived from the original on 2023-05-05. Retrieved 2023-05-22.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* Edwards، Benj (9 يناير 2023). "Microsoft's new AI can simulate anyone's voice with 3 seconds of audio". *Ars Technica*. مؤرشف من الأصل في 2025-07-17. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* "First-Hand:The Hidden Markov Model – Engineering and Technology History Wiki". *ethw.org*. 12 يناير 2015. مؤرشف من الأصل في 03 أبريل 2018. اطلع عليه بتاريخ 1 مايو 2018.
* "Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM". *Databricks*. 12 أبريل 2023. مؤرشف من الأصل في 2025-07-10. اطلع عليه بتاريخ 2024-10-28.
* "GPT-1 to GPT-4: Each of OpenAI's GPT Models Explained and Compared". *MUO*. 11 أبريل 2023. مؤرشف من الأصل في 2023-04-15. اطلع عليه بتاريخ 2024-10-28.
* Hachman، Mark (4 مايو 2023). "Slack GPT will bring AI chatbots to your conversations". *PCWorld*. مؤرشف من الأصل في 2024-12-17. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* "Hello GPT-4o". *OpenAI*. 13 مايو 2024. مؤرشف من الأصل في 2024-05-14. اطلع عليه بتاريخ 2024-10-28.
* Hicks، William (10 مايو 2023). "ChatGPT creator OpenAI is asking startups to remove 'GPT' from their names". *The Business Journal*. مؤرشف من الأصل في 2023-06-28. اطلع عليه بتاريخ 2023-05-21.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* "How to Use ChatGPT on Google Sheets With GPT for Sheets and Docs". *MUO*. 12 مارس 2023. مؤرشف من الأصل في 2025-02-11. اطلع عليه بتاريخ 2024-10-28.
* "Improving language understanding with unsupervised learning". *openai.com* (بالإنجليزية). 11 Jun 2018. Archived from the original on 2023-03-18. Retrieved 2023-03-18.
* "Introducing the Center for Research on Foundation Models (CRFM)". *Stanford HAI*. 18 أغسطس 2021. مؤرشف من الأصل في 2021-09-12. اطلع عليه بتاريخ 2024-10-28.
* Islam، Arham (14 نوفمبر 2022). "How Do DALL·E 2, Stable Diffusion, and Midjourney Work?". *MarkTechPost*. مؤرشف من الأصل في 2025-09-10. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* Islam، Arham (27 مارس 2023). "Multimodal Language Models: The Future of Artificial Intelligence (AI)". *MarkTechPost*. مؤرشف من الأصل في 2023-05-15. اطلع عليه بتاريخ 2023-05-15.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* Iyer، Aparna (30 نوفمبر 2022). "Meet GPT-JT, the Closest Open Source Alternative to GPT-3". *Analytics India Magazine*. مؤرشف من الأصل في 2023-11-13. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* "Know about ChatGPT's 13 best plugins, designed to improve your overall user experience". *Latest Digital Transformation Trends | Cloud News | Wire19*. 5 مايو 2023. مؤرشف من الأصل في 2023-05-09. اطلع عليه بتاريخ 2024-10-28.
* Lawton, George (20 Apr 2023). "ChatGPT vs. GPT: How are they different? | TechTarget". *Enterprise AI* (بالإنجليزية). Archived from the original on 2023-05-09. Retrieved 2023-05-21.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* "Learning nonprofit Khan Academy is piloting a version of GPT called Khanmigo". *Fast Company*. 4 مايو 2023. مؤرشف من الأصل في 2023-05-04. اطلع عليه بتاريخ 2023-05-22.
* Leswing، Kif (13 أبريل 2023). "Bloomberg plans to integrate GPT-style A.I. into its terminal". *CNBC*. مؤرشف من الأصل في 2023-04-13. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* Louise, Nickie (3 Apr 2023). "OpenAI files a UDRP case against the current owner of ChatGPT.com" (بالإنجليزية). Archived from the original on 2025-04-26. Retrieved 2023-05-21.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* Mckendrick، Joe (13 مارس 2023). "Most Jobs Soon To Be 'Influenced' By Artificial Intelligence, Research Out Of OpenAI And University Of Pennsylvania Suggests". *فوربس*. مؤرشف من الأصل في 2025-07-08. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* Morrison، Ryan (7 مارس 2023). "Salesforce launches EinsteinGPT built with OpenAI technology". *Tech Monitor*. مؤرشف من الأصل في 2024-04-18. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* "NONFINAL OFFICE ACTION". *USPTO*. 25 مايو 2023. مؤرشف من الأصل في 2024-12-01. اطلع عليه بتاريخ 2024-10-28.
* "OpenAI Wants to Trademark 'GPT' Amid Rise of AI Chatbots". Tech Times. 25 أبريل 2023. مؤرشف من الأصل في 2025-06-17. اطلع عليه بتاريخ 2023-05-21.
* OpenAI (2023). "GPT-4 Technical Report" (pdf). *أوبن أيه آي*. مؤرشف (PDF) من الأصل في 2023-03-14. اطلع عليه بتاريخ 2023-03-16.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* Radford، Alec؛ Narasimhan، Karthik؛ Salimans، Tim؛ Sutskever، Ilya (11 يونيو 2018). "Improving Language Understanding by Generative Pre-Training" (pdf). أوبن أيه آي. مؤرشف (PDF) من الأصل في 2021-01-26. اطلع عليه بتاريخ 2021-01-23.
* Ramnani، Meeta (28 يناير 2022). "OpenAI dumps its own GPT-3 for something called InstructGPT, and for right reason". *Analytics India Magazine*. مؤرشف من الأصل في 2023-06-04. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* "Reflections on Foundation Models". *hai.stanford.edu* (بالإنجليزية). 18 Oct 2021. Archived from the original on 2025-06-15. Retrieved 2024-08-15.
* Rheintgen, Husch Blackwell LLP-Kathleen A. (16 Aug 2013). "Branding 101: trademark descriptive fair use". *Lexology* (بالإنجليزية). Archived from the original on 2025-07-11. Retrieved 2023-05-21.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* Robb, Drew (12 Apr 2023). "GPT-4 vs. ChatGPT: AI Chatbot Comparison". *eWEEK* (بالإنجليزية). Retrieved 2023-05-21.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* Saha، Shritama (4 يناير 2023). "Google Launches Muse, A New Text-to-Image Transformer Model". *Analytics India Magazine*. مؤرشف من الأصل في 2024-05-16. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* "U.S. Trademark Law". ديسمبر 2015. مؤرشف من الأصل في 2025-07-28. اطلع عليه بتاريخ 2024-10-28.
* Ver Meer, Dave (1 Jun 2023). "ChatGPT Statistics". *NamePepper* (بالإنجليزية). Archived from the original on 2025-07-20. Retrieved 2023-06-09.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* Vincent، James (7 نوفمبر 2019). "OpenAI has published the text-generating AI it said was too dangerous to share". *The Verge*. مؤرشف من الأصل في 2020-06-11. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* Vincent، James (14 مارس 2023). "Google opens up its AI language model PaLM to challenge OpenAI and GPT-3". *The Verge*. مؤرشف من الأصل في 2023-03-24. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* "What are GPTs? | Comprehensive Guide To Exploring OpenAI's Custom ChatGPT". *The Writesonic Blog - Making Content Your Superpower* (بالإنجليزية). 22 Dec 2023. Archived from the original on 2025-06-15. Retrieved 2024-10-28.
* Wiggers، Kyle (4 مايو 2023). "Microsoft doubles down on AI with new Bing features". *TechCrunch*. مؤرشف من الأصل في 2023-05-04. اطلع عليه بتاريخ 2024-10-28.`{{استشهاد بويب}}`: صيانة الاستشهاد: ref duplicates default (link)
* Cottrell، Garrison W. (01 يناير 1991)، Touretzky، David S.؛ Elman، Jeffrey L.؛ Sejnowski، Terrence J.؛ Hinton، Geoffrey E. (المحررون)، "Extracting features from faces using compression networks: Face, identity, emotion, and gender recognition using holons"، *Connectionist Models*، Morgan Kaufmann، ISBN:978-1-4832-1448-1، مؤرشف من الأصل في 2024-11-12، اطلع عليه بتاريخ 2024-10-04`{{استشهاد}}`: صيانة الاستشهاد: ref duplicates default (link) صيانة الاستشهاد: وسيط العمل ردمك (link)
* *finetune-transformer-lm*، OpenAI، 11 يونيو 2018، مؤرشف من الأصل في 2023-05-19، اطلع عليه بتاريخ 2023-05-01
* *gpt-2*، OpenAI، 01 مايو 2023، مؤرشف من الأصل في 2023-03-11، اطلع عليه بتاريخ 2023-05-01
* Radford، Alec؛ Jozefowicz، Rafal؛ Sutskever، Ilya (06 أبريل 2017)، *Learning to Generate Reviews and Discovering Sentiment*، DOI:10.48550/arXiv.1704.01444، مؤرشف من الأصل في 2017-08-08، اطلع عليه بتاريخ 2024-10-15