جي بي تي-جي

جي بي تي-جي أو جي بي تي-جي-6 بي هو نموذج لغوي كبير مفتوح المصدر طوّرته شركة إليوثر آي كمحول مولد مسبق التدريب مُصمَّم لإنتاج نصٍّا يحاكي المحادثات البشرية، ويستمرُّ من مُوجِّه. ويشير الرمز "6بي" المُستخدم في الاسم إلى احتوائه على ٦ مليار مُعامِل. أطلقت شركة إليوثر آي النموذج لأول مرة في 9 يونيو (حزيران) 2021، وأتاحته للاستخدام على غيت هاب، قبل أن يتوقف تطويره في عام ٢٠٢١، وتتوقف واجهة الويب عن التواصل معه.

 البنية 
يحتوي نموذج جي بي تي-جي على 6 مليار مُعاملًا، وهو محول قريب الشبه بنموذج المحول المولد مسبق التدريب 3، إذ يُعتبر مُحوِّلًا انحداريًا ذاتيًا، يعتمد على مُفكِّك التشفير فقط كما هو الحال في المحول المولد مسبق التدريب 3، كما أنّه مُصمَّم لحل مهام معالجة اللغة الطبيعية من خلال التنبؤ بكيفية استرسال نص ما. ومع هذا فإن نموذج جي بي تي-جي يختلف عن المحول المولد مسبق التدريب 3 في ثلاثة جوانب رئيسية، وهي:

 حُسبت الشبكة العصبية للانتباه والتغذية الأمامية بالتوازي أثناء التدريب، مما جعل محول جي بي تي-جي يتمتع بكفاءة أكبر.
 استخدم نموذج جي بي تي-جي تضمينات موضعية دوارة، والتي وُجد أنها طريقة مُتفوقة لحقن معلومات الموضع في المُحوِّلات.
 استخدم جي بي تي-جي الانتباه الكثيف بدلاً من الانتباه المُتفرق الفعال المُستخدم في المحول المولد مسبق التدريب 3.

يحتوي نموذج جي بي تي-جي، بالإضافة غلى ذلك، على 28 طبقة مُحوِّل و16 رأس انتباه. يبلغ حجم مُفرداته 50257 رمزًا، وهو نفس حجم مُفردات المحول المولد مسبق التدريب 2، كما يبلغ حجم نافذة السياق له 2048 رمزًا. دُرب نموذج جي بي تي-جي على مجموعة كومة البيانات، باستخدام مكتبة محول الشبكة في جوجل جاكس للتعامل مع مخطط التوازي.

 الأداء 
صُمم جي بي تي-جي لتوليد النصوص باللغة الإنجليزية فقط من خلال موجه، ولم يُصمم لترجمة أو توليد نصوص بلغات أخرى، أو لتحسين الأداء دون ضبط دقيق للنموذج أولًا لآداء مهمة محددة. وعلى الرغم من ذلك، فإن جي بي تي-جي يعمل بشكل جيد في مهام الترجمة حتى بدون ضبط دقيق. يُقدم جي بي تي-جي في حال عدم الضبط أداءًا يُضاهي أداء نموذج كوري من المحول المولد مسبق التدريب 3، والذي يحتوي على 6.7 مليار معامل، في مجموعة متنوعة من المهام، بل يتفوق أداء جي بي تي-جي على أداء نموذج دافنشي من المحول المولد مسبق التدريب 3 المحتوي على 175 مليار معامل في مهام توليد الرموز. وبفضل الضبط الدقيق، يُمكن لنموذج جي بي تي-جي أن يتفوق على نموذج دافنشي غير المضبوط في عدد من المهام. تكمن واحدة من أهم نقاط ضعف جي بي تي-جي في كونه، مثل جميع النماذج اللغوية الكبيرة، غير مصمّمًا لتقديم معلومات دقيقة، ولكنه مبرمج لتوليد النصوص استنادًا إلى الاحتمالات فقط.

 التطبيقات 
يتوفر نموذج جي بي تي-جي غير المضبوط على الموقع الإلكتروني الرسمي لشركة إليوثر آي، وهو متاح أيضًا من خلال خادم تريتون إنفرنس الخاص بشركة إنفيديا، ومتوفر على موقع إن إل بي كلاود الإلكتروني. تقدم شركة سيريبراس وخدمات أمازون ويب خدمات لضبط نموذج جي بي تي-جي بدقة لتمكينه من آداء مهام خاصة بالشركة، كما تقدم شركة غرافكور خدمات الضبط الدقيق والاستضافة أيضًا لنموذج جي بي تي-جي غير المضبوط، بالإضافة إلى استضافة النماذج المضبوطة بدقة بعد إنتاجها. وتقدم شركة كورويف خدمات الاستضافة لنموذج جي بي تي-جي غير المضبوط وكذلك لنماذج جي بي تي-جي المضبوطة بدقة.

أصدرت شركة داتابريكس في مارس (آذار) 2023 نموذج دوللي، وهو نموذج مرخص برخصة أباتشي، ويعتمد على اتباع التعليمات. أنشئ نموذج دوللي من خلال الضبط الدقيق لنموذج جي بي تي-جي باستخدام مجموعة بيانات لاما. ويُعد نموذجا سيغورد وغينجي-جي بي 6 بي المملوكين لشركة نوفيل أيه آي نسختين مُعدّلتين من نموذج جي بي تي-جي. كما يوفران خدمات ضبط دقيقة إضافية لإنتاج واستضافة نماذج مخصصة.

حظيت شركة إليوثر آي بإشادة من العديد من الشركات والمؤسسات والمواقع الإلترونية وخدمات وعلى رأسها سيريبراس، وجي بي تي ديمو، وإن إل بي كلاود، وداتابريكس لجعلها نموذج جي بي تي-جي نموذجا مفتوح المصدر، وعادةً ما يُشار إلى كونه مفتوح المصدر كميزة رئيسية عند اختيار النموذج المُراد استخدامه.

 مراجع 

تصنيف:برمجيات 2021
تصنيف:ذكاء اصطناعي
تصنيف:ذكاء اصطناعي مفتوح المصدر
تصنيف:محولات مولدة مسبقة التدريب
تصنيف:نماذج لغوية كبيرة