المحول المولد مسبق التدريب 2

المحول المولد مسبق التدريب 2  هو نموذج لغوي كبير من أوبن أيه آي والثاني في سلسلة نماذج محول مولد مسبق التدريب الأساسية الخاصة بهم. تم تدريب المحول المولد مسبق التدريب 2 مسبقًا على مجموعة بيانات مكونة من 8 ملايين صفحة ويب. تم إصداره جزئيًا في فبراير 2019، تلاه الإصدار الكامل للنموذج الذي يحتوي على 1.5 مليار معلمة في 5 نوفمبر 2019.

تم إنشاء المحول المولد مسبق التدريب 2 باعتباره «تطويرًا مباشرًا» للمحول المولد مسبق التدريب 1 مع زيادة بمقدار عشرة أضعاف في كل من عدد المعلمات وحجم مجموعة بيانات التدريب الخاصة به. إنه متعلم عام الغرض، وكانت قدرته على أداء المهام المختلفة نتيجة لقدرته العامة على التنبؤ بدقة بالعنصر التالي في التسلسل، مما مكنه من ترجمة النصوص، والإجابة على أسئلة حول موضوع من نص، وتلخيص مقاطع من نص أكبر، وتوليد إخراج نصي على مستوى لا يمكن تمييزه أحيانًا عن مستوى البشر؛ ومع ذلك، يمكن أن يصبح متكررًا أو غير منطقي عند توليد مقاطع طويلة. وقد تم استبداله بنماذج المحول المولد مسبق التدريب 3 والمحول المولد مسبق التدريب 4، والتي لم تعد مفتوحة المصدر.

يحتوي المحول المولد مسبق التدريب 2، مثل سابقه المحول المولد مسبق التدريب 1 وخلفائه المحول المولد مسبق التدريب 3 والمحول المولد مسبق التدريب 4، على بنية محول مُدرَّبة مسبقًا، تنفذ شبكة عصبية عميقة، وبشكل خاص نموذج محول، والذي يستخدم الانتباه بدلاً من البنيات القديمة القائمة على التكرار والالتفاف. تسمح آليات الاهتمام للنموذج بالتركيز بشكل انتقائي على أجزاء من النص المدخل الذي يتوقع أن يكون الأكثر صلة. يسمح هذا النموذج بزيادة كبيرة في التوازي، ويتفوق على المعايير السابقة للنماذج المستندة إلى RNN/CNN/LSTM.

 التدريب 
نظرًا لأن بنية المحول مكّنت من التوازي الهائل، فقد أصبح من الممكن تدريب نماذج المحول المولد مسبق التدريب على مجموعات بيانات أكبر من نماذج معالجة اللغة الطبيعية (NLP) السابقة. وفي حين أظهر نموذج المحول المولد مسبق التدريب 1 أن هذا النهج قابل للتطبيق، فإن نموذج المحول المولد مسبق التدريب 2 سوف يستكشف بشكل أكبر الخصائص الناشئة للشبكات المدربة على مجموعات بيانات كبيرة للغاية. تم اعتبار الزحف المشترك، وهو عبارة عن مجموعة كبيرة من البيانات تم إنتاجها بواسطة الزحف على الويب وتم استخدامها سابقًا في تدريب أنظمة معالجة اللغة الطبيعية، نظرًا لحجمها الكبير، ولكن تم رفضها بعد أن كشفت مراجعة أخرى عن كميات كبيرة من المحتوى غير المفهوم. بدلاً من ذلك، طورت أوبن أيه آي مجموعة جديدة تُعرف باسم ويب تكست؛ بدلاً من كشط المحتوى بشكل عشوائي من شبكة الويب العالمية، تم إنشاء ويب تكست عن طريق كشط الصفحات المرتبطة فقط بمنشورات ريديت التي تلقت 3 كارما على الأقل قبل ديسمبر 2017. تم تنظيف المجموعة لاحقًا؛ وتم تحليل مستندات إتش تي إم إل إلى نص عادي، وتم التخلص من الصفحات المكررة، وتمت إزالة صفحات ويكيبيديا (نظرًا لأن وجودها في العديد من مجموعات البيانات الأخرى قد يؤدي إلى الإفراط في التجهيز).

في حين أن تكلفة تدريب المحول المولد مسبق التدريب 2 معروفة بأنها 256 دولارًا في الساعة، فإن عدد الساعات التي استغرقها إكمال التدريب غير معروف؛ وبالتالي، لا يمكن تقدير التكلفة الإجمالية للتدريب بدقة. ومع ذلك، فقد تم توثيق تكاليف نماذج اللغة الكبيرة القابلة للمقارنة باستخدام بنيات المحولات بمزيد من التفصيل؛ حيث استهلكت عمليات التدريب الخاصة ببيرت و، على التوالي، 6،912 دولارًا و245،000 دولارًا من الموارد.

 الإصدار 
تم الإعلان عن المحول المولد مسبق التدريب 2 لأول مرة في 14 فبراير 2019. ذكرت مقالة كتبها جيمس فينسنت في فبراير 2019 في ذا فيرج أنه على الرغم من أن «الكتابة التي تنتجها يمكن التعرف عليها بسهولة على أنها غير بشرية»، إلا أنها تظل «واحدة من أكثر الأمثلة إثارة حتى الآن» لبرامج توليد اللغة:
أعطه عنوانًا زائفًا، وسيكتب بقية المقال، مُرفقًا باقتباسات وإحصائيات زائفة. غذِّه بالسطر الأول من قصة قصيرة، وسيخبرك بما سيحدث لشخصيتك لاحقًا. يمكنه حتى كتابة قصص خيالية، إذا وُجِّهت إليه الدعوة المناسبة.

وصفت صحيفة الجارديان هذا الناتج بأنه «نثر صحفي معقول»؛ وقالت  من فوكس «قد يكون أحد أروع أنظمة الذكاء الاصطناعي التي رأيتها على الإطلاق هو النظام الذي سيطردني من وظيفتي». تم وصف مرونة المحول المولد مسبق التدريب 2 بأنها «مثيرة للإعجاب» بواسطة ذا فيرج؛ على وجه التحديد، تمت الإشارة إلى قدرتها على ترجمة النصوص بين اللغات، وتلخيص المقالات الطويلة، والإجابة على أسئلة عامة.

توصلت دراسة أجرتها جامعة أمستردام باستخدام اختبار تورينج المعدل إلى أنه في بعض السيناريوهات على الأقل، لم يتمكن المشاركون من التمييز بين القصائد التي تم إنشاؤها بواسطة المحول المولد مسبق التدريب 2 وتلك التي كتبها البشر.

 القيود والإصدار الجزئي 
تصغير|رغم أن «سكوب» ليس منتجًا حقيقيًا، إلا أن النموذج ذو الحجم المخفض المستخدم في ديستيلغبت2 قادر على إنشاء حجج معقولة لصالحه وضده.
في حين تم إتاحة نماذج أوبن أيه آي السابقة للجمهور على الفور، رفضت أوبن أيه آي في البداية إصدارًا عامًا لرمز مصدر المحول المولد مسبق التدريب 2 عند الإعلان عنه في فبراير، مشيرة إلى خطر الاستخدام الضار؛ تم السماح بالوصول المحدود إلى النموذج (أي واجهة تسمح بالإدخال وتوفر الإخراج، وليس رمز المصدر نفسه) لمنافذ الصحافة المحددة عند الإعلان. كان أحد المبررات الشائعة هو أنه نظرًا لأن النص المُولَّد كان جديدًا تمامًا في العادة، فقد يستخدمه مرسلي البريد العشوائي للتهرب من المرشحات الآلية؛ وقد أظهرت أوبن أيه آي إصدارًا من المحول المولد مسبق التدريب 2 مُعَدَّلًا بدقة «لتوليد عدد لا نهائي من المراجعات الإيجابية – أو السلبية – للمنتجات».

وكان هناك مبرر آخر وهو أن المحول المولد مسبق التدريب 2 يمكن استخدامه لتوليد نصوص فاحشة أو عنصرية. حذر باحثون مثل جيريمي هوارد من «التكنولوجيا التي ستملأ تويتر والبريد الإلكتروني والويب بالكامل بنثر معقول الصوت ومناسب للسياق، والذي من شأنه أن يطغى على كل الكلام الآخر ويكون من المستحيل تصفيته». أعلن معهد ألين للذكاء الاصطناعي، ردًا على المحول المولد مسبق التدريب 2، عن أداة للكشف عن «الأخبار العصبية المزيفة».

ومع ذلك، كان الرأي منقسما. زعمت مقالة نُشرت في فبراير 2019 في ذا فيرج أن التهديد الذي يشكله المحول المولد مسبق التدريب 2 كان مبالغًا فيه؛ وقالت ، أستاذة في معهد كاليفورنيا للتكنولوجيا ومديرة أبحاث التعلم الآلي في إنفيديا، إنه لا يوجد دليل على أن المحول المولد مسبق التدريب 2 لديه القدرة على تشكيل التهديدات التي وصفها أوبن أيه آي، وأن ما فعلوه كان «عكس الانفتاح»، ووصفت رفضهم إصدار النموذج الكامل بأنه « خبيثى. نشرت قرايدينت رسالة مفتوحة إلى أوبن أيه آي تطلب منهم إصدار النموذج علنًا، ومقارنة التهديد الذي يشكله الذكاء الاصطناعي لتوليد النصوص بالتهديد الذي تشكله المطبعة، وإعطاء فوتوشوب كمثال على «التكنولوجيا التي (لحسن الحظ) لم تدمر المجتمع الحديث على الرغم من قدرتها على إحداث الفوضى»:
بعد ثلاثين عامًا، خرج المجتمع سالمًا نسبيًا، رغم بساطة برنامج فوتوشوب وسهولة استخدامه من قِبل طلاب المدارس الثانوية، وانتشاره الواسع الذي يسمح له بامتلاك فعل خاص به. لماذا؟ تحديدًا لأن الجميع يعرف فوتوشوب.

 إصدار 774 إم 
في حين لم تصدر أوبن أيه آي النموذج المدرب بالكامل أو المجموعات التي تم تدريبها عليها، فإن وصف أساليبها في المنشورات السابقة (والتوفر المجاني للتكنولوجيا الأساسية) جعل من الممكن تكرار المحول المولد مسبق التدريب 2 من قبل الآخرين كبرنامج مجاني؛ تم إصدار أحد هذه النسخ، أوبن جي بي تي-2، في أغسطس 2019، بالتزامن مع إصدار مرخص بحرية من ويب تكست  يسمى نص ويب مفتوح . تم تحديد تكاليف الحوسبة السحابية لأوبن جي بي تي-2 بما يقارب 50،000 دولار.

في 20 أغسطس 2019، أصدرت أوبن أيه آي نسخة جزئية من المحول المولد مسبق التدريب 2، تحتوي على 774 مليون معلمة (حوالي نصف حجم النموذج الكامل المكون من 1.5 مليار معلمة).

 الإصدار الكامل 1.5 مليار 
لم تتحقق المخاوف الأولية من أن المحول المولد مسبق التدريب 2 قد يُساء استخدامه على نطاق واسع؛ فقد ذكر موقع ذا فيرج أن «هناك أسبابًا للشك في مزاعم أن تقنية الذكاء الاصطناعي ستُبشر بكارثة معلوماتية. بدايةً، لدينا بالفعل برامج قادرة على توليد نصوص معقولة بكميات كبيرة وبتكلفة زهيدة: البشر». وبحلول نوفمبر 2019، صرحت أوبن أيه آي بأنها «لم ترَ أي دليل قوي على إساءة الاستخدام حتى الآن»، وأن النسخة الكاملة، التي تضم 1.5 مليار معلمة مُدربة بأربعين جيجابايت من البيانات، «أكبر بحوالي ثمانية آلاف مرة من الأعمال الكاملة لشكسبير»، صدرت في 5 نوفمبر 2019.

 الإصدارات الصغيرة والمتوسطة 
يتوفر إصداران آخران أصغر حجمًا من المحول المولد مسبق التدريب 2، بما في ذلك الإصدار الصغير بسعة 124 مليون معلمة، والإصدار المتوسط بسعة 355 مليون معلمة. كلاهما متاح للتنزيل من هجينج فيس.

 القيود 
تصغير|يمكن لبرنامج المحول المولد مسبق التدريب 2 إنشاء نص مناسب موضوعيًا لمجموعة من السيناريوهات، حتى السيناريوهات السريالية مثل مقالة سي إن إن حول دونالد ترامب الذي ألقى خطابًا يمتدح فيه شخصية الأنمي أسكا لانغلي سوريو. هنا، يمكن رؤية الميل إلى إنشاء نص غير منطقي ومكرر مع زيادة طول الإخراج (حتى في النموذج الكامل 1.5 مليار)؛ في الفقرة الثانية، تبدأ القواعد النحوية في التدهور، ويصبح الإخراج في النهاية جملة واحدة غير متماسكة تتكرر مرارًا وتكرارًا.في حين تم الإشادة بشكل عام بقدرة المحول المولد مسبق التدريب 2 على توليد مقاطع معقولة من نصوص اللغة الطبيعية، فقد لوحظت عيوبها أيضًا، وخاصة عند توليد نصوص أطول من فقرتين؛ قال فوكس «النثر خشن إلى حد ما، وهناك أحيانًا غير مترابط، وتصبح المقالات أقل تماسكًا كلما طالت». وبالمثل، لاحظ موقع ذا فيرج أن العينات الأطول من كتابات المحول المولد مسبق التدريب 2 تميل إلى «الانحراف عن الموضوع» وتفتقر إلى التماسك العام؛ ورأى موقع ذا رجستر أن «الإنسان الذي يقرأها يجب أن يدرك، بعد فترة قصيرة، أن هناك شيئًا ما»، ولاحظ أن «المحول المولد مسبق التدريب 2 لا يجيب على الأسئلة بشكل جيد مثل الأنظمة الأخرى التي تعتمد على الخوارزميات لاستخراج واسترجاع المعلومات».

إن نشر المحول المولد مسبق التدريب 2 يتطلب موارد مكثفة؛ حيث أن الإصدار الكامل من النموذج أكبر من خمسة جيجابايت، مما يجعل من الصعب تضمينه محليًا في التطبيقات، ويستهلك كميات كبيرة من ذاكرة الوصول العشوائي. بالإضافة إلى ذلك، فإن تنفيذ تنبؤ واحد «قد يشغل وحدة المعالجة المركزية بنسبة استخدام 100% لعدة دقائق»، وحتى مع معالجة وحدة معالجة الرسومات، «قد يستغرق تنفيذ تنبؤ واحد ثوانٍ». لتخفيف هذه المشاكل، أنشأت شركة هجينج فيس برنامج ديستيلغبت2، باستخدام تقطير المعرفة لإنتاج نموذج أصغر «يسجل بضع نقاط أقل في بعض معايير الجودة»، ولكنه «أصغر بنسبة 33% وأسرع مرتين».

 التطبيق والبحث اللاحق 
حتى قبل إصدار النسخة الكاملة، تم استخدام المحول المولد مسبق التدريب 2 لمجموعة متنوعة من التطبيقات والخدمات، وكذلك للترفيه. في يونيو 2019، تم إنشاء منتدى فرعي باسم r/SubSimulatorGPT2، حيث قامت مجموعة متنوعة من حالات المحول المولد مسبق التدريب 2 المدربة على منتديات فرعية مختلفة بنشر منشورات والرد على تعليقات بعضها البعض، مما أدى إلى خلق حالة يمكن فيها ملاحظة «تجسيد الذكاء الاصطناعي لـ r/Bitcoin يتجادل مع روح r/ShittyFoodPorn المستمدة من التعلم الآلي»؛ بحلول يوليو من ذلك العام، وصف المستخدمون برنامجًا قائمًا على المحول المولد مسبق التدريب 2 تم إصداره لإكمال أسطر التعليمات البرمجية تلقائيًا في مجموعة متنوعة من لغات البرمجة بأنه «مغير لقواعد اللعبة».

في عام 2019، تم إطلاق إيه آي دنجن، والذي استخدم المحول المولد مسبق التدريب 2 لإنشاء مغامرات نصية ديناميكية تعتمد على إدخال المستخدم. يقدم إيه آي دنجن الآن إمكانية الوصول إلى أكبر إصدار من واجهة برمجة التطبيقات المحول المولد مسبق التدريب 3 كترقية مدفوعة اختيارية، وتستخدم النسخة المجانية من الموقع ثاني أكبر إصدار من المحول المولد مسبق التدريب 3. جمعت شركة لاتيتيود، التي تأسست حول إيه آي دنجن، 3.3 مليون دولار في تمويل أولي في عام 2021. تستضيف العديد من المواقع الإلكترونية عروضًا تفاعلية لحالات مختلفة من المحول المولد مسبق التدريب 2 ونماذج المحولات الأخرى.

في فبراير 2021، أعلن مركز الأزمات للمراهقين المضطربين أنهم سيبدأون في استخدام روبوت محادثة مشتق من المحول المولد مسبق التدريب 2 للمساعدة في تدريب المستشارين من خلال السماح لهم بإجراء محادثات مع المراهقين المحاكين (كان هذا الاستخدام لأغراض داخلية بحتة، ولم يتضمن تواصل المحول المولد مسبق التدريب 2 مع المراهقين أنفسهم).

في 9 مايو 2023، أصدرت أوبن أيه آي نسخة مرسومة من المحول المولد مسبق التدريب 2. استخدمت أوبن أيه آي نموذج الخليفة، المحول المولد مسبق التدريب 4، لرسم خريطة لكل خلية عصبية من المحول المولد مسبق التدريب 2 لتحديد وظائفها.

 الأداء والتقييم 
تصغير|المحول المولد مسبق التدريب 2 يكتب مقالاً إخباريًا خياليًا عن تصرفات إدوارد سنودن بعد فوزه في الانتخابات الرئاسية الأمريكية لعام 2020 (كل النصوص المميزة تم إنشاؤها آليًا). رغم أن سنودن لم يتم انتخابه (في وقت التوليد) لمنصب عام على الإطلاق، فإن العينة التي تم إنشاؤها صالحة من الناحيتين النحوية والأسلوبية.
أصبح المحول المولد مسبق التدريب 2 قادرًا على أداء مجموعة متنوعة من المهام التي تتجاوز إنتاج النصوص البسيطة نظرًا لاتساع مجموعة البيانات والتقنية الخاصة به: الإجابة على الأسئلة، والتلخيص، وحتى الترجمة بين اللغات في مجموعة متنوعة من المجالات المحددة، دون أن يتم تعليمه أي شيء يتجاوز كيفية التنبؤ بالكلمة التالية في التسلسل.

أحد الأمثلة على التعلم المعمم هو قدرة المحول المولد مسبق التدريب 2 على إجراء الترجمة الآلية بين الفرنسية والإنجليزية، حيث تم تقييم أداء المحول المولد مسبق التدريب 2 لهذه المهمة باستخدام مهام الترجمة دبليو إم تي-14. لم يتضمن مجموعة تدريب المحول المولد مسبق التدريب 2 أي نص فرنسي تقريبًا؛ فقد تمت إزالة النص غير الإنجليزي عمدًا أثناء تنظيف مجموعة البيانات قبل التدريب، ونتيجة لذلك، لم يكن متاحًا سوى 10 ميجا بايت من الفرنسية من إجمالي 40000 ميجا بايت المتبقية للنموذج للتعلم منها (معظمها من الاقتباسات باللغات الأجنبية في المنشورات والمقالات الإنجليزية).

وعلى الرغم من ذلك، فقد حقق المحول المولد مسبق التدريب 2 5 بلو في مجموعة اختبار دبليو إم تي-14 من الإنجليزية إلى الفرنسية (أقل قليلاً من درجة الترجمة عن طريق الاستبدال كلمة بكلمة). كما تمكنت من التفوق على العديد من خطوط الأساس المعاصرة للترجمة الآلية غير الخاضعة للإشراف (2017) في مجموعة الاختبار من الفرنسية إلى الإنجليزية، حيث حقق المحول المولد مسبق التدريب 2 11.5 بلو. ظل هذا أقل من أعلى أداء للنهج المعاصر غير الخاضع للإشراف (2019)، والذي حقق 33.5 بلو. ومع ذلك، استخدمت نماذج أخرى كميات كبيرة من النصوص الفرنسية لتحقيق هذه النتائج؛ وقد قُدِّر أن المحول المولد مسبق التدريب 2 قد استخدم مجموعة نصية فرنسية أحادية اللغة بحجم 1/500 تقريبًا من حجم الأساليب المماثلة.

+البنيانعدد المعلماتبيانات التدريبجي بي تي-1فك تشفير المحول ذو 12 مستوى و12 رأسًا (بدون مشفر)، يتبعه خطي سوفت ماكس.0.12 ملياربوككوربوس: 4.5 جيجا بايت من النص، من 7000 كتاب غير منشور من مختلف الأنواع.جي بي تي-2المحول المولد مسبق التدريب 1، ولكن مع التطبيع المعدل1.5 مليارويب تكست: 40 جيجابايت من النص، 8 ملايين مستند، من 45 مليون صفحة ويب تم التصويت عليها على ريديت.جي بي تي-3المحول المولد مسبق التدريب 2، ولكن مع التعديل للسماح بتوسيع نطاق أكبر.175 مليار570 جيجابايت من النص العادي، و300 مليار رمز من الزحف المشترك، وويب تكست، وويكيبيديا الإنجليزية، ومجموعة كتب (بوكس1 وبوكس2).

كان من المقرر أن يتبع المحول المولد مسبق التدريب 2 المحول المولد مسبق التدريب 3 الذي يحتوي على 175 مليار معلمة، والذي تم الكشف عنه للجمهور في عام 2020 (لم يتم توفير الكود المصدري له مطلقًا). يتم توفير الوصول إلى المحول المولد مسبق التدريب 3 حصريًا من خلال واجهات برمجة التطبيقات التي تقدمها أوبن أيه آي ومايكروسوفت. ثم تبع ذلك لاحقًا المحول المولد مسبق التدريب 4.

 المراجع 

تصنيف:نماذج لغوية كبيرة
تصنيف:محولات مولدة مسبقة التدريب
تصنيف:برمجيات تستخدم رخصة إم آي تي
تصنيف:أوبن أيه آي