قائمة النماذج اللغوية الكبيرة

النماذج اللغوية الكبيرة ومفردها نموذج لغوي كبير ، هي نوع نماذج في تعلم الآلة صُممت خصيصًا لأداء مهام لمعالجة اللغات الطبيعية مثل توليد اللغة. يميّزها أنها نماذج لغوية بعدد ضخم من المعاملات، ويجري تدريبها باستعمال تعليم ذاتي الإشراف على كميات هائلة من النصوص.

تسرد هذه الصفحة قائمة بالنماذج اللغوية الكبيرة البارزة.

 القائمة 
بالنسبة لعمود تكلفة التدريب، 1 بيتافلوب في اليوم = 1 بيتافلوب/ثانية × يوم واحد = 8.64E19 فلوب. وتُكتب تكلفة النموذج الأكبر فقط.

الاسمالاسم بالإنجليزيةتاريخ الإطلاق المطورعدد المَعلمات (مليار) حجم المجموعةتكلفة التدريب (بيتافلوب-يوم)الرخصة ملاحظاتجي بي تي-1GPT-1أوبن أيه آي1 أول نموذج GPT، محول فك التشفير فقط. تدربت لمدة 30 يومًا على 8 وحدة رسوميات من نوع P600.بيرتBERTجوجل كلمة نموذج لغوي مبكر ومؤثر. مُشفر فقط وبذلك لم يُبنى ليكون مُولِّدًا. استغرق التدريب 4 أيام على 64 شريحة TPUv2.تي 5 T5جوجل1134 مليار رمز مميز النموذج الأساسي للعديد من مشاريع جوجل، مثل Imagen.XLNetجوجل مليار كلمة بديل لنموذج بيرت؛ مصمم للمشفر فقط. دُرِّب على 512 شريحة TPU v3 لمدة 5.5 أيام.جي بي تي-2GPT-2أوبن أيه آي40 غيغا بايت (~ رمز مميز) دُرب على 32 شريحة TPUv3 لمدة أسبوع واحد.جي بي تي-3GPT-3أوبن أيه آي رمز مميز أُتيحت نسخة معدلة من GPT-3، تسمى GPT-3.5، للجمهور من خلال واجهة ويب تسمى شات جي بي تي في 2022.جي بي تي-نيوGPT-Neo825 جيجابت أول سلسلة من البدائل المجانية لـ جي بي تي-3 التي أصدرتها إليوثر أيه آي. تفوقت جي بي تي-نيو على نموذج جي بي تي-3 ذي الحجم المماثل في بعض المعايير، لكنها كانت أسوأ بكثير من جي بي تي-3 الأكبر.جي بي تي-جي GPT-Jإليوثر أيه آي825 جيجابت نموذج لغة على غرار جي بي تي-3Megatron-Turing NLGمايكروسوفت وإنفيديا رمز مميز هندسة قياسية ولكن دُرِّبت على مجموعة الحوسبة الفائقة.Ernie 3.0 Titanبايدو4 Tb نموذج لغة كبيرة صيني، يعتمد عليه بوت "إرني بوت".كلودClaudeأنثروبيك رمز مميز ضُبط بدقة لتحقيق السلوك المرغوب في المحادثات.لام (نموذج لغة عامة)GLaMجوجل رمز مميز نموذج مزيج من الخبراء متفرق، مما يجعل تدريبه أكثر تكلفة ولكن تشغيل الاستدلال أرخص مقارنةً بـ GPT-3.Gopherديب مايند رمز مميز جرى تطويره لاحقًا إلى نموذج شينشيلا.لامدا (نموذج لغوي لتطبيقات الحوار)LaMDAجوجل1.56 تريليون كلمة،  رمز مميز متخصص في توليد الاستجابة في المحادثات.جي بي تي-نيو إكسGPT-NeoXإليوثر أيه آي825 جيجابت مبني على معمارية ميجاترونChinchillaديب مايند رمز مميز نموذج ذو معلمات مخفضة دُرِّب على المزيد من البيانات. يستخدم في روبوت Sparrow. غالبًا ما يُستشهد به لقانون التوسع العصبي الخاص به.بالم (نموذج مسارات اللغة)PaLMجوجل رمز مميز جرى التدريب لمدة 60 يومًا تقريبًا على 6000 شريحة TPU v4.OPT (Open Pretrained Transformer)ميتا رمز مميز310 معمارية GPT-3 مع بعض التعديلات من ميجاترونYaLM 100Bياندكس1.7 تيرابايت   نموذج إنجليزي-روسي يعتمد على Megatron-LM من مايكروسوفت.Minervaجوجل38.5 مليار رمز مميز من صفحات الويب التي تمت تصفيتها للمحتوى الرياضي ومن الأوراق المقدمة إلى خادم arXiv للطبع المسبق  لحل "المسائل الرياضية والعلمية باستخدام التفكير خطوة بخطوة". بناءً على نموذج PaLM، دُرِّب بشكل أكبر على البيانات الرياضية والعلمية.بلومBLOOMتعاون كبير بقيادة هجينج فيس رمز مميز (1.6 تيرابايت) في الأساس GPT-3 ولكن دُرِّب على مجموعة متعددة اللغات (30% من اللغة الإنجليزية باستثناء لغات البرمجة)جالاكتيكاGalacticaميتا رمز مميزغير معروف مدرب على النصوص العلمية والأساليب العلمية.اليكسا تي إم
(نموذج المعلم)AlexaTM 		 هندسة تسلسلية ثنائية الاتجاهNeuro-samaمستقلغير معروفغير معروف نموذج لغوي مصمم للبث المباشر على تويتش.لاما
نموذج لغة كبير ميتا أيه آي)LLaMAميتا أيه آي6300 يحتوي Corpus على 20 لغة. "مُدرَّب أكثر" (مقارنة بقانون تحجيم شينشيلا) للحصول على أداء أفضل مع عدد أقل من المعلمات.جي بي تي-4GPT-4أوبن أيه آيغير معروف (وفقا للشائعات: 1760)غير معروف متاح لمستخدمي شات جي بي تي بلس ويُستخدم في العديد من المنتجات.Cerebras-GPTCerebras دُرِّب باستخدام صيغة شينشيلا.فالكونFALCONمعهد الابتكار التكنولوجي1 تريليون رمز مميز، من ريفايندويب (مجموعة نصوص ويب مفلترة) بالإضافة إلى بعض "المجموعات النصية المنسقة". بلومبيرغ جي بي تيBloombergGPTبلومبيرغ إل بي363 مليار رمز. مجموعة بيانات تعتمد على مصادر بيانات بلومبرج، بالإضافة إلى 345 مليار رمز من مجموعات البيانات للأغراض العامة  دُرِّب على البيانات المالية من مصادر خاصة، للمهام المالية.هواوي بانجوهواوي329 مليار رمز مميز مساعد مفتوحOpenAssistant1.5 تريليون رمز مميز دُرِّب على البيانات المفتوحة المستمدة من الجمهورجوراسيك-2Jurassic-2غير معروفغير معروف متعدد اللغاتبالم 2 (نموذج مسارات اللغة 2)PaLM2جوجل رمز مميز كان يستخدم في روبوت الدردشة بارد.لاما 2LLaMA 2ميتا أيه آي رمز مميز21000 1.7 مليون ساعة A100.كلود 2Claude2أنثروبيكغير معروفغير معروف يُستخدم في برنامج الدردشة الآلي كلود.آي بي إمغير معروفغير معروف يُستخدم في آي بي إم واتسونكس.Mistral 7Bميسترالغير معروف كلود 2.1Claude2.1أنثروبيكغير معروفغير معروف يستخدم في برنامج الدردشة الآلي كلود. يحتوي على نافذة سياقية تحتوي على 200000 رمز، أو نحو 500 صفحة.غروك-1Grok-1إكس.أيه آي314غير معروف يستخدم في روبوت الدردشة غروك. يحتوي غروك-1 على سياق يبلغ 8,192 رمزًا مميزًا ويمكنه الوصول إلى X (تويتر).جيميناي 1.0Gemini 1.0ديب مايندغير معروفغير معروف نموذج متعدد الوسائط، يأتي بثلاثة أحجام. يُستخدم في روبوت الدردشة الذي يحمل نفس الاسم.Mixtral 8x7Bميسترال46.7غير معروف يتفوق على GPT-3.5 وLlama 2 70B في العديد من المعايير. وهو نموذج مزيج من الخبراء، مع 12.9 مليار معلمة مفعلة لكل رمز مميز.Mixtral 8x22Bميسترال141غير معروف Phi-2مايكروسوفت2.71.4 تريليون رمز مميز جرى التدريب على بيانات حقيقية وصناعية "بجودة الكتب المدرسية"، لمدة 14 يومًا على 96 وحدة معالجة رسومية A100.جيميناي 1.5Gemini 1.5ديب مايندغير معروفغير معروف نموذج متعدد الوسائط، يعتمد على بنية مزيج من الخبراء (MoE). نافذة السياق فوق مليون رمز.جيماGemmaديب مايند76 تريليون رمز مميزغير معروف كلود 3Claude3 مارس 2024أنثروبيكغير معروفغير معروفغير معروفيتضمن ثلاثة نماذج، هايكو، وسونيت، وأوبوس.نوفا Novaأكتوبر 2024روبيك أيه آي غير معروفغير معروفغير معروفيتضمن ثلاثة نماذج، Nova-Instant، وNova-Air، وNova-Pro.DBRX مارس 2024داتابريكس وموزيك إم إل12 تريليون رمز مميز تكلفة التدريب 10 مليون دولار أمريكيFugaku-LLMمايو 2024فوجيتسو، معهد طوكيو للتكنولوجيا380 مليار رمز مميزأكبر نموذج دُرِّب على الإطلاق على وحدة المعالجة المركزية فقط، على فوغاكو.Phi-3مايكروسوفت144.8 تريليون رمز مميزتسوقه مايكروسوفت باعتباره "نموذج لغة صغير".آي بي إمغير معروفغير معروف Qwen2سحابة علي بابا723 تريليون رمز مميزله أحجام متعددة، أصغرها هو 0.5B.Nemotron-4يونيو 2024إنفيديا9 تريليون رمز مميز200,000دُرِّب على 6144 وحدة معالجة رسومية H100 بين ديسمبر 2023 ومايو 2024.لاما 3.1LLaMA3.1يوليو 2024ميتا أيه آي40515.6 تريليون رمز مميز440,000  استغرق "الإصدار 405B" نحو 31 مليون ساعة على "H100-80GB" عند 3.8E25 فلوب.علَّام 7BALLaM 7Bيناير 
2025سدايا7B1024 تريليون رمزًا مميزًا 

 ملاحظات 

 مراجع 

*
تصنيف:مقارنات برمجيات