نموذج لغوي كبير
قائمة نماذج اللّغة الكبيرة

بالنسبة لعمود تكلفة التدريب، 1 بيتافلوب في اليوم = 1 بيتافلوب/ثانية × يوم واحد = 8.64E19 فلوب. وتُكتب تكلفة النموذج الأكبر فقط.
| الاسم | الاسم بالإنجليزية | تاريخ الإطلاق  | المطور | عدد المَعلمات (مليار)  | حجم المجموعة | تكلفة التدريب (بيتافلوب-يوم) | الرخصة  | ملاحظات |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| جي بي تي-1 | GPT-1 | ‍يونيو 2018   | أوبن أيه آي | 117000000 !0.117 |  | 1 | إم آي تي | أول نموذج GPT، محول فك التشفير فقط. تدربت لمدة 30 يومًا على 8 وحدة رسوميات من نوع P600. |
| بيرت | BERT | ‍أكتوبر 2018   | جوجل | 340000000 !0.340 | 3300000000 !3.3 مليار كلمة | 9 !9 | أباتشي 2.0 | نموذج لغوي مبكر ومؤثر. مُشفر فقط وبذلك لم يُبنى ليكون مُولِّدًا. استغرق التدريب 4 أيام على 64 شريحة TPUv2. |
| تي 5 | T5 | ‍أكتوبر 2019   | جوجل | 11 | 34 مليار رمز مميز |  | أباتشي 2.0 | النموذج الأساسي للعديد من مشاريع جوجل، مثل Imagen. |
|  | XLNet | ‍يونيو 2019   | جوجل | 340000000 !0.340 | 3300000000 !33 مليار كلمة |  | أباتشي 2.0 | بديل لنموذج بيرت؛ مصمم للمشفر فقط. دُرِّب على 512 شريحة TPU v3 لمدة 5.5 أيام. |
| جي بي تي-2 | GPT-2 | ‍فبراير 2019   | أوبن أيه آي | 1500000000 !1.5 | 40 غيغا بايت (~10000000000 !10 مليار رمز مميز) |  | إم آي تي | دُرب على 32 شريحة TPUv3 لمدة أسبوع واحد. |
| جي بي تي-3 | GPT-3 | ‍مايو 2020   | أوبن أيه آي | 175000000000 !175 | 300000000000 !300 مليار رمز مميز |  | خاصة | أُتيحت نسخة معدلة من GPT-3، تسمى GPT-3.5، للجمهور من خلال واجهة ويب تسمى شات جي بي تي في 2022. |
| جي بي تي-نيو | GPT-Neo | ‍مارس 2021   | EleutherAI  | 2700000000 !2.7 | 825 جيجابت |  | إم آي تي | أول سلسلة من البدائل المجانية لـ جي بي تي-3 التي أصدرتها إليوثر أيه آي. تفوقت جي بي تي-نيو على نموذج جي بي تي-3 ذي الحجم المماثل في بعض المعايير، لكنها كانت أسوأ بكثير من جي بي تي-3 الأكبر. |
| جي بي تي-جي | GPT-J | ‍يونيو 2021   | إليوثر أيه آي | 6000000000 !6 | 825 جيجابت |  | أباتشي 2.0 | نموذج لغة على غرار جي بي تي-3 |
|  | Megatron-Turing NLG | ‍أكتوبر 2021   | مايكروسوفت وإنفيديا | 530000000000 !530 | 338600000000 !338.6 مليار رمز مميز |  | تقييد الوصول إلى شبكة الإنترنت | هندسة قياسية ولكن دُرِّبت على مجموعة الحوسبة الفائقة. |
|  | Ernie 3.0 Titan | ‍ديسمبر 2021   | بايدو | 260000000000 !260 | 4 Tb |  | خاصة | نموذج لغة كبيرة صيني، يعتمد عليه بوت "إرني بوت". |
| كلود | Claude | ‍ديسمبر 2021   | أنثروبيك | 52000000000 !52 | 400000000000 !400 مليار رمز مميز |  | بيتا | ضُبط بدقة لتحقيق السلوك المرغوب في المحادثات. |
| لام (نموذج لغة عامة) | GLaM | ‍ديسمبر 2021   | جوجل | 1200000000000 !1200 | 1600000000000 !1.6 تريليون رمز مميز |  | خاصة | نموذج مزيج من الخبراء متفرق، مما يجعل تدريبه أكثر تكلفة ولكن تشغيل الاستدلال أرخص مقارنةً بـ GPT-3. |
|  | Gopher | ‍ديسمبر 2021   | ديب مايند | 280000000000 !280 | 300000000000 !300 مليار رمز مميز |  | خاصة | جرى تطويره لاحقًا إلى نموذج شينشيلا. |
| لامدا (نموذج لغوي لتطبيقات الحوار) | LaMDA | ‍يناير 2022   | جوجل | 137000000000 !137 | 1.56 تريليون كلمة، 168000000000 !168 مليار رمز مميز |  | خاصة | متخصص في توليد الاستجابة في المحادثات. |
| جي بي تي-نيو إكس | GPT-NeoX | ‍فبراير 2022   | إليوثر أيه آي | 20000000000 !20 | 825 جيجابت |  | أباتشي 2.0 | مبني على معمارية ميجاترون |
|  | Chinchilla | ‍مارس 2022   | ديب مايند | 70000000000 !70 | 1400000000000 !1.4 تريليون رمز مميز |  | خاصة | نموذج ذو معلمات مخفضة دُرِّب على المزيد من البيانات. يستخدم في روبوت Sparrow. غالبًا ما يُستشهد به لقانون التوسع العصبي الخاص به. |
| بالم (نموذج مسارات اللغة) | PaLM | ‍أبريل 2022   | جوجل | 540000000000 !540 | 768000000000 !768 مليار رمز مميز |  | خاصة | جرى التدريب لمدة 60 يومًا تقريبًا على 6000 شريحة TPU v4. |
|  | OPT (Open Pretrained Transformer) | ‍مايو 2022   | ميتا | 175000000000 !175 | 180000000000 !180 مليار رمز مميز | 310 | بحث غير تجاري | معمارية GPT-3 مع بعض التعديلات من ميجاترون |
|  | YaLM 100B | ‍يونيو 2022   | ياندكس | 100000000000 !100 | 1.7 تيرابايت  |  | أباتشي 2.0 | نموذج إنجليزي-روسي يعتمد على Megatron-LM من مايكروسوفت. |
|  | Minerva | ‍يونيو 2022   | جوجل | 540000000000 !540 | 38.5 مليار رمز مميز من صفحات الويب التي تمت تصفيتها للمحتوى الرياضي ومن الأوراق المقدمة إلى خادم arXiv للطبع المسبق  |  | خاصة | لحل "المسائل الرياضية والعلمية باستخدام التفكير خطوة بخطوة". بناءً على نموذج PaLM، دُرِّب بشكل أكبر على البيانات الرياضية والعلمية. |
| بلوم | BLOOM | ‍يوليو 2022   | تعاون كبير بقيادة هقينق فيس  | 175000000000 !175 | 350000000000 !350 مليار رمز مميز (1.6 تيرابايت) |  | الذكاء الاصطناعي المسؤول | في الأساس GPT-3 ولكن دُرِّب على مجموعة متعددة اللغات (30% من اللغة الإنجليزية باستثناء لغات البرمجة) |
| جالاكتيكا | Galactica | ‍نوفمبر 2022   | ميتا | 120000000000 !120 | 350000000000 !106 مليار رمز مميز | غير معروف | CC-BY-NC-4.0 | مدرب على النصوص العلمية والأساليب العلمية. |
| اليكسا تي إم (نموذج المعلم) | AlexaTM | ‍نوفمبر 2022   |   | 20000000000 !20 | 1300000000000 !1.3 تريليون |  | خاصة | هندسة تسلسلية ثنائية الاتجاه |
|  | Neuro-sama | ‍ديسمبر 2022   | مستقل | غير معروف | غير معروف |  | ملكية خاصة | نموذج لغوي مصمم للبث المباشر على تويتش. |
| لاما نموذج لغة كبير ميتا أيه آي) | LLaMA | ‍فبراير 2023   | ميتا أيه آي | 65000000000 !65 | 1400000000000 !1.4 تريليون | 6300 | بحث غير تجاري | يحتوي Corpus على 20 لغة. "مُدرَّب أكثر" (مقارنة بقانون تحجيم شينشيلا) للحصول على أداء أفضل مع عدد أقل من المعلمات. |
| جي بي تي-4 | GPT-4 | ‍مارس 2023   | أوبن أيه آي | غير معروف (وفقا للشائعات: 1760) | غير معروف |  | خاصة | متاح لمستخدمي شات جي بي تي بلس ويُستخدم في العديد من المنتجات. |
|  | Cerebras-GPT | ‍مارس 2023   | Cerebras | 13000000000 !13 |  |  | أباتشي 2.0 | دُرِّب باستخدام صيغة شينشيلا. |
| فالكون | FALCON | ‍مارس 2023   | معهد الابتكار التكنولوجي | 40000000000 !40 | 1 تريليون رمز مميز، من ريفايندويب (مجموعة نصوص ويب مفلترة) بالإضافة إلى بعض "المجموعات النصية المنسقة". |  | أباتشي 2.0 |  |
| بلومبيرغ جي بي تي | BloombergGPT | ‍مارس 2023   | بلومبيرغ إل بي | 50000000000 !50 | 363 مليار رمز. مجموعة بيانات تعتمد على مصادر بيانات بلومبرج، بالإضافة إلى 345 مليار رمز من مجموعات البيانات للأغراض العامة  |  | خاصة | دُرِّب على البيانات المالية من مصادر خاصة، للمهام المالية. |
|  | هواوي بانجو  ‏ | ‍مارس 2023   | هواوي | 1085000000000 !1085 | 329 مليار رمز مميز |  | خاصة |  |
| مساعد مفتوح | OpenAssistant | ‍مارس 2023   | لايون  | 17000000000 !17 | 1.5 تريليون رمز مميز |  | أباتشي 2.0 | دُرِّب على البيانات المفتوحة المستمدة من الجمهور |
| جوراسيك-2 | Jurassic-2 | ‍مارس 2023   | أيه 121 لابز  | غير معروف | غير معروف |  | خاصة | متعدد اللغات |
| بالم 2 (نموذج مسارات اللغة 2) | PaLM2 | ‍مايو 2023   | جوجل | 340000000000 !340 | 3600000000000 !3.6 تريليون رمز مميز |  | خاصة | كان يستخدم في روبوت الدردشة بارد. |
| لاما 2 | LLaMA 2 | ‍يوليو 2023   | ميتا أيه آي | 70000000000 !70 | 2000000000000 !2 تريليون رمز مميز | 21000 | رخصة لاما 2 | 1.7 مليون ساعة A100. |
| كلود 2 | Claude2 | ‍يوليو 2023   | أنثروبيك | غير معروف | غير معروف |  | خاصة | يُستخدم في برنامج الدردشة الآلي كلود. |
|  | آي بي إم جرانيت  ‏ | ‍يوليو 2023   | آي بي إم | غير معروف | غير معروف |  | خاصة | يُستخدم في آي بي إم واتسونكس. |
|  | Mistral 7B | ‍سبتمبر 2023   | ميسترال | 7300000000 !7.3 | غير معروف |  | أباتشي 2.0 |  |
| كلود 2.1 | Claude2.1 | ‍نوفمبر 2023   | أنثروبيك | غير معروف | غير معروف |  | خاصة | يستخدم في برنامج الدردشة الآلي كلود. يحتوي على نافذة سياقية تحتوي على 200000 رمز، أو نحو 500 صفحة. |
| غروك-1 | Grok-1 | ‍نوفمبر 2023   | إكس.أيه آي  | 314 | غير معروف |  | أباتشي 2.0 | يستخدم في روبوت الدردشة غروك. يحتوي غروك-1 على سياق يبلغ 8,192 رمزًا مميزًا ويمكنه الوصول إلى X (تويتر). |
| جيميناي 1.0 | Gemini 1.0 | ‍ديسمبر 2023   | ديب مايند | غير معروف | غير معروف |  | خاصة | نموذج متعدد الوسائط، يأتي بثلاثة أحجام. يُستخدم في روبوت الدردشة الذي يحمل نفس الاسم. |
|  | Mixtral 8x7B | ‍ديسمبر 2023   | ميسترال | 46.7 | غير معروف |  | أباتشي 2.0 | يتفوق على GPT-3.5 وLlama 2 70B في العديد من المعايير. وهو نموذج مزيج من الخبراء، مع 12.9 مليار معلمة مفعلة لكل رمز مميز. |
|  | Mixtral 8x22B | ‍أبريل 2024   | ميسترال | 141 | غير معروف |  | أباتشي 2.0 |  |
|  | Phi-2 | ‍ديسمبر 2023   | مايكروسوفت | 2.7 | 1.4 تريليون رمز مميز |  | إم آي تي | جرى التدريب على بيانات حقيقية وصناعية "بجودة الكتب المدرسية"، لمدة 14 يومًا على 96 وحدة معالجة رسومية A100. |
| جيميناي 1.5 | Gemini 1.5 | ‍فبراير 2024   | ديب مايند | غير معروف | غير معروف |  | خاصة | نموذج متعدد الوسائط، يعتمد على بنية مزيج من الخبراء (MoE). نافذة السياق فوق مليون رمز. |
| جيما | Gemma | ‍فبراير 2024   | ديب مايند | 7 | 6 تريليون رمز مميز | غير معروف | شروط استخدام جيما |  |
| كلود 3 | Claude3 | مارس 2024 | أنثروبيك | غير معروف | غير معروف | غير معروف | ملكية خاصة | يتضمن ثلاثة نماذج، هايكو، وسونيت، وأوبوس. |
| نوفا | Nova | أكتوبر 2024 | روبيك أيه آي | غير معروف | غير معروف | غير معروف | ملكية خاصة | يتضمن ثلاثة نماذج، Nova-Instant، وNova-Air، وNova-Pro. |
|  | DBRX | مارس 2024 | داتابريكس وموزيك إم إل | 13600000000 !136 | 12 تريليون رمز مميز |  | الترخيص النموذجي المفتوح داتا بريكس | تكلفة التدريب 10 مليون دولار أمريكي |
|  | Fugaku-LLM | مايو 2024 | فوجيتسو، معهد طوكيو للتكنولوجيا | 1300000000 !13 | 380 مليار رمز مميز |  |  | أكبر نموذج دُرِّب على الإطلاق على وحدة المعالجة المركزية فقط، على فوغاكو. |
|  | Phi-3 | ‍أبريل 2024   | مايكروسوفت | 14 | 4.8 تريليون رمز مميز |  | إم آي تي | تسوقه مايكروسوفت باعتباره "نموذج لغة صغير". |
|  | آي بي إم جرانيت  ‏ | ‍مايو 2024   | آي بي إم | غير معروف | غير معروف |  | أباتشي 2.0 |  |
|  | Qwen2 | ‍يونيو 2024   | سحابة علي بابا | 72 | 3 تريليون رمز مميز |  |  | له أحجام متعددة، أصغرها هو 0.5B. |
|  | Nemotron-4 | يونيو 2024 | إنفيديا | 34000000000 !340 | 9 تريليون رمز مميز | 200,000 | ترخيص إنفيديا النموذج المفتوح | دُرِّب على 6144 وحدة معالجة رسومية H100 بين ديسمبر 2023 ومايو 2024. |
| لاما 3.1 | LLaMA3.1 | يوليو 2024 | ميتا أيه آي | 405 | 15.6 تريليون رمز مميز | 440,000 | ترخيص لاما 3 | استغرق "الإصدار 405B" نحو 31 مليون ساعة على "H100-80GB" عند 3.8E25 فلوب. |
| علَّام 7B | ALLaM 7B | يناير  2025 | سدايا | 7B | 1024 تريليون رمزًا مميزًا |  | أباتشي 2.0 |  |