# نموذج لغوي كبير

نموذجُ اللّغةِ الكبيرُ (اختصارًا LLM) هو نموذجٌ حسابيٌّ قادرٌ على توليدِ اللّغةِ أو مهامّ مُعالجةِ اللّغةِ الطّبيعيةِ الأخرى. بصفتها نماذجَ لُغوية، تكتسبُ نماذجُ اللّغةِ الكبيرةُ هذهِ القدراتِ من خلالِ تعلّمِ العلاقاتِ الإحصائيةِ من كمياتٍ هائلةٍ منَ النّصوصِ أثناءَ عمليةِ تدريبٍ ذاتيّةِ الإشرافِ وشبهِ مُراقبة $^{[لغاتأخرى]}$‏. وتستهلك هذه النماذج موارد حسابية كبيرة أثناء التدريب والتشغيل.
حتى عام 2020 كان الضبط الدقيق أو الصقل هو الطريقة الوحيدة التي يمكن من خلالها تكييف النموذج ليكون قادرًا على إنجاز مهام محددة. ومع ذلك يمكن تصميم النماذج الأكبر حجمًا، مثل جي بي تي-3، لتحقيق نتائج مماثلة. يُعتقد أنهم يكتسبون معرفة مضمنة حول بناء الجملة وعلم الدلالات و«علم الوجود» المتأصل في مجاميع اللغة البشرية، ولكن عدم الدقة والتحيزات الموجودة في مجاميع اللغة البشرية أيضًا.
أكبرُ نماذجِ اللّغةِ الكبيرةِ وأكثرُها قدرةً، اعتبارًا من أغسطس 2024، هي شبكاتٌ عصبيةٌ اصطناعيةٌ مبنيةٌ بِبنيةٍ قائمةٍ على المُحوّلِ الخاصّ بِفكّ التشفيرِ فقط، ممّا يُتيحُ مُعالجةً فعّالةً وتوليدَ بياناتِ نصيةٍ واسعةَ النّطاق. يُمكنُ ضبط أو صقل النماذجِ الحديثةِ لِمهامّ مُحدّدةٍ أو يُمكنُ توجيهُها بواسطةِ هندسةِ المُطالبات. تكتسبُ هذهِ النماذجُ قوّةً تنبّؤيةً فيما يتعلّقُ بِالنّحوِ والدّلالاتِ وعلمِ الوجود المُتأصّلِ في مجموعاتِ اللّغةِ البشرية، لكنّها ترثُ أيضًا عدمَ الدّقةِ والانحيازاتِ الموجودةِ في البياناتِ التي جرى تدريبُها عليها.

## تاريخ

قبل عام 2017، كان عدد نماذج اللغة التي كانت كبيرةً قليلًا مقارنةً بالقدرات المتاحة حينها. في التسعينيات، كانت نماذج محاذاة IBM رائدةً في النمذجة الإحصائية للغة. حقق نموذج n-gram المحسن في عام 2001، والذي دُرِّب على 0.3 مليار كلمة، حيرةً متطورةً حينها. في العقد الأول من القرن الحادي والعشرين، مع انتشار استخدام الإنترنت، أنشأ بعض الباحثين مجموعات بيانات لغة على نطاق الإنترنت ("الويب كجسم نصي")، قاموا بتدريب نماذج اللغة الإحصائية عليها. في عام 2009، في معظم مهام معالجة اللغة، سيطرت نماذج اللغة الإحصائية على نماذج اللغة الرمزية، حيث يمكنها استيعاب مجموعات بيانات كبيرة بشكل مفيد.
بعد أن أصبحت الشبكات العصبية مهيمنةً في معالجة الصور نحو عام 2012، طُبقت على نمذجة اللغة أيضًا. حولت جوجل خدمة الترجمة الخاصة بها إلى الترجمة الآلية العصبية في عام 2016. كما كان الحال قبل المحولات، جرى ذلك بشبكات LSTM العميقة سيك تو سيك.
في مؤتمر مؤتمر نظم معالجة المعلومات العصبية عام 2017، قدم باحثو جوجل بنية المحولات في ورقتهم البحثية البارزة "الاهتمام هو كل ما تحتاجه". كان هدف هذه الورقة هو تحسين تقنية سيك تو سيك لعام 2014، واستندت بشكل أساسي إلى آلية الاهتمام التي طورها باهدانو وآخرون في عام 2014. في العام التالي في عام 2018 قُدّم BERT. على الرغم من أن المحول الأصلي يحتوي على كتل التشفير وفك التشفير، إلا أن BERT هو نموذج تشفير فقط.
على الرغم من أن جي بي تي-1 لفك التشفير فقط قُدم في عام 2018، إلا أن جي بي تي-2 في عام 2019 هو الذي لفت الانتباه على نطاق واسع لأن أوبن أيه آي اعتبرته في البداية قويًا جدًا بحيث لا يمكن إصداره للجمهور، خوفًا من الاستخدام الضار. ذهب جي بي تي-3 في عام 2020 إلى أبعد من ذلك، واعتبارًا من عام 2024، أصبح متاحًا فقط عبر واجهة برمجة التطبيقات دون عرض تنزيل النموذج لتنفيذه محليًا. لكن شات جي بي تي القائم على المتصفح والموجه للمستهلك في عام 2022 أثار خيال عامة الناس وتسبب في بعض الضجيج الإعلامي والضجيج عبر الإنترنت. أُثني على جي بي تي-4 لعام 2023 لدقته المتزايدة وقدراته متعددة الوسائط. لم تكشف أوبن أيه آي عن البنية عالية المستوى وعدد معلمات جي بي تي-4.
كانت نماذج اللغة المتنافسة تحاول في معظمها مساواة سلسلة GPT، على الأقل من حيث عدد المعلمات.
منذ عام 2022، اكتسبت النماذج المتاحة المصدر شعبيةً، وخاصةً في البداية نموذجي BLOOM ولاما، على الرغم من أن كلاهما لديه قيود على مجال الاستخدام. تتمتع نماذج Mistral 7B وميسترال وMixtral 8x7b، برخصة أباتشي أكثر تساهلًا. اعتبارًا من يونيو 2024، يعد النوع المحسن للتعليمات من نموذج "لاما 3" ذي 70 مليار معلمة هو أقوى نموذج لغو كبير مفتوح وفقًا لقائمة المتصدرين في LMSYS Chatbot Arena، حيث أنهأقوى من جي بي تي-3.5 ولكنه ليس بنفس قوة جي بي تي-4.
تعتمد النماذج الأكبر حجمًا والأكثر كفاءة على بنية Transformer في 2024، بينما تعتمد بعض التطبيقات الحديثة على هياكل معمارية أخرى، مثل متغيرات الشبكة العصبية المتكررة ومامبا (نموذج مساحة الحالة).

## معالجة البيانات المُسبقة
### التجزئة

بما أن خوارزميات التعلم الآلي تعتمد على المعالجة الرقمية للمعلومات، فإنه من الضروري تحويل النصوص إلى تمثيل رقمي. تجري هذه العملية من خلال عدة خطوات: أولًا، تُحدد مجموعة من المفردات اللغوية، ثم يُعيّن لكل مفردة رمز رقمي فريد، وفي النهاية يرتبط هذا الرمز بتضمين رقمي يحمل معنى دلالي للمفردة. من أشهر الخوارزميات المستخدمة في هذه العملية ترميز زوج البايتات (BPE) وخوارزمية WordPiece. بالإضافة إلى ذلك، تُستخدم نماذج اللغة رموزًا خاصة لأغراض التحكم، مثل رمز [MASK] الذي يستخدم في نماذج مثل تمثيلات التشفير الثنائي الاتجاه من المحولات (BERT) لتمثيل الكلمات المحذوفة، ورمز [UNK] لتمثيل الكلمات غير المعروفة. كما تستخدم بعض النماذج رموزًا خاصة لتمثيل جوانب شكلية للنص، مثل الرمز "Ġ" الذي يشير إلى مسافة بيضاء سابقة في نموذج جي بي تي، والرمز "##" الذي يشير إلى استمرار جزء من كلمة في نموذج "بيرت".
تساهم عملية التجزئة أيضًا في ضغط البيانات. نظرًا لضرورة أن تكون مدخلات نماذج اللغة الكبيرة مصفوفات ذات أبعاد متساوية، فإن النصوص الأقصر تُعبأ لتتطابق أطوالها مع أطول نص في المجموعة. يعتمد متوسط عدد الرموز الرقمية اللازمة لتمثيل كل كلمة على طبيعة اللغة المستخدمة في مجموعة البيانات.

#### ترميز زوج البايتات

لنفترض أن لدينا مجزئًا للكلمات مبنيًا على ترميز أزواج البايتات. في الخطوة الأولى، نعامل كل حرف مستقل (بما في ذلك الفراغات وعلامات الترقيم) كوحدة لغوية أساسية (أي أحاديات). ثم نقوم بدمج زوجي الحروف الأكثر تكرارًا المتجاورين لتكوين وحدات لغوية مكونة من حرفين (ثنائيات)، ونستبدل كل زوج بمثيله من الثنائيات. بعد ذلك، نكرر هذه العملية لدمج الثنائيات المتكررة المتجاورة لتكوين وحدات لغوية أطول، وهكذا حتى نحصل على مجموعة محددة من الوحدات اللغوية (في حالة نموذج جي بي تي-3، يبلغ عددها 50257). بعد تدريب هذا المجزئ، يمكننا تجزئة أي نص، بشرط ألا يحتوي على أحرف غير موجودة في المجموعة الأساسية للأحرف المفردة.

#### المشاكل

تعتمد المفردات من الرموز المميزة القائمة على التكرارات المستخرجة بشكل أساسي من مجموعات اللغة الإنجليزية على أقل عدد ممكن من الرموز المميزة لكلمة إنجليزية متوسطة. ومع ذلك، عند تشفير كلمة متوسطة بلغة أخرى، فإن مجزئ اللغة الإنجليزية المحسن يقسمها إلى عدد غير مثالي من الرموز المميزة. وقد يصل عدد الرموز المميزة التي يستخدمها مجزئ جي بي تي-2 لكلمة واحدة في بعض اللغات، كالشأنية، إلى خمسة عشر ضعفًا. وحتى اللغات الأكثر انتشارًا كالبرتغالية والألمانية تتطلب زيادة بنسبة خمسين بالمئة في عدد الرموز المميزة مقارنة باللغة الإنجليزية.
وتتسبب هذه التجزئة المفرطة في مشكلات طفيفة عند إكمال النص.

### تنظيف مجموعة البيانات

في سياق تدريب نماذج اللغات الكبيرة، يُعتاد تنقية مجموعات البيانات بإزالة المقاطع الضارة منها، والتخلص من البيانات ذات الجودة المتدنية، وإزالة التكرارات. إن مجموعات البيانات المنقاة هذه تزيد من كفاءة التدريب وتؤدي إلى تحسين الأداء في المراحل اللاحقة. ويمكن الاستعانة بنموذج لغة كبيرة مدرب لتنقية مجموعات البيانات المستخدمة في تدريب نموذج لغة كبير آخر.
مع تزايد المحتوى الذي تولده نماذج اللغات الكبيرة على الشبكة العنكبوتية، قد يشمل تنقية البيانات مستقبلًا تصفية هذا المحتوى. ويشكل المحتوى المولَّد آليًا تحديًا خاصًا، إذ يصعب تمييزه عن النصوص البشرية، ولكنه يقلل من جودة النماذج المدربة عليه.

### البيانات الاصطناعية

قد يتطلب تدريب نماذج اللغة الكبيرة كميات هائلة من البيانات اللغوية تتجاوز ما هو متوفر بشكل طبيعي. أو قد تكون البيانات الطبيعية غير كافية من حيث الجودة للمهمة المطلوبة. في مثل هذه الحالات، يمكن اللجوء إلى البيانات المولدة. فعلى سبيل المثال، دُرّبت سلسلة نماذج اللغة الكبيرة (Phi) من مايكروسوفت على بيانات شبيهة بكتب المدرسة ولّدها نموذج لغوي كبير آخر.

## التدريب والبنية
### التعلّم المعزّز من ردود الفعل البشرية (RLHF)

تعتمد تقنية التعلم المعزز من ردود الفعل البشرية (RLHF) على تعزيز تعلم النموذج من خلال ملاحظات بشرية مباشرة، حيث تُستخدم خوارزميات متقدمة كتقريب تحسين السياسة لتحسين أداء النموذج بشكل تدريجي. يجري ذلك من خلال تدريب النموذج على مجموعة بيانات واسعة من التفضيلات البشرية، مما يساهم في تطوير نموذج أكثر توائمًا مع احتياجات المستخدمين.

### ضبط التعليمات

بفضل أساليب "التعلّم الذاتي"، استطاعت النماذج اللغوية الضخمة أن تستنبط ردودًا صحيحة، مستبدلةً أي ردود سطحية، انطلاقًا من تصحيحات بشرية محدودة. فعلى سبيل المثال، إذا كانت التعليمات "اكتب مقالًا عن القضايا المحورية في مسرحية هاملت"، فإن الإكمال السطحي الأولي قد يكون "إذا قدمت المقال بعد السابع عشر من مارس، فستُخصم من درجاتك عشرة بالمائة عن كل يوم تأخير"، وذلك استنادًا إلى تكرار هذا النمط اللغوي في البيانات التدريبية.

### خليط الخبراء

إن تدريب واستخدام النماذج اللغوية الكبيرة التي تضم مليارات المعامل قد يكون مكلفًا للغاية. وللتغلب على هذه التحدي، استخدم الباحثون في غوغل تقنية مزيج الخبراء (MoE) التي تسمح بتدريب نماذج أكبر بكثير، تصل إلى تريليون معامل، وذلك من خلال توزيع الحسابات على عدة نماذج أصغر تعمل معًا.

### هندسة المطالبات وآلية الانتباه ونافذة السّياق

يمكن تحقيق غالبية النتائج التي كانت تُتحقَّق سابقًا، والتي كانت تتطلب ضبطًا دقيقًا ومكلفًا، عن طريق هندسة المطالبات أو التلقين، إلا أن هذه الطريقة تقتصر على نطاق محادثة محدد (أو بشكل أدق، على نطاق نافذة السياق).
لتحديد الرموز المترابطة ضمن نافذة السياق، تقوم آلية الانتباه بحساب أوزان "ناعمة" لكل رمز، وذلك لتحديد أهميته. تستخدم هذه الآلية رؤوس انتباه متعددة، ولكل منها "صلة" خاصة بها لحساب هذه الأوزان. على سبيل المثال، يحتوي النموذج الصغير من جي بي تي-2 (117 مليون معامل) على 12 رأس انتباه ونافذة سياق تتسع لـ 1000 رمز. أما النموذج المتوسط فيحتوي على 345 مليون معامل و24 طبقة، ولكل طبقة 12 رأس انتباه. وقد استُخدمت دفعات تدريبية حجمها 512 مع خوارزمية الانحدار التدريجي.
يمكن لأضخم النماذج اللغوية، ومنها نموذج جيميناي 1.5 الذي أطلقته شركة غوغل في فبراير عام 2024، أن تتسع لنافذة سياقية تصل إلى مليون رمز (وقد جُربت نافذة سياقية تتسع لعشرة ملايين رمز بنجاح). ومن الأمثلة الأخرى على النماذج ذات النوافذ السياقية الواسعة نموذج كلود 2.1 من شركة أنثروبيك، الذي يتسع لـ200 ألف رمز مميز. ومن الجدير بالذكر أن هذا الحد الأقصى يشير إلى عدد الرموز المدخلة، بينما يختلف الحد الأقصى لعدد الرموز المخرجة وغالبًا ما يكون أقل. فعلى سبيل المثال يقتصر الحد الأقصى لعدد الرموز المخرجة في نموذج جي بي تي-4 تربو على 4096 رمزًا مميزًا.
إن قدرة النموذج اللغوي على استيعاب سياق المحادثة وتذكره محدودة بطول نافذة السياق. فإذا تجاوز طول الحوار هذه النافذة، كما هو الحال في محادثات طويلة مع نماذج مثل شات جي بي تي، فإن النموذج إما سيقتصر على الجزء الأخير من الحوار الموجود داخل النافذة عند توليد الرد، أو سيضطر إلى اللجوء إلى خوارزميات تلخيص لتلخيص الأجزاء البعيدة من الحوار. ومن الجدير بالذكر أن توسيع نافذة السياق ينطوي على تكاليف حسابية أكبر، وقد يؤدي إلى تشتيت انتباه النموذج عن السياق المباشر. من ناحية أخرى، فإن تضييق هذه النافذة قد يجعل النموذج عاجزًا عن فهم العلاقات المعقدة التي تمتد على مسافات طويلة داخل الحوار. لذا، فإن تحديد الحجم الأمثل لنافذة السياق يتطلب توازنًا دقيقًا، ويعتمد على عوامل عدة تتعلق بالمجال التطبيقي والخصائص التقنية للنموذج.
يمكن تدريب نموذج لغوي مسبقًا على استشراف الكلمات اللاحقة لتسلسل كلمات معين، أو على استكمال الفراغات الناقصة في نص مُعطى، وذلك بالاعتماد على بيانات تدريبية واسعة. ويمكن تصنيف هذه النماذج إلى نوعين رئيسيين:
* نماذج توليدية: حيث تولد هذه النماذج تسلسلات لغوية جديدة بناءً على المدخلات المقدمة إليها، شبيهة بعمل المحولات المولدة مسبقة التدريب. فعلى سبيل المثال، إذا قدمنا للنموذج الجملة "أحب أن آكل"، فإنه قد يكملها بقوله "تفاحة" أو "برتقالة".
* نماذج ملء الفراغات: حيث تقوم هذه النماذج بتحديد الكلمات المفقودة في نص غير كامل، كما يعمل نموذج "بيرت". فعلى سبيل المثال، إذا قدمنا الجملة "أحب أن كريم"، فإنه قد يستكملها بقوله "آكل" و"تفاحة".
يمكن تدريب النماذج اللغوية على مهام مساعدة تقيّم مدى فهمها لتوزيع البيانات، مثل مهمة التنبؤ بالجملة التالية (NSP). وفي هذه المهمة يُعرض على النموذج أزواج من الجمل، ويتعين عليه التنبؤ بمدى توالي هاتين الجملتين في مجموعة البيانات التدريبية. أثناء عملية التدريب، يُستخدم كذلك مفهوم "خسارة التنظيم" لتعزيز استقرار عملية التعلم. بيد أن هذا المفهوم لا يُستخدم عادةً خلال مراحل الاختبار والتقييم.

### البنية التحتية

يتطلب تدريب النماذج الأكبر حجماً بنية تحتية ضخمة.

## تكلفة التدريب

أسهمت التطورات المتسارعة في البرامج والأجهزة الرقمية في خفض تكاليف تدريب نماذج اللغات الكبيرة بشكل ملحوظ منذ عام 2020. ففي حين أن تدريب نموذج لغوي ضخم يحتوي على 12 مليار معامل يتطلب حاليًا نحو 72 ألف ساعة عمل لوحدة معالجة الرسومات من طراز A100، إلا أن تكلفة تدريب نموذج مماثل بحجم 1.5 مليار معامل في عام 2020 كانت تتراوح بين 80 ألف دولار و1.6 مليون دولار، وهو ما يعكس تطورًا هائلًا في كفاءة العمليات الحسابية. ومنذ ذلك الحين، شهدنا استثمارات ضخمة في تطوير نماذج لغوية أكبر وأكثر تعقيدًا. فعلى سبيل المثال، بلغت تكلفة تدريب نموذج جي بي تي-2 الذي يحتوي على 1.5 مليار معامل نحو 50 ألف دولار في عام 2019، بينما بلغت تكلفة تدريب نموذج بالم الأكبر بكثير والذي يحتوي على 540 مليار معامل نحو 8 مليون دولار في عام 2022. كما بلغت تكلفة تدريب نموذج Megatron-Turing NLG الذي يحتوي على 530 مليار معامل نحو 11 مليون دولار في عام 2021.
ومن الجدير بالذكر أن تكلفة تدريب نماذج اللغات الكبيرة القائمة على آلية الانتباه الذاتي تكون أعلى بكثير من تكلفة استخدامها للاستدلال على نتائج جديدة. ففي المتوسط، يتطلب تدريب رمز مميز واحد نحو 6 عمليات حسابية عائمة لكل معامل، بينما يتطلب استنتاج رمز مميز واحد من 1 إلى 2 عملية حسابية عائمة لكل معامل فقط.

## استخدام الأدوات

ثمة مهامّ محددة لا يُمكن لأي نموذج لغة كبير حلها مبدئيًا، على الأقل ليس دون الاستعانة بأدوات خارجية أو برامج إضافية. ومن الأمثلة على ذلك الاستجابة إلى مدخل المستخدم "354 * 139 ="، شريطة ألا يكون النموذج قد واجه هذا الحساب سابقًا في مجموعة تدريبه. في مثل هذه الحالات، يتعين على النموذج اللجوء إلى تشغيل رمز برمجي يحسب النتيجة، ثم إدماجها في استجابته. مثال آخر هو "ما الوقت الآن؟"، حيث يحتاج مفسر برمجي منفصل إلى تنفيذ رمز للحصول على وقت النظام على الحاسوب، كي يتمكن النموذج من تضمينه في رده. يمكن تطوير هذه الإستراتيجية الأساسية بتجريب برامج مولدة متعددة واستراتيجيات تعيين أخرى.
بشكل عام، لتمكين النموذج من استخدام الأدوات، يجب ضبطه على ذلك. فإذا كان عدد الأدوات محدودًا، يكفي ضبطه مرة واحدة. أما إذا كان عددها متزايدًا بشكل تعسفي، كما هو الحال مع خدمات واجهات برمجة التطبيقات عبر الإنترنت، فيجب تجهيز النموذج بقراءة وثائق هذه الواجهات واستدعائها بصورة صحيحة.
أبسط شكل لاستخدام الأدوات هو التوليد المعزز بالاسترجاع: أي تعزيز النموذج باسترجاع المستندات. فبناءً على استعلام معين، يُستدعى مسترجع مستندات للحصول على المستندات الأكثر صلة. يجري ذلك عادة بتشفير الاستعلام والمستندات إلى متجهات، ثم البحث عن المستندات التي تتشابه متجهاتها (المخزنة عادةً في قاعدة بيانات متجهات) مع متجه الاستعلام. ثم يولد النموذج الناتج استنادًا إلى الاستعلام والسياق المستمد من المستندات المسترجعة.

## الوكلاء

النموذج اللغوي الكبير هو نموذج لغوي محض، لا يعد وكيلًا ذكيًا بذاته لافتقاره إلى هدف محدد، إلا أنه يمكن توظيفه كعنصر أساسي في بناء وكيل ذكي.
ينشئ نمط "ريآكت" (المركب من "التفكير" و"الفعَل") وكيلًا ذكيًا من خلال الاعتماد على نموذج لغوي كبير كمحرك رئيسي للتفكير والتخطيط. إذ يُطلب من النموذج اللغوي أن "يفكر بصوت عالٍ"، أي أن يقدم وصفًا نصيًا مفصلًا للبيئة التي يعمل فيها، والهدف المطلوب تحقيقه، وقائمة بالإجراءات المتاحة، وسجلًا بالإجراءات التي نُفِّذت والنتائج التي أسفرت عنها. وعليه، يقوم النموذج بتوليد فكرة أو أكثر قبل اختيار الإجراء الأنسب وتنفيذه في البيئة المحددة. ويمكن أن يكون الوصف اللغوي للبيئة المقدم للنموذج على شكل رمز لاتكس لورقة تصف البيئة بدقة.
في أسلوب "وصف، شرح، تخطيط واختيار" (DEPS)، يُربط أولًا نموذج لغوي واسع بالواقع المرئي عبر أوصاف الصور، ثم يُطلب منه وضع خطط لأعمال وأفعال معقدة استنادًا إلى معلوماته المتراكمة مسبقًا والآراء البيئية التي يتلقاها.
يُنشئ أسلوب الانعكاس وكيلًا يتعلم عبر دورات متتالية. في نهاية كل دورة، يُعطى النموذج اللغوي الكبير سجلًا بالدورة، ويُطلب منه التفكير في "الدروس المُستفادة"، مما يساعده على الأداء بشكل أفضل في الدورة التالية.
يمكن لـ بحث شجرة مونت كارلو $^{[الإنجليزية]}$ أن يستخدم نموذجًا لغويًا واسعًا كتجربة للاستدلال. وعندما لا يتوفّر نموذج عالمي برمجي، يمكن كذلك طلب نموذج لغوي واسع بوصف للبيئة ليعمل كنموذج عالمي.
في سياق الاستكشاف المفتوح، يمكن توظيف نموذج لغوي واسع لتدوين ملاحظات "مثيرة للاهتمام"، تُستخدم بدورها كإشارات مكافأة لتوجيه وكيل التعلم التعزيزي البسيط (غير اللغوي). وعوضًا عن ذلك يمكن للنموذج اقتراح مهامّ متزايدة الصّعوبة لتمكين التعلم التدريجي. وبدلًا من إخراج أفعال فردية، يمكن لنموذج التخطيط اللغوي الكبير بناء "مهارات"، أي دوال تمثل تسلسلات من الأفعال المعقدة. ويمكن تخزين هذه المهارات واسترجاعها لاحقًا، مما يتيح مستويات أعلى من التجريد في التخطيط.
يمكن للوكلاء المدعومين بنماذج لغوية واسعة الاحتفاظ بذاكرة طويلة الأمد للسياقات السابقة، ويمكن استرجاع هذه الذاكرة بنفس طريقة التوليد المعزز بالاسترجاع. ويمكن لمجموعة من هذه الوكلاء التفاعل اجتماعيًا.

## الضغط

تُدرب عادةً نماذج اللّغة الكبيرة (LLMs) باستخدام أعداد عشرية ذات دقة مفردة أو نصف دقة (float32 وfloat16). يحتوي رقم float16 على 16 بت، أو 2 بايت، وبالتالي فإن مليار معامل يتطلبان 2 جيجا بايت. وتحتاج النماذج الأكبر حجمًا، والتي تحتوي عادةً على 100 مليار معامل، إلى 200 جيجا بايت لتحميلها، مما يجعلها خارج نطاق معظم الأجهزة الإلكترونية الاستهلاكية.
يهدف "التكميم بعد التدريب" إلى تقليل مساحة التخزين عن طريق خفض دقة معاملات النموذج المدرب، مع الحفاظ على معظم أدائه. أبسط أشكال التكميم هو ببساطة تقريب جميع الأعداد إلى عدد معين من البتات. ويمكن تحسينه باستخدام مجموعة ترميز تكميم مختلفة لكل طبقة. ويمكن إجراء تحسين إضافي من خلال تطبيق دقّات مختلفة لمعاملات مختلفة، مع دقة أعلى للمعاملات المهمة بشكل خاص ("أوزان شاذة").
في حين أنّ النماذج المكمّمة عادةً ما تكون مجمّدة، ويتمّ ضبط النماذج المكمّمة مسبقًا فقط، لا يزال من الممكن ضبط النماذج المكمّمة.

## الوسائط المتعددة

تعني الوسائط المتعددة "امتلاك عدة وسائط"، ويشير "الوسيط" إلى نوع من المدخلات أو المخرجات، مثل الفيديو، والصورة، والصوت، والنص، والإحساس الحركي، وما إلى ذلك. وقد دُربت العديد من نماذج الذكاء الاصطناعي خصيصًا لاستيعاب نمط واحد وإخراج نمط آخر، مثل ألكسنت"الصّورة إلى التّسمية"، والإجابة على الأسئلة المرئية "صورة-نص إلى نص"، والتعرف على الكلام "كلام إلى نص".
أظهر فلامينجو فعالية أسلوب التجزئة، حيث ضُبط زوج من نموذجي اللغة والمشفر المرئي المدربين مسبقًا لتحسين أدائهما في مجال الإجابة على الأسئلة المرئية مقارنة بالنماذج المدربة من الصفر. ضُبط نموذج جوجل بالم إلى نموذج متعدد الوسائط بالم-إي باستخدام أسلوب التجزئة، وطُبق على التحكم الآلي. كما جرى تحويل نماذج لاما إلى نماذج متعددة الوسائط باستخدام أسلوب التجزئة، للسماح بإدخال الصور، ومقاطع الفيديو.
يمكن لنموذج جي بي تي-4 استخدام كل من النص والصورة كمدخلات، كما أن جيميناي من جوجل ديب مايند يُعد نموذجًا متعدد الوسائط. قدمت شركة ميسترال نموذجها متعدد الوسائط الخاص "بيكسترال 12 بي" (Pixtral 12B) في سبتمبر 2024.

## الخصائص

يبدو أداء النماذج الحاسوبية الضخمة في تنفيذ مختلف المهام، عند تمثيله بيانيًا على مقياس لوغاريتمي مزدوج، وكأنه استقراء خطي لأداء النماذج الأصغر حجماً. ومع ذلك، قد تشهد هذه العلاقة الخطية "انكسارات" في قانون التوسع، حيث يتغير ميل الخط بشكل مفاجئ، وتكتسب النماذج الأكبر حجمًا "قدرات جديدة"، ناشئة عن التفاعلات المعقدة بين مكونات النموذج، دون أن تكون مبرمجة أو مصممة صراحة.
أظهرت الدراسات الحديثة كذلك أن أنظمة الذكاء الاصطناعي، بما في ذلك نماذج اللغات الكبيرة، قادرة على استخدام الاستدلال التنبؤي المشابه للاستدلال البشري. فهي توازن بين المعالجة المنطقية الشاملة وبين استخدام اختصارات معرفية (الاستدلالات)، وتعدل استراتيجياتها الاستدلالية لتحقيق التوازن الأمثل بين الدقة والجهود المبذولة. يتوافق هذا السلوك مع مبادئ الإدراك البشري الاقتصادي للموارد، كما هو موضح في النظريات الكلاسيكية للعقلانية المحدودة ونظرية المعالجة المزدوجة.
من بين القدرات الناشئة الأكثر إثارة للاهتمام، القدرة على التعلم السياقي من خلال أمثلة توضيحية. يتضمن التعلم السياقي مهام مثل:
* إجراء العمليات الحسابية، فك رموز الأبجدية الصوتية الدولية، إعادة ترتيب حروف الكلمة، تحديد معنى الكلمة في سياقها، تحويل الألفاظ المكانية واتجاهات الأركان الأساسية (مثل الرد بـ"الشمال الشرقي" عند إعطاء الإحداثيات [0, 0, 1; 0, 0, 0; 0, 0, 0])، وتحديد الألوان المذكورة نصًا.
* التوجيه المتسلسل: تتحسن نواتج النموذج باستخدام التوجيه المتسلسل فقط عندما يتجاوز حجم النموذج 62 مليار معلمة. وتؤدي النماذج الأصغر أداءً أفضل عندما يُطلب منها الإجابة مباشرة دون اتباع سلسلة من الأفكار.
* التعرف على المحتوى المسيء في فقرات الهنجليزية (مزيج من الهندية والإنجليزية)، وتوليد معادل إنجليزي مشابه للأمثال السواحلية.
يُجادل شافر وزملاؤه بأن القدرات الناشئة لا تُكتسب بشكل غير متوقع، بل تُكتسب بشكل متوقع وفقًا لقانون تحجيم سلس $^{[الإنجليزية]}$. وقد نظر المؤلفون في نموذج إحصائي مصغر لنموذج لغوي كبير يحل أسئلة الاختيار من متعدد، وأظهروا أن هذا النموذج الإحصائي، المعدل لحساب أنواع أخرى من المهام، ينطبق على هذه المهام أيضًا.

## التفسير

تُعتبر نماذج اللغات الكبيرة بمثابة صناديق سوداء، إذ يصعب فهم الكيفية التي تؤدي بها مهامها اللغوية المتعددة. ولتسليط الضوء على آليات عمل هذه النماذج،برزت عدة منهجيات بحثية. من بينها "قابلية التفسير الآلية" التي تهدف إلى فك شفرة البنية الداخلية لهذه النماذج وكشف الخوارزميات الكامنة وراء استدلالاتها. وقد أثمرت هذه المنهجية عن نتائج واعدة في عدة دراسات.
في دراسة أولى دُرب نموذج محول صغير على لعبة ريفيرسي (Othello)، ونجح الباحثون في اكتشاف تمثيل خطي لوضع اللعبة على اللوحة، حيث يؤدي تعديل هذا التمثيل إلى تغير الحركات المقترحة بشكل منطقي. وفي دراسة أخرى دُرب نموذج مماثل على لغة البرمجة "كارل"، وكشفت النتائج عن تمثيل خطي لدلالات هذه اللغة، مما سمح بتعديل الناتج البرمجي بشكل متوقع. والأكثر من ذلك، أن النموذج تمكن من توليد برامج أقصر وأكثر كفاءة من تلك الموجودة في مجموعة التدريب.
وفي دراسة أخرى درّب باحثون نماذج محولة صغيرة على عملية الجمع في الحسابات العددية، ونجح الباحثون في عكس هندسة هذه النماذج واكتشفوا أنها تستخدم تحويل فورييه المنفصل لحل هذه العملية.

### الفهم والذكاء

انقسم الباحثون المتخصصون في معالجة اللغة الطبيعية انقسامًا تامًا عندما سُئلوا، في استطلاع رأي أُجري عام 2022، عما إذا كانت نماذج اللغة الكبيرة غير المدربة قادرة على فهم اللغة الطبيعية فهمًا حقيقيًا ومعمقاً. يرى مؤيدو فكرة قدرة هذه النماذج على الفهم أن بعض قدراتها، مثل القدرة على التفكير الرياضي، تشير إلى وجود فهم حقيقي للمفاهيم. وقد ذهب فريق من شركة مايكروسوفت في عام 2023 إلى أبعد من ذلك، مدعيًا أن نموذج جي بي تي-4 قادر على حل مسائل جديدة ومعقدة في مجالات متنوعة كالرياضيات، والتشفير، والرؤية، والطب، والقانون، وعلم النفس وغيرها، واصفين إياه بأنه نسخة أولية، وإن كانت غير كاملة، لذكاء اصطناعي عام. وقد تساءلوا: "هل يمكننا إنكار ذكاء نظامٍ قادر على اجتياز اختبارات مبرمجي الكمبيوتر؟"
يصف بعض الباحثين هذه النماذج بأنها تمثل نوعًا من "الذكاء الغريب". فعلى سبيل المثال، يرى كونور ليحي، الرئيس التنفيذي لشركة كونجكتشر، أن هذه النماذج تشبه الكائنات الغريبة والغامضة، وأن عملية التدريب المعروفة بـ RLHF تخلق واجهة ودودة تخفي العمليات الداخلية المعقدة لهذه النماذج. ويشبه الأمر قناعًا مبتسمًا يختفي خلفه عمق من الجنون والتفكير الغريب الذي يختلف جذريًا عن التفكير البشري.
على النقيض من ذلك يزعم أصحاب المدرسة التي تنفي فهم النماذج اللغوية الكبيرة أن هذه النماذج "لا تفعل سوى خلط ودمج النصوص الموجودة"، وهي ظاهرة تعرف بالببغاء العشوائي، أو يشيرون إلى العجز المستمر لهذه النماذج في مهارات التنبؤ والتفكير والإرادة والتفسير. فعلى سبيل المثال، يعاني نموذج جي بي تي-4 من قصور جلي في التخطيط والتعلم الفوري. وقد لوحظ أن النماذج اللغوية التوليدية تؤكد بثقة على ادعاءات حقائقية لا يبدو أنها مدعومةببيانات تدريبها، وهي ظاهرة عرفت بالهلوسة. وبالتحديد، تتجلى الهلوسة في سياق هذه النماذج في توليد نصوص أو استجابات نحوية سلسة وطبيعية ولكنها خاطئة واقعيًا أو غير منطقية أو غير موثوقة بالنسبة للمعلومات المدخلة. وقد جادل عالم الأعصاب تيرينس سيجنوفسكي بأن "اختلاف آراء الخبراء حول ذكاء النماذج اللغوية الكبيرة يشير إلى أن مفاهيمنا التقليدية عن الذكاء الطبيعي غير كافية".
تتضمن مسألة محاكاة الذكاء أو الفهم البشري بواسطة نماذج اللغة الكبيرة وجهين رئيسيين: الأول يكمن في كيفية تمثيل الفكر واللغة ضمن نظام حاسوبي، والثاني يتمثل في تمكين هذا النظام من توليد لغة شبيهة باللغة البشرية. وقد تطورت هذه الجوانب اللغوية كنموذج للإدراك في حقل اللغويات الإدراكية. وقد قدم اللغوي الأمريكي جورج لاكوف نظرية الأعصاب اللغوية (NTL) كأساس حسابي لاستخدام اللغة كنموذج لمهام التعلم والفهم. وتلخص هذه النظرية كيف تشكل البنى العصبية المحددة في الدماغ البشري طبيعة الفكر واللغة، وبالتالي ما هي الخصائص الحسابية لهذه الأنظمة العصبية التي يمكن تطبيقها لنمذجة الفكر واللغة في نظام حاسوبي.
وبعد تأسيس إطار عمل لنمذجة اللغة في أنظمة الحاسوب، تحول الاهتمام إلى بناء أطر عمل تتيح لهذه الأنظمة توليد لغة تتبع قواعد نحوية مقبولة. وفي كتابه الصادر عام 2014 بعنوان "أسطورة اللغة: لماذا اللغة ليست غريزة" (بالإنجليزية: The Language Myth: Why Language Is Not An Instinct)‏، رسم اللغوي الإدراكي البريطاني وخبير تكنولوجيا الاتصالات الرقمية فيفيان إيفانز دور القواعد النحوية الاحتمالية الخالية من السياق (PCFG) في تمكين معالجة اللغات الطبيعية من محاكاة الأنماط الإدراكية وتوليد لغة شبيهة باللغة البشرية.

## التقييم
### الحيرة

المقياس التقليدي لأداء نموذج اللغة الكبير هو درجة حيرته على مجموعة نصية معينة. يقيس الحيرة مدى قدرة النموذج على التنبؤ بمحتويات مجموعة البيانات؛ فكلما زادت احتمالية تعيين النموذج لمجموعة البيانات، قلت درجة حيرته. بعبارات رياضية، الحيرة هي الأس الأسية لمتوسط سالب لوغاريتم الاحتمال لكل رمز.
$Perplexity=exp(-{\frac {1}{N}}\sum _{i=1}^{N}logP(token_{i}|contextfortoken_{i}))$
حيث يُمثل $N$ عدد الرموز في مجموعة النص، و"سياق الرمز $i$" يعتمد على نوع نموذج اللغة الكبير المحدد. إذا كان النموذج تلقائي التراجع، فإن "سياق الرمز $i$" هو جزء النص الذي يظهر قبل الرمز $i$. وإذا كان النموذج مُقنّعًا فإن "سياق الرمز $i$" هو جزء النص المحيط بالرمز $i$.
نظرًا لأن نماذج اللغة قد تُفرط في ملاءمتها لبيانات تدريبها، فعادةً ما تُقيم النماذج من خلال درجة حيرتها على مجموعة اختبار. قد يكون هذا التقييم مشكلة بالنسبة للنماذج الأكبر حجمًا، والتي تصبح أكثر عرضة لإدراج أجزاء من أي مجموعة اختبار معينة مع زيادة حجم مجموعات النص التي يدُرِّبت عليها.

#### بتات لكل كلمة أو حرف أو رمز

في نظرية المعلومات، ترتبط صفة الإنتروبيا ارتباطًا وثيقًا بمفهوم الغموض، وهو ارتباط أسسه بوضوح كلود شانون. تُعبَّر هذه العلاقة رياضيًا على النحو التالي: الإنتروبيا = لو$_2$ (الغموض).
${\text{Entropy}}=\log _{2}({\text{Perplexity}})$
تقاس الإنتروبيا، في هذا السياق، عادة بوحدات البتات لكل كلمة (BPW) أو البتات لكل حرف (BPC)، وذلك تبعًا لاختيار نموذج اللغة لتجزئة النص إلى كلمات أو أحرف.
جدير بالذكر أنه في نماذج اللغة الكبيرة التي تعتمد غالبًا على تجزئة الكلمات إلى أجزاء أصغر، يبدو أن البتات لكل رمز مميز (BPT) مقياسًا أنسب. ومع ذلك نظرًا للاختلاف في أساليب التجزئة بين نماذج اللغة الكبيرة، فإن مقياس BPT ليس موثوقًا به للمقارنة بين نماذج مختلفة. لتحويل BPT إلى BPW، يمكن ضرب القيمة الأولى في متوسط عدد الرموز المميزة لكل كلمة.
عند تقييم ومقارنة نماذج اللغة يُفضل عادة استخدام الإنتروبيا المتقاطعة بدلًا من الإنتروبيا المطلقة. الفكرة الأساسية هي أن قيمة BPW الأقل تشير إلى قدرة أفضل للنموذج على الضغط، مما يعكس بدوره كفاءة النموذج في إجراء تنبؤات دقيقة.

### مجموعات البيانات والمعايير الخاصة بالمهام

طُوِّرَتْ في المراحل اللاحقة مجموعات بيانات عديدة ومقاييس اختبار لتقييم قدرات نماذج اللغات في مهام أكثر تحديدًا. صُمِّمت هذه الاختبارات لتقييم مجموعة واسعة من القدرات، بما في ذلك المعرفة العامة والتفكير المنطقي وحل المسائل الرياضية.
إحدى الفئات الشائعة لمجموعات البيانات التقييمية هي مجموعات بيانات الإجابة على الأسئلة، التي تتكون من أزواج من الأسئلة وإجاباتها الصحيحة، مثل: "هل فاز منتخب اليمن بكأس العالم لكرة القدم؟" - "لا". تُعتبر مهمة الإجابة على الأسئلة "مفتوحة" إذا تضمنت مطالبة النموذج بنص يمكن استخلاص الإجابة المتوقعة منه (مثل: يمكن إضافة السؤال السابق إلى نص يتضمن الجملة "تقدّم منتخب اليمن إلى نهائيات كأس العالم مرة واحدة وخسر أمام منتخب السعودية في عام 2016"). أما إذا كان على النموذج الاعتماد على المعرفة التي اكتسبها خلال التدريب، فتُعتبر المهمة "مغلقة".
قد تأخذ مجموعات البيانات التقييمية شكل إكمال النص، حيث يُطلب من النموذج اختيار الكلمة أو الجملة الأنسب لإكمال عبارة ما، مثل: "كانت فاطمة صديقة لسارة. ذهبت فاطمة لزيارة صديقتها، ____".
طُوِّرت أيضًا مقاييس أداء مركبة تجمع بين مجموعة متنوعة من مجموعات البيانات والمهام التقييمية المختلفة. من الأمثلة عليها: جلو، وسوبر جلو وبيج-بنش. أصدرت شركة أوبن أيه آي أدوات لتشغيل مقاييس الأداء المركبة، لكنها لاحظت أن نتائج التقييم حساسة لطريقة صياغة المطالبة. تحتوي بعض مجموعات البيانات العامة على أسئلة خاطئة أو غامضة أو لا يمكن الإجابة عليها أو ذات جودة منخفضة، ويمكن تنظيفها للحصول على نتائج أداء أكثر موثوقية.
كان من المعتاد سابقًا الإبلاغ عن النتائج على جزء مؤجل من مجموعة البيانات التقييمية بعد إجراء ضبط دقيق مراقب على الباقي. أصبح من الشائع الآن تقييم نموذج مدرب مسبقًا مباشرة من خلال تقنيات المطالبة، رغم اختلاف الباحثين في تفاصيل صياغة المطالبات لمهام معينة، لا سيما فيما يتعلق بعدد أمثلة المهام التي تُضمن في المطالبة (أي قيمة n في مطالبة اللقطات n).

#### التقييمات المُصمّمة خصيصًا

سبب التطور المتسارع في نماذج اللغات الكبيرة، فقد عانت مقاييس الأداء من قصر عمرها الافتراضي. إذ سرعان ما "تشبع" هذه النماذج المتقدمة من المقاييس الحالية، متجاوزة أداء البشر المتخصصين. مما دفع الباحثين إلى البحث عن مهام أكثر تعقيدًا لاستبدال هذه المقاييس أو تعزيزها. بالإضافة إلى ذلك، ظهرت ظاهرة "تعلم الاختصارات"، حيث تلجأ أنظمة الذكاء الاصطناعي أحيانًا إلى خداع اختبارات الاختيار. وذلك من خلال استغلال الارتباطات الإحصائية البسيطة في صياغة الأسئلة، مما يسمح لها بتخمين الإجابات الصحيحة دون بالضرورة فهم المعنى الحقيقي للسؤال.
ولمعالجة هذه التحديات، طور باحثون مجموعات بيانات جديدة تركز على نقاط ضعف محددة في نماذج اللغات الحالية. من الأمثلة البارزة على ذلك مجموعة بيانات TruthfulQA، التي تتضمن أسئلة يصعب على النماذج الإجابة عليها بشكل صحيح بسبب ميلها إلى تكرار المعلومات الخاطئة التي تعلمتها خلال التدريب. فعلى سبيل المثال، قد يجيب نموذج لغة كبير على سؤال "هل يمكن تعليم كلب قديم حيلة جديدة؟" بـ "لا"، وذلك بسبب تعلمه للمثل الشائع الذي ينفي ذلك، حتى لو كان هذا الجواب غير دقيق من الناحية العلمية.

## التأثير الأوسع

في عام 2023م، أشارت مجلة "نيتشر بيوميديكال انجينيرنج" إلى استحالة التمييز بدقة بين النصوص التي ينتجها البشر وتلك التي تولّدها نماذج اللغات الكبيرة، مؤكدةً انتشار هذه النماذج ذات الأغراض العامة بسرعة وتأثيرها المتوقع على العديد من الصناعات. وفي نفس العام، أشارت مؤسسة غولدمان ساكس إلى إمكانية زيادة الناتج المحلي الإجمالي العالمي بنسبة 7% خلال العقد القادم بفضل الذكاء الاصطناعي اللغوي التوليدي، مع تحذيرها من تهديد هذا التطور لأكثر من 300 مليون وظيفة حول العالم.

### الحفظ وحقوق النشر

الحفظ هو سلوك ناشئ في نماذج اللّغة الكبيرة حيث يتمّ إخراج سلاسل نصية طويلة أحيانًا حرفيًا من بيانات التّدريب، على عكس السّلوك النموذجيّ للشّبكات العصبية الاصطناعية التّقليدية. تقيس تقييمات مخرجات نموذج اللّغة الكبيرة المتحكّم فيها كمية ما تمّ حفظه من بيانات التّدريب (مع التركيز على نماذج سلسلة جي بي تي-2) بشكل مختلف بأكثر من 1% للنسخ المكرّرة تمامًا، أو ما يصل إلى نحو 7%.

### الأمان

أعرب بعض الباحثين عن مخاوفهم من إمكانية توليد معلومات مضللة عمدًا أو عن طريق الخطأ، أو استغلال هذه النماذج في سلوكيات ضارة أخرى. فعلى سبيل المثال، يمكن أن تساهم نماذج اللغة الكبيرة في تقليل المهارة اللازمة لارتكاب أعمال إرهابية بيولوجية؛ حيث اقترح الباحث في الأمن البيولوجي كيفن إيسفلت ضرورة استبعاد الأبحاث المتعلقة بتطوير مسببات الأمراض من بيانات تدريب هذه النماذج.
أظهرت دراسة أجراها باحثون في جوجل وعدة جامعات، من بينها كورنيل وكاليفورنيا، وجود مخاطر أمنية محتملة في نماذج لغوية مثل شات جي بي تي. فقد تمكن الباحثون من استخلاص جزء من بيانات التدريب التي استخدمت في تدريب هذا النموذج. فعند تكرار طلب الحصول على كلمة معينة لعدد كبير من المرات، بدأ النموذج في تكرار مقاطع من بيانات التدريب بشكل عشوائي. وقد لاحظ الباحثون آلاف الأمثلة على هذا السلوك، مما يثير تساؤلات حول مدى أمان هذه النماذج.
يشكل وجود ما يسمى بـ "العوامل الكامنة" داخل نماذج اللغة الكبيرة مصدر قلق أمني آخر. هذه الوظائف المخبأة يمكن تفعيلها بحدث معين لتدفع النموذج إلى التصرف بطريقة غير متوقعة وضارة. على الرغم من وجود ضوابط أمنية في تطبيقات مثل شات جي بي تي وكلود لمنع توليد محتوى ضار، إلا أن هذه الضوابط ليست مضمونة الفعالية. فقد تمكن باحثون من تطوير طرق للتلاعب بهذه النماذج والحصول على معلومات خطيرة، مثل كيفية إنشاء شبكات لتجارة المخدرات.

### التحيّز الخوارزمي

رغم ما أظهرته نماذج اللغات الكبيرة من قدرة فائقة على توليد نصوص شبيهة بالنصوص البشرية، إلا أنها معرضة للإصابة بتحيزات مستمدة من بيانات تدريبها، بل وتضخيمها. وقد يظهر ذلك جليًا في صور نمطية مشوهة أو معاملة مجحفة لفئات ديموغرافية مختلفة، كالأعراق والأجناس واللغات والمجموعات الثقافية. ونظرًا لسيطرة البيانات الإنجليزية على غالبية بيانات تدريب هذه النماذج، فإنها قد تستصغر بالتالي وجهات النظر التي لا تتحدث الإنجليزية.

#### التنميط

تستطيع أنظمة الذكاء الاصطناعي أن تعزز طائفة واسعة من الصور النمطية، بما في ذلك تلك المرتبطة بالجنس، أو العرق، أو السن، أو الجنسية، أو الدين، أو المهنة. وقد يؤدي هذا إلى نتائج تمييزية بحق فئات معينة من البشر، بطرق قد تكون مسيئة أو مهينة. ومن الجدير بالذكر أن التحيز الجنسي هو ميل هذه الأنظمة إلى إنتاج نتائج تميل بشكل غير عادل لصالح جنس على آخر. وغالبًا ما ينشأ هذا التحيز من البيانات التي تُدرب هذه الأنظمة عليها. فنموذج اللغة الكبيرة، على سبيل المثال، قد يربط بين الممرضات والسكرتيرات وبين النساء، وبين المهندسين والرؤساء التنفيذيين وبين الرجال، وذلك استنادًا إلى الأعراف الجندرية السائدة.

#### التحيّز السّياسيّ

التحيز السياسي يشير إلى ميل الخوارزميات إلى تفضيل وجهات نظر أو أيديولوجيات أو نتائج سياسية معينة على أخرى بشكل منهجي. قد تظهر نماذج اللغة أيضًا تحيزات سياسية. نظرًا لأن بيانات التدريب تتضمن مجموعة واسعة من الآراء والتغطية السياسية، فقد تولد النماذج استجابات تميل إلى أيديولوجيات أو وجهات نظر سياسية معينة، اعتمادًا على انتشار تلك الآراء في البيانات.

## قائمة نماذج اللّغة الكبيرة

بالنسبة لعمود تكلفة التدريب، 1 بيتافلوب في اليوم = 1 بيتافلوب/ثانية × يوم واحد = 8.64E19 فلوب. وتُكتب تكلفة النموذج الأكبر فقط.
| الاسم | الاسم بالإنجليزية | تاريخ الإطلاق | المطور | عدد المَعلمات (مليار) | حجم المجموعة | تكلفة التدريب (بيتافلوب-يوم) | الرخصة | ملاحظات |
| جي بي تي-1 | GPT-1 | ‍يونيو 2018 | أوبن أيه آي | 117000000 !0.117 | | 1 | إم آي تي | أول نموذج GPT، محول فك التشفير فقط. تدربت لمدة 30 يومًا على 8 وحدة رسوميات من نوع P600. |
| بيرت | BERT | ‍أكتوبر 2018 | جوجل | 340000000 !0.340 | 3300000000 !3.3 مليار كلمة | 9 !9 | أباتشي 2.0 | نموذج لغوي مبكر ومؤثر. مُشفر فقط وبذلك لم يُبنى ليكون مُولِّدًا. استغرق التدريب 4 أيام على 64 شريحة TPUv2. |
| تي 5 | T5 | ‍أكتوبر 2019 | جوجل | 11 | 34 مليار رمز مميز | | أباتشي 2.0 | النموذج الأساسي للعديد من مشاريع جوجل، مثل Imagen. |
| | XLNet | ‍يونيو 2019 | جوجل | 340000000 !0.340 | 3300000000 !33 مليار كلمة | | أباتشي 2.0 | بديل لنموذج بيرت؛ مصمم للمشفر فقط. دُرِّب على 512 شريحة TPU v3 لمدة 5.5 أيام. |
| جي بي تي-2 | GPT-2 | ‍فبراير 2019 | أوبن أيه آي | 1500000000 !1.5 | 40 غيغا بايت (~10000000000 !10 مليار رمز مميز) | | إم آي تي | دُرب على 32 شريحة TPUv3 لمدة أسبوع واحد. |
| جي بي تي-3 | GPT-3 | ‍مايو 2020 | أوبن أيه آي | 175000000000 !175 | 300000000000 !300 مليار رمز مميز | | خاصة | أُتيحت نسخة معدلة من GPT-3، تسمى GPT-3.5، للجمهور من خلال واجهة ويب تسمى شات جي بي تي في 2022. |
| جي بي تي-نيو | GPT-Neo | ‍مارس 2021 | EleutherAI $^{[الإنجليزية]}$ | 2700000000 !2.7 | 825 جيجابت | | إم آي تي | أول سلسلة من البدائل المجانية لـ جي بي تي-3 التي أصدرتها إليوثر أيه آي. تفوقت جي بي تي-نيو على نموذج جي بي تي-3 ذي الحجم المماثل في بعض المعايير، لكنها كانت أسوأ بكثير من جي بي تي-3 الأكبر. |
| جي بي تي-جي | GPT-J | ‍يونيو 2021 | إليوثر أيه آي | 6000000000 !6 | 825 جيجابت | | أباتشي 2.0 | نموذج لغة على غرار جي بي تي-3 |
| | Megatron-Turing NLG | ‍أكتوبر 2021 | مايكروسوفت وإنفيديا | 530000000000 !530 | 338600000000 !338.6 مليار رمز مميز | | تقييد الوصول إلى شبكة الإنترنت | هندسة قياسية ولكن دُرِّبت على مجموعة الحوسبة الفائقة. |
| | Ernie 3.0 Titan | ‍ديسمبر 2021 | بايدو | 260000000000 !260 | 4 Tb | | خاصة | نموذج لغة كبيرة صيني، يعتمد عليه بوت "إرني بوت". |
| كلود | Claude | ‍ديسمبر 2021 | أنثروبيك | 52000000000 !52 | 400000000000 !400 مليار رمز مميز | | بيتا | ضُبط بدقة لتحقيق السلوك المرغوب في المحادثات. |
| لام (نموذج لغة عامة) | GLaM | ‍ديسمبر 2021 | جوجل | 1200000000000 !1200 | 1600000000000 !1.6 تريليون رمز مميز | | خاصة | نموذج مزيج من الخبراء متفرق، مما يجعل تدريبه أكثر تكلفة ولكن تشغيل الاستدلال أرخص مقارنةً بـ GPT-3. |
| | Gopher | ‍ديسمبر 2021 | ديب مايند | 280000000000 !280 | 300000000000 !300 مليار رمز مميز | | خاصة | جرى تطويره لاحقًا إلى نموذج شينشيلا. |
| لامدا (نموذج لغوي لتطبيقات الحوار) | LaMDA | ‍يناير 2022 | جوجل | 137000000000 !137 | 1.56 تريليون كلمة، 168000000000 !168 مليار رمز مميز | | خاصة | متخصص في توليد الاستجابة في المحادثات. |
| جي بي تي-نيو إكس | GPT-NeoX | ‍فبراير 2022 | إليوثر أيه آي | 20000000000 !20 | 825 جيجابت | | أباتشي 2.0 | مبني على معمارية ميجاترون |
| | Chinchilla | ‍مارس 2022 | ديب مايند | 70000000000 !70 | 1400000000000 !1.4 تريليون رمز مميز | | خاصة | نموذج ذو معلمات مخفضة دُرِّب على المزيد من البيانات. يستخدم في روبوت Sparrow. غالبًا ما يُستشهد به لقانون التوسع العصبي الخاص به. |
| بالم (نموذج مسارات اللغة) | PaLM | ‍أبريل 2022 | جوجل | 540000000000 !540 | 768000000000 !768 مليار رمز مميز | | خاصة | جرى التدريب لمدة 60 يومًا تقريبًا على 6000 شريحة TPU v4. |
| | OPT (Open Pretrained Transformer) | ‍مايو 2022 | ميتا | 175000000000 !175 | 180000000000 !180 مليار رمز مميز | 310 | بحث غير تجاري | معمارية GPT-3 مع بعض التعديلات من ميجاترون |
| | YaLM 100B | ‍يونيو 2022 | ياندكس | 100000000000 !100 | 1.7 تيرابايت | | أباتشي 2.0 | نموذج إنجليزي-روسي يعتمد على Megatron-LM من مايكروسوفت. |
| | Minerva | ‍يونيو 2022 | جوجل | 540000000000 !540 | 38.5 مليار رمز مميز من صفحات الويب التي تمت تصفيتها للمحتوى الرياضي ومن الأوراق المقدمة إلى خادم arXiv للطبع المسبق | | خاصة | لحل "المسائل الرياضية والعلمية باستخدام التفكير خطوة بخطوة". بناءً على نموذج PaLM، دُرِّب بشكل أكبر على البيانات الرياضية والعلمية. |
| بلوم | BLOOM | ‍يوليو 2022 | تعاون كبير بقيادة هقينق فيس $^{[الإنجليزية]}$ | 175000000000 !175 | 350000000000 !350 مليار رمز مميز (1.6 تيرابايت) | | الذكاء الاصطناعي المسؤول | في الأساس GPT-3 ولكن دُرِّب على مجموعة متعددة اللغات (30% من اللغة الإنجليزية باستثناء لغات البرمجة) |
| جالاكتيكا | Galactica | ‍نوفمبر 2022 | ميتا | 120000000000 !120 | 350000000000 !106 مليار رمز مميز | غير معروف | CC-BY-NC-4.0 | مدرب على النصوص العلمية والأساليب العلمية. |
| اليكسا تي إم (نموذج المعلم) | AlexaTM | ‍نوفمبر 2022 | | 20000000000 !20 | 1300000000000 !1.3 تريليون | | خاصة | هندسة تسلسلية ثنائية الاتجاه |
| | Neuro-sama | ‍ديسمبر 2022 | مستقل | غير معروف | غير معروف | | ملكية خاصة | نموذج لغوي مصمم للبث المباشر على تويتش. |
| لاما نموذج لغة كبير ميتا أيه آي) | LLaMA | ‍فبراير 2023 | ميتا أيه آي | 65000000000 !65 | 1400000000000 !1.4 تريليون | 6300 | بحث غير تجاري | يحتوي Corpus على 20 لغة. "مُدرَّب أكثر" (مقارنة بقانون تحجيم شينشيلا) للحصول على أداء أفضل مع عدد أقل من المعلمات. |
| جي بي تي-4 | GPT-4 | ‍مارس 2023 | أوبن أيه آي | غير معروف (وفقا للشائعات: 1760) | غير معروف | | خاصة | متاح لمستخدمي شات جي بي تي بلس ويُستخدم في العديد من المنتجات. |
| | Cerebras-GPT | ‍مارس 2023 | Cerebras | 13000000000 !13 | | | أباتشي 2.0 | دُرِّب باستخدام صيغة شينشيلا. |
| فالكون | FALCON | ‍مارس 2023 | معهد الابتكار التكنولوجي | 40000000000 !40 | 1 تريليون رمز مميز، من ريفايندويب (مجموعة نصوص ويب مفلترة) بالإضافة إلى بعض "المجموعات النصية المنسقة". | | أباتشي 2.0 | |
| بلومبيرغ جي بي تي | BloombergGPT | ‍مارس 2023 | بلومبيرغ إل بي | 50000000000 !50 | 363 مليار رمز. مجموعة بيانات تعتمد على مصادر بيانات بلومبرج، بالإضافة إلى 345 مليار رمز من مجموعات البيانات للأغراض العامة | | خاصة | دُرِّب على البيانات المالية من مصادر خاصة، للمهام المالية. |
| | هواوي بانجو $^{[لغاتأخرى]}$‏ | ‍مارس 2023 | هواوي | 1085000000000 !1085 | 329 مليار رمز مميز | | خاصة | |
| مساعد مفتوح | OpenAssistant | ‍مارس 2023 | لايون $^{[الإنجليزية]}$ | 17000000000 !17 | 1.5 تريليون رمز مميز | | أباتشي 2.0 | دُرِّب على البيانات المفتوحة المستمدة من الجمهور |
| جوراسيك-2 | Jurassic-2 | ‍مارس 2023 | أيه 121 لابز $^{[الإنجليزية]}$ | غير معروف | غير معروف | | خاصة | متعدد اللغات |
| بالم 2 (نموذج مسارات اللغة 2) | PaLM2 | ‍مايو 2023 | جوجل | 340000000000 !340 | 3600000000000 !3.6 تريليون رمز مميز | | خاصة | كان يستخدم في روبوت الدردشة بارد. |
| لاما 2 | LLaMA 2 | ‍يوليو 2023 | ميتا أيه آي | 70000000000 !70 | 2000000000000 !2 تريليون رمز مميز | 21000 | رخصة لاما 2 | 1.7 مليون ساعة A100. |
| كلود 2 | Claude2 | ‍يوليو 2023 | أنثروبيك | غير معروف | غير معروف | | خاصة | يُستخدم في برنامج الدردشة الآلي كلود. |
| | آي بي إم جرانيت $^{[لغاتأخرى]}$‏ | ‍يوليو 2023 | آي بي إم | غير معروف | غير معروف | | خاصة | يُستخدم في آي بي إم واتسونكس. |
| | Mistral 7B | ‍سبتمبر 2023 | ميسترال | 7300000000 !7.3 | غير معروف | | أباتشي 2.0 | |
| كلود 2.1 | Claude2.1 | ‍نوفمبر 2023 | أنثروبيك | غير معروف | غير معروف | | خاصة | يستخدم في برنامج الدردشة الآلي كلود. يحتوي على نافذة سياقية تحتوي على 200000 رمز، أو نحو 500 صفحة. |
| غروك-1 | Grok-1 | ‍نوفمبر 2023 | إكس.أيه آي $^{[الإنجليزية]}$ | 314 | غير معروف | | أباتشي 2.0 | يستخدم في روبوت الدردشة غروك. يحتوي غروك-1 على سياق يبلغ 8,192 رمزًا مميزًا ويمكنه الوصول إلى X (تويتر). |
| جيميناي 1.0 | Gemini 1.0 | ‍ديسمبر 2023 | ديب مايند | غير معروف | غير معروف | | خاصة | نموذج متعدد الوسائط، يأتي بثلاثة أحجام. يُستخدم في روبوت الدردشة الذي يحمل نفس الاسم. |
| | Mixtral 8x7B | ‍ديسمبر 2023 | ميسترال | 46.7 | غير معروف | | أباتشي 2.0 | يتفوق على GPT-3.5 وLlama 2 70B في العديد من المعايير. وهو نموذج مزيج من الخبراء، مع 12.9 مليار معلمة مفعلة لكل رمز مميز. |
| | Mixtral 8x22B | ‍أبريل 2024 | ميسترال | 141 | غير معروف | | أباتشي 2.0 | |
| | Phi-2 | ‍ديسمبر 2023 | مايكروسوفت | 2.7 | 1.4 تريليون رمز مميز | | إم آي تي | جرى التدريب على بيانات حقيقية وصناعية "بجودة الكتب المدرسية"، لمدة 14 يومًا على 96 وحدة معالجة رسومية A100. |
| جيميناي 1.5 | Gemini 1.5 | ‍فبراير 2024 | ديب مايند | غير معروف | غير معروف | | خاصة | نموذج متعدد الوسائط، يعتمد على بنية مزيج من الخبراء (MoE). نافذة السياق فوق مليون رمز. |
| جيما | Gemma | ‍فبراير 2024 | ديب مايند | 7 | 6 تريليون رمز مميز | غير معروف | شروط استخدام جيما | |
| كلود 3 | Claude3 | مارس 2024 | أنثروبيك | غير معروف | غير معروف | غير معروف | ملكية خاصة | يتضمن ثلاثة نماذج، هايكو، وسونيت، وأوبوس. |
| نوفا | Nova | أكتوبر 2024 | روبيك أيه آي | غير معروف | غير معروف | غير معروف | ملكية خاصة | يتضمن ثلاثة نماذج، Nova-Instant، وNova-Air، وNova-Pro. |
| | DBRX | مارس 2024 | داتابريكس وموزيك إم إل | 13600000000 !136 | 12 تريليون رمز مميز | | الترخيص النموذجي المفتوح داتا بريكس | تكلفة التدريب 10 مليون دولار أمريكي |
| | Fugaku-LLM | مايو 2024 | فوجيتسو، معهد طوكيو للتكنولوجيا | 1300000000 !13 | 380 مليار رمز مميز | | | أكبر نموذج دُرِّب على الإطلاق على وحدة المعالجة المركزية فقط، على فوغاكو. |
| | Phi-3 | ‍أبريل 2024 | مايكروسوفت | 14 | 4.8 تريليون رمز مميز | | إم آي تي | تسوقه مايكروسوفت باعتباره "نموذج لغة صغير". |
| | آي بي إم جرانيت $^{[لغاتأخرى]}$‏ | ‍مايو 2024 | آي بي إم | غير معروف | غير معروف | | أباتشي 2.0 | |
| | Qwen2 | ‍يونيو 2024 | سحابة علي بابا | 72 | 3 تريليون رمز مميز | | | له أحجام متعددة، أصغرها هو 0.5B. |
| | Nemotron-4 | يونيو 2024 | إنفيديا | 34000000000 !340 | 9 تريليون رمز مميز | 200,000 | ترخيص إنفيديا النموذج المفتوح | دُرِّب على 6144 وحدة معالجة رسومية H100 بين ديسمبر 2023 ومايو 2024. |
| لاما 3.1 | LLaMA3.1 | يوليو 2024 | ميتا أيه آي | 405 | 15.6 تريليون رمز مميز | 440,000 | ترخيص لاما 3 | استغرق "الإصدار 405B" نحو 31 مليون ساعة على "H100-80GB" عند 3.8E25 فلوب. |
| علَّام 7B | ALLaM 7B | يناير 2025 | سدايا | 7B | 1024 تريليون رمزًا مميزًا | | أباتشي 2.0 |