stanford-oval/wikipedia huggingface dataset:
مايكل روجيرس

| مايكل روجيرس> (بالإنجليزية: Michael Rogers)    | مايكل روجيرس> (بالإنجليزية: Michael Rogers)    |
| --- | --- |
معلومات شخصية  : معلومات شخصية  
الميلاد: 18 مايو 1964   (61 سنة)   فكتوريا، كولومبيا البريطانية  
مواطنة:  كندا 
الحياة العملية  : الحياة العملية  
المدرسة الأم: مدرسة ييل للدراما  
المهنة: ممثل، وممثل أفلام، وممثل تلفزيوني  
المواقع  : المواقع  
IMDB: صفحة متعلقة في موقع IMDB  
تعديل مصدري - تعديل  : تعديل مصدري - تعديل  
مايكل روجيرس هو ممثل كندي، ولد في 18 مايو 1964 في كندا.
أعمال > أفلام

(2008) فار كراي
هذه القائمة تُستورد من ويكي بيانات بصفة دورية بواسطة بوت.
مراجع

↑  Far Cry - Kinokalender Dresden نسخة محفوظة 23 أبريل 2016 على موقع واي باك مشين.
وصلات خارجية

مايكل روجيرس على موقع IMDb (الإنجليزية)
مايكل روجيرس على موقع قاعدة بيانات الأفلام العربية
مايكل روجيرس على موقع قاعدة بيانات الفيلم (الإنجليزية)
بوابة كندا
بوابة تمثيل
بوابة أعلام
| ضبط استنادي  | ضبط استنادي  |
| --- | --- |
دولية: ملف الضبط الاستنادي الافتراضي الدَّولي (VIAF) مركز المكتبة الرقمية على الإنترنت (WC Entities)
وطنية: مكتبة الكونغرس (LCNAF)
(78904)

| (78904) 2003 SE81 | (78904) 2003 SE81 |
| --- | --- |
المكتشف: سبايس واتش  
موقع الاكتشاف: مرصد قمة كت الوطني  
تاريخ الاكتشاف: 19 سبتمبر 2003  
الأسماء البديلة: 1999 XT237، و2003 SE81  
فئة الكوكب الصغير: حزام الكويكبات  
الأوج: 3.025635217529048 وحدة فلكية  
الحضيض: 2.448206933573846 وحدة فلكية  
نصف المحور الرئيسي: 2.736921075551447 وحدة فلكية  
اختلاف مركز المدار: 0.1054886618969931   
فترة الدوران: 1653.833701555399 يوم  
الخاصة المتوسطة: 291.8912562506053 درجة  
ميل المدار: 4.555956715318157 درجة  
زاوية نقطة الاعتدال: 44.37595194937195 درجة  
زاوية الحضيض: 265.7932088715568 درجة  
تابع إلى: الشمس  
القدر المطلق(H): 15.38   
  (78903) 2003 SP79       :   (78903) 2003 SP79       
تعديل مصدري - تعديل  : تعديل مصدري - تعديل  
2003 أس إي 81 (ويعرف أيضًا باسم (78904) 2003 أس إي 81 وفق تسمية الكوكب الصغير) (بالإنجليزية: 2003 SE81)‏؛ هو كويكب ضمن حزام الكويكبات.
اكتُشف هذا الجُرم الفلكي بواسطة سبيس واتش في 19 سبتمبر 2003، وترتيبه 78904 من حيث الاكتشاف.
الوصف

اكتُشف 789042003SE في 19 سبتمبر 2003 في مرصد قمة كت الوطني، الواقع في صحراء سونورا، أريزونا في الولايات المتحدة، بواسطة مشروع سبايس واتش (مشاهد السماء) التابع لجامعة أريزونا. وقد رصد المشروع 981 مشاهدة للكويكب إلى غاية 5 فبراير 2022 بتوقيت منطقة المحيط الهادئ، أي في مدة قدرها 10,869 يومًا (29.8 عام). تستغرق الفترة المدارية للكويكب 1,650 يومًا (4.5 عام).
الخصائص المدارية

يتميز مدار هذا الكويكب بنصف محور رئيسي يبلغ 2.74 وحدة فلكية، وحضيض قدره 2.44 وحدة فلكية، وانحراف قدره 0.106 وزاوية ميلان 4.56 درجة بالنسبة لمسار الشمس. بسبب هذه الخصائص، أي نصف المحور الرئيسي بين 2 و3.2 وحدة فلكية وحضيض أكبر من 1,666 وحدة فلكية، يُصنف هذا الجُرم الفلكي وفقًا لقاعدة بيانات مختبر الدفع النفاث لأجرام النظام الشمسي الصغيرة كائنًا من حزام الكويكبات الرئيسي.
الخصائص الفيزيائية

يُقدر القدر المطلق (H) لـ789042003SE بـ15.26 ووضاءته بـ0.055، مما يمكِّن تقدير قطره بـ 4.955كم. استُخلصت هذه النتائج بفضل ملاحظات مستكشف الأشعة تحت الحمراء عريض المجال (WISE)، وهو مرصد فضائي أمريكي وُضع في المدار في عام 2009 ويراقب السماء بأكملها بالأشعة تحت الحمراء، في عام 2011، نُشرت النتائج الأولى المتعلقة بالكويكبات من الحزام الرئيسي.
وصلات خارجية

(78904) 2003 SE81 في قاعدة بيانات مختبر الدفع النفاث لأجرام النظام الشمسي الصغيرة
الاكتشاف · مخطط المدار ·  العناصر المدارية · المعلمات المادية
(78904) 2003 SE81 على موقع ويكي سكاي: DSS2, SDSS, GALEX, IRAS, Hydrogen α, X-Ray, Astrophoto, Sky Map, Articles and images
| ع ن 78001–79000 | ع ن 78001–79000 |
| --- | --- |
الترقيم 78001–78100:  2002 JU113  2002 JR127  2002 KS3  78071 Vicent  2002 LF29 
الترقيم 78101–78200:  78115 Skiantonucci  78118 Bharat  78125 Salimbeni  2002 NR18 
الترقيم 78201–78300:  2002 OV8  78249 Capaccioni  2002 PE9  78252 Priscio 
الترقيم 78301–78400:  2002 PR85  2002 PY92  2002 PX109  2002 PY113  78383 Philmassey  78391 Michaeljäger  78392 Dellinger  78393 Dillon  78394 Garossino 
الترقيم 78401–78500:  78429 Baschek  78430 Andrewpearce  78431 Kemble  78432 Helensailer  78433 Gertrudolf  78434 Dyer  2002 RR29  2002 RM35  2002 RZ43  2002 RE47  2002 RE52  2002 RY53 
الترقيم 78501–78600:  2002 RO98  78534 Renmir  78535 Carloconti  2002 RS126  78577 JPL  78578 Donpettit 
الترقيم 78601–78700:  2002 SY49  2002 SB58  2002 TK30  2002 TU36  78652 Quero  2002 TL73  78661 Castelfranco 
الترقيم 78701–78800:  2002 TD274  78756 Sloan  2002 VO111  2002 XW93 
الترقيم 78801–78900:  78816 Caripito  2003 QB21  2003 SV39 
الترقيم 78901–79000:  2003 SP79  2003 SE81  78905 Seanokeefe  2003 SU144  2003 UR49 
بوابة كواكب صغيرة ومذنبات
بوابة علم الفلك
(28284)

| (28284) 1999 CG37 | (28284) 1999 CG37 |
| --- | --- |
المكتشف: بحث لنكولن عن الكويكبات القريبة من الأرض  
تاريخ الاكتشاف: 10 فبراير 1999  
الأسماء البديلة: 1981 AT2، و1997 WB11، و1999 CG37  
فئة الكوكب الصغير: حزام الكويكبات  
الأوج: 2.775 وحدة فلكية، و2.772187665917063 وحدة فلكية  
الحضيض: 2.6171960 وحدة فلكية، و2.622657928690329 وحدة فلكية  
نصف المحور الرئيسي: 2.6962720 وحدة فلكية، و2.697422797303696 وحدة فلكية  
اختلاف مركز المدار: 0.03  0.0293279  0.02771714863835975   
فترة الدوران: 4.43 سنة، و1618.161866180013 يوم  
الخاصة المتوسطة: 88.63774 درجة، و221.5106209182838 درجة  
ميل المدار: 3.51464 درجة، و3.513313864758452 درجة  
زاوية نقطة الاعتدال: 38.61404 درجة 38.60047586657258 درجة  
زاوية الحضيض: 132.57315 درجة، و129.5392074173886 درجة  
تابع إلى: الشمس  
القدر المطلق(H): 13.4 ، و13.63   
  (28283) 1999 CR35    (28285) 1999 CP39    :   (28283) 1999 CR35    (28285) 1999 CP39    
تعديل مصدري - تعديل  : تعديل مصدري - تعديل  
1999 سي جي 37 (ويعرف أيضًا باسم (28284) 1999 سي جي 37 وفق تسمية الكوكب الصغير) (بالإنجليزية: 1999 CG37)‏؛ هو كويكب ضمن حزام الكويكبات.
اكتُشف هذا الجُرم الفلكي بواسطة بحث لنكولن عن الكويكبات القريبة من الأرض في 10 فبراير 1999، وترتيبه 28284 من حيث الاكتشاف.
الوصف

اكتُشف 282841999CG في 10 فبراير 1999 في مرصد ماغدالينا ريدج، الواقع في مقاطعة سوكورو، نيومكسيكو في الولايات المتحدة، بواسطة مشروع بحث لنكولن عن الكويكبات القريبة من الأرض (بالإنجليزية: Lincoln Near-Earth Asteroid Research)‏ LINEAR. وقد رصد المشروع 2,763 مشاهدة للكويكب إلى غاية 25 أغسطس 2021 بتوقيت منطقة المحيط الهادئ، أي في مدة قدرها 14,762 يومًا (40.4 عام). تستغرق الفترة المدارية للكويكب 1,620 يومًا (4.4 عام).
الخصائص المدارية

يتميز مدار هذا الكويكب بنصف محور رئيسي يبلغ 2.7 وحدة فلكية، وحضيض قدره 2.62 وحدة فلكية، وانحراف قدره 0.0287 وزاوية ميلان 3.51 درجة بالنسبة لمسار الشمس. بسبب هذه الخصائص، أي نصف المحور الرئيسي بين 2 و3.2 وحدة فلكية وحضيض أكبر من 1,666 وحدة فلكية، يُصنف هذا الجُرم الفلكي وفقًا لقاعدة بيانات مختبر الدفع النفاث لأجرام النظام الشمسي الصغيرة كائنًا من حزام الكويكبات الرئيسي.
الخصائص الفيزيائية

يُقدر القدر المطلق (H) لـ282841999CG بـ13.53 ووضاءته بـ0.127، مما يمكِّن تقدير قطره بـ 7.454كم. استُخلصت هذه النتائج بفضل ملاحظات مستكشف الأشعة تحت الحمراء عريض المجال (WISE)، وهو مرصد فضائي أمريكي وُضع في المدار في عام 2009 ويراقب السماء بأكملها بالأشعة تحت الحمراء، في عام 2011، نُشرت النتائج الأولى المتعلقة بالكويكبات من الحزام الرئيسي.
نموذج لغوي كبير

نموذجُ اللّغةِ الكبيرُ (اختصارًا LLM) هو نموذجٌ حسابيٌّ قادرٌ على توليدِ اللّغةِ أو مهامّ مُعالجةِ اللّغةِ الطّبيعيةِ الأخرى. بصفتها نماذجَ لُغوية، تكتسبُ نماذجُ اللّغةِ الكبيرةُ هذهِ القدراتِ من خلالِ تعلّمِ العلاقاتِ الإحصائيةِ من كمياتٍ هائلةٍ منَ النّصوصِ أثناءَ عمليةِ تدريبٍ ذاتيّةِ الإشرافِ وشبهِ مُراقبة  ‏. وتستهلك هذه النماذج موارد حسابية كبيرة أثناء التدريب والتشغيل.
حتى عام 2020 كان الضبط الدقيق أو الصقل هو الطريقة الوحيدة التي يمكن من خلالها تكييف النموذج ليكون قادرًا على إنجاز مهام محددة. ومع ذلك يمكن تصميم النماذج الأكبر حجمًا، مثل جي بي تي-3، لتحقيق نتائج مماثلة. يُعتقد أنهم يكتسبون معرفة مضمنة حول بناء الجملة وعلم الدلالات و«علم الوجود» المتأصل في مجاميع اللغة البشرية، ولكن عدم الدقة والتحيزات الموجودة في مجاميع اللغة البشرية أيضًا.
أكبرُ نماذجِ اللّغةِ الكبيرةِ وأكثرُها قدرةً، اعتبارًا من أغسطس 2024، هي شبكاتٌ عصبيةٌ اصطناعيةٌ مبنيةٌ بِبنيةٍ قائمةٍ على المُحوّلِ الخاصّ بِفكّ التشفيرِ فقط، ممّا يُتيحُ مُعالجةً فعّالةً وتوليدَ بياناتِ نصيةٍ واسعةَ النّطاق. يُمكنُ ضبط أو صقل النماذجِ الحديثةِ لِمهامّ مُحدّدةٍ أو يُمكنُ توجيهُها بواسطةِ هندسةِ المُطالبات. تكتسبُ هذهِ النماذجُ قوّةً تنبّؤيةً فيما يتعلّقُ بِالنّحوِ والدّلالاتِ وعلمِ الوجود المُتأصّلِ في مجموعاتِ اللّغةِ البشرية، لكنّها ترثُ أيضًا عدمَ الدّقةِ والانحيازاتِ الموجودةِ في البياناتِ التي جرى تدريبُها عليها.
تاريخ

قبل عام 2017، كان عدد نماذج اللغة التي كانت كبيرةً  قليلًا مقارنةً بالقدرات المتاحة حينها. في التسعينيات، كانت نماذج محاذاة IBM رائدةً في النمذجة الإحصائية للغة. حقق نموذج n-gram المحسن في عام 2001، والذي دُرِّب على 0.3 مليار كلمة، حيرةً متطورةً حينها. في العقد الأول من القرن الحادي والعشرين، مع انتشار استخدام الإنترنت، أنشأ بعض الباحثين مجموعات بيانات لغة على نطاق الإنترنت ("الويب كجسم نصي" )، قاموا بتدريب نماذج اللغة الإحصائية عليها. في عام 2009، في معظم مهام معالجة اللغة، سيطرت نماذج اللغة الإحصائية على نماذج اللغة الرمزية، حيث يمكنها استيعاب مجموعات بيانات كبيرة بشكل مفيد.
بعد أن أصبحت الشبكات العصبية مهيمنةً في معالجة الصور نحو عام 2012 ، طُبقت على نمذجة اللغة أيضًا. حولت جوجل خدمة الترجمة الخاصة بها إلى الترجمة الآلية العصبية في عام 2016. كما كان الحال قبل المحولات، جرى ذلك بشبكات LSTM العميقة سيك تو سيك.
في مؤتمر مؤتمر نظم معالجة المعلومات العصبية عام 2017، قدم باحثو جوجل بنية المحولات في ورقتهم البحثية البارزة "الاهتمام هو كل ما تحتاجه". كان هدف هذه الورقة هو تحسين تقنية سيك تو سيك لعام 2014،  واستندت بشكل أساسي إلى آلية الاهتمام التي طورها باهدانو وآخرون في عام 2014. في العام التالي في عام 2018 قُدّم BERT. على الرغم من أن المحول الأصلي يحتوي على كتل التشفير وفك التشفير، إلا أن BERT هو نموذج تشفير فقط.
على الرغم من أن جي بي تي-1 لفك التشفير فقط قُدم في عام 2018، إلا أن جي بي تي-2 في عام 2019 هو الذي لفت الانتباه على نطاق واسع لأن أوبن أيه آي اعتبرته في البداية قويًا جدًا بحيث لا يمكن إصداره للجمهور، خوفًا من الاستخدام الضار. ذهب جي بي تي-3 في عام 2020 إلى أبعد من ذلك، واعتبارًا من عام 2024، أصبح متاحًا فقط عبر واجهة برمجة التطبيقات دون عرض تنزيل النموذج لتنفيذه محليًا. لكن شات جي بي تي القائم على المتصفح والموجه للمستهلك في عام 2022 أثار خيال عامة الناس وتسبب في بعض الضجيج الإعلامي والضجيج عبر الإنترنت. أُثني على جي بي تي-4 لعام 2023 لدقته المتزايدة وقدراته متعددة الوسائط. لم تكشف أوبن أيه آي عن البنية عالية المستوى وعدد معلمات جي بي تي-4.
كانت نماذج اللغة المتنافسة تحاول في معظمها مساواة سلسلة GPT، على الأقل من حيث عدد المعلمات.
منذ عام 2022، اكتسبت النماذج المتاحة المصدر شعبيةً، وخاصةً في البداية نموذجي BLOOM ولاما، على الرغم من أن كلاهما لديه قيود على مجال الاستخدام. تتمتع نماذج Mistral 7B وميسترال وMixtral 8x7b، برخصة أباتشي أكثر تساهلًا. اعتبارًا من يونيو 2024، يعد النوع المحسن للتعليمات من نموذج "لاما 3" ذي 70 مليار معلمة هو أقوى نموذج لغو كبير مفتوح وفقًا لقائمة المتصدرين في LMSYS Chatbot Arena، حيث أنهأقوى من جي بي تي-3.5 ولكنه ليس بنفس قوة جي بي تي-4.
تعتمد النماذج الأكبر حجمًا والأكثر كفاءة على بنية Transformer في 2024، بينما تعتمد بعض التطبيقات الحديثة على هياكل معمارية أخرى، مثل متغيرات الشبكة العصبية المتكررة ومامبا (نموذج مساحة الحالة).
معالجة البيانات المُسبقة > التجزئة

بما أن خوارزميات التعلم الآلي تعتمد على المعالجة الرقمية للمعلومات، فإنه من الضروري تحويل النصوص إلى تمثيل رقمي. تجري هذه العملية من خلال عدة خطوات: أولًا، تُحدد مجموعة من المفردات اللغوية، ثم يُعيّن لكل مفردة رمز رقمي فريد، وفي النهاية يرتبط هذا الرمز بتضمين رقمي يحمل معنى دلالي للمفردة. من أشهر الخوارزميات المستخدمة في هذه العملية ترميز زوج البايتات (BPE) وخوارزمية WordPiece. بالإضافة إلى ذلك، تُستخدم نماذج اللغة رموزًا خاصة لأغراض التحكم، مثل رمز [MASK] الذي يستخدم في نماذج مثل تمثيلات التشفير الثنائي الاتجاه من المحولات (BERT) لتمثيل الكلمات المحذوفة، ورمز [UNK] لتمثيل الكلمات غير المعروفة. كما تستخدم بعض النماذج رموزًا خاصة لتمثيل جوانب شكلية للنص، مثل الرمز "Ġ" الذي يشير إلى مسافة بيضاء سابقة في نموذج جي بي تي، والرمز "##" الذي يشير إلى استمرار جزء من كلمة في نموذج "بيرت".
تساهم عملية التجزئة أيضًا في ضغط البيانات. نظرًا لضرورة أن تكون مدخلات نماذج اللغة الكبيرة مصفوفات ذات أبعاد متساوية، فإن النصوص الأقصر تُعبأ لتتطابق أطوالها مع أطول نص في المجموعة. يعتمد متوسط عدد الرموز الرقمية اللازمة لتمثيل كل كلمة على طبيعة اللغة المستخدمة في مجموعة البيانات.
معالجة البيانات المُسبقة > التجزئة > ترميز زوج البايتات

المقالة الرئيسة: ترميز زوج البايتات
لنفترض أن لدينا مجزئًا للكلمات مبنيًا على ترميز أزواج البايتات. في الخطوة الأولى، نعامل كل حرف مستقل (بما في ذلك الفراغات وعلامات الترقيم) كوحدة لغوية أساسية (أي أحاديات). ثم نقوم بدمج زوجي الحروف الأكثر تكرارًا المتجاورين لتكوين وحدات لغوية مكونة من حرفين (ثنائيات)، ونستبدل كل زوج بمثيله من الثنائيات. بعد ذلك، نكرر هذه العملية لدمج الثنائيات المتكررة المتجاورة لتكوين وحدات لغوية أطول، وهكذا حتى نحصل على مجموعة محددة من الوحدات اللغوية (في حالة نموذج جي بي تي-3، يبلغ عددها 50257). بعد تدريب هذا المجزئ، يمكننا تجزئة أي نص، بشرط ألا يحتوي على أحرف غير موجودة في المجموعة الأساسية للأحرف المفردة.
معالجة البيانات المُسبقة > التجزئة > المشاكل

تعتمد المفردات من الرموز المميزة القائمة على التكرارات المستخرجة بشكل أساسي من مجموعات اللغة الإنجليزية على أقل عدد ممكن من الرموز المميزة لكلمة إنجليزية متوسطة. ومع ذلك، عند تشفير كلمة متوسطة بلغة أخرى، فإن مجزئ اللغة الإنجليزية المحسن يقسمها إلى عدد غير مثالي من الرموز المميزة. وقد يصل عدد الرموز المميزة التي يستخدمها مجزئ جي بي تي-2 لكلمة واحدة في بعض اللغات، كالشأنية، إلى خمسة عشر ضعفًا. وحتى اللغات الأكثر انتشارًا كالبرتغالية والألمانية تتطلب زيادة بنسبة خمسين بالمئة في عدد الرموز المميزة مقارنة باللغة الإنجليزية.
وتتسبب هذه التجزئة المفرطة في مشكلات طفيفة عند إكمال النص.
معالجة البيانات المُسبقة > تنظيف مجموعة البيانات

المقالة الرئيسة: تنظيف البيانات
في سياق تدريب نماذج اللغات الكبيرة، يُعتاد تنقية مجموعات البيانات بإزالة المقاطع الضارة منها، والتخلص من البيانات ذات الجودة المتدنية، وإزالة التكرارات. إن مجموعات البيانات المنقاة هذه تزيد من كفاءة التدريب وتؤدي إلى تحسين الأداء في المراحل اللاحقة. ويمكن الاستعانة بنموذج لغة كبيرة مدرب لتنقية مجموعات البيانات المستخدمة في تدريب نموذج لغة كبير آخر.
مع تزايد المحتوى الذي تولده نماذج اللغات الكبيرة على الشبكة العنكبوتية، قد يشمل تنقية البيانات مستقبلًا تصفية هذا المحتوى. ويشكل المحتوى المولَّد آليًا تحديًا خاصًا، إذ يصعب تمييزه عن النصوص البشرية، ولكنه يقلل من جودة النماذج المدربة عليه.
معالجة البيانات المُسبقة > البيانات الاصطناعية

قد يتطلب تدريب نماذج اللغة الكبيرة كميات هائلة من البيانات اللغوية تتجاوز ما هو متوفر بشكل طبيعي. أو قد تكون البيانات الطبيعية غير كافية من حيث الجودة للمهمة المطلوبة. في مثل هذه الحالات، يمكن اللجوء إلى البيانات المولدة. فعلى سبيل المثال، دُرّبت سلسلة نماذج اللغة الكبيرة (Phi) من مايكروسوفت على بيانات شبيهة بكتب المدرسة ولّدها نموذج لغوي كبير آخر.
التدريب والبنية

طالع أيضًا: صقل (تعلم الآلة)
التدريب والبنية > التعلّم المعزّز من ردود الفعل البشرية (RLHF)

تعتمد تقنية التعلم المعزز من ردود الفعل البشرية (RLHF) على تعزيز تعلم النموذج من خلال ملاحظات بشرية مباشرة، حيث تُستخدم خوارزميات متقدمة كتقريب تحسين السياسة لتحسين أداء النموذج بشكل تدريجي. يجري ذلك من خلال تدريب النموذج على مجموعة بيانات واسعة من التفضيلات البشرية، مما يساهم في تطوير نموذج أكثر توائمًا مع احتياجات المستخدمين.
التدريب والبنية > ضبط التعليمات

بفضل أساليب "التعلّم الذاتي"، استطاعت النماذج اللغوية الضخمة أن تستنبط ردودًا صحيحة، مستبدلةً أي ردود سطحية، انطلاقًا من تصحيحات بشرية محدودة. فعلى سبيل المثال، إذا كانت التعليمات "اكتب مقالًا عن القضايا المحورية في مسرحية هاملت"، فإن الإكمال السطحي الأولي قد يكون "إذا قدمت المقال بعد السابع عشر من مارس، فستُخصم من درجاتك عشرة بالمائة عن كل يوم تأخير"، وذلك استنادًا إلى تكرار هذا النمط اللغوي في البيانات التدريبية.
التدريب والبنية > خليط الخبراء

المقالة الرئيسة: مزيج من الخبراء
إن تدريب واستخدام النماذج اللغوية الكبيرة التي تضم مليارات المعامل قد يكون مكلفًا للغاية. وللتغلب على هذه التحدي، استخدم الباحثون في غوغل تقنية مزيج الخبراء (MoE) التي تسمح بتدريب نماذج أكبر بكثير، تصل إلى تريليون معامل، وذلك من خلال توزيع الحسابات على عدة نماذج أصغر تعمل معًا.
التدريب والبنية > هندسة المطالبات وآلية الانتباه ونافذة السّياق

طالع أيضًا: انتباه (تعلم الآلة)
يمكن تحقيق غالبية النتائج التي كانت تُتحقَّق سابقًا، والتي كانت تتطلب ضبطًا دقيقًا ومكلفًا، عن طريق هندسة المطالبات أو التلقين، إلا أن هذه الطريقة تقتصر على نطاق محادثة محدد (أو بشكل أدق، على نطاق نافذة السياق).
لتحديد الرموز المترابطة ضمن نافذة السياق، تقوم آلية الانتباه بحساب أوزان "ناعمة" لكل رمز، وذلك لتحديد أهميته. تستخدم هذه الآلية رؤوس انتباه متعددة، ولكل منها "صلة" خاصة بها لحساب هذه الأوزان. على سبيل المثال، يحتوي النموذج الصغير من جي بي تي-2 (117 مليون معامل) على 12 رأس انتباه ونافذة سياق تتسع لـ 1000 رمز. أما النموذج المتوسط فيحتوي على 345 مليون معامل و24 طبقة، ولكل طبقة 12 رأس انتباه. وقد استُخدمت دفعات تدريبية حجمها 512 مع خوارزمية الانحدار التدريجي.
يمكن لأضخم النماذج اللغوية، ومنها نموذج جيميناي 1.5 الذي أطلقته شركة غوغل في فبراير عام 2024، أن تتسع لنافذة سياقية تصل إلى مليون رمز (وقد جُربت نافذة سياقية تتسع لعشرة ملايين رمز بنجاح). ومن الأمثلة الأخرى على النماذج ذات النوافذ السياقية الواسعة نموذج كلود 2.1 من شركة أنثروبيك، الذي يتسع لـ200 ألف رمز مميز. ومن الجدير بالذكر أن هذا الحد الأقصى يشير إلى عدد الرموز المدخلة، بينما يختلف الحد الأقصى لعدد الرموز المخرجة وغالبًا ما يكون أقل. فعلى سبيل المثال يقتصر الحد الأقصى لعدد الرموز المخرجة في نموذج جي بي تي-4 تربو على 4096 رمزًا مميزًا.
إن قدرة النموذج اللغوي على استيعاب سياق المحادثة وتذكره محدودة بطول نافذة السياق. فإذا تجاوز طول الحوار هذه النافذة، كما هو الحال في محادثات طويلة مع نماذج مثل شات جي بي تي، فإن النموذج إما سيقتصر على الجزء الأخير من الحوار الموجود داخل النافذة عند توليد الرد، أو سيضطر إلى اللجوء إلى خوارزميات تلخيص لتلخيص الأجزاء البعيدة من الحوار. ومن الجدير بالذكر أن توسيع نافذة السياق ينطوي على تكاليف حسابية أكبر، وقد يؤدي إلى تشتيت انتباه النموذج عن السياق المباشر. من ناحية أخرى، فإن تضييق هذه النافذة قد يجعل النموذج عاجزًا عن فهم العلاقات المعقدة التي تمتد على مسافات طويلة داخل الحوار. لذا، فإن تحديد الحجم الأمثل لنافذة السياق يتطلب توازنًا دقيقًا، ويعتمد على عوامل عدة تتعلق بالمجال التطبيقي والخصائص التقنية للنموذج.
يمكن تدريب نموذج لغوي مسبقًا على استشراف الكلمات اللاحقة لتسلسل كلمات معين، أو على استكمال الفراغات الناقصة في نص مُعطى، وذلك بالاعتماد على بيانات تدريبية واسعة. ويمكن تصنيف هذه النماذج إلى نوعين رئيسيين:
نماذج توليدية: حيث تولد هذه النماذج تسلسلات لغوية جديدة بناءً على المدخلات المقدمة إليها، شبيهة بعمل المحولات المولدة مسبقة التدريب. فعلى سبيل المثال، إذا قدمنا للنموذج الجملة "أحب أن آكل"، فإنه قد يكملها بقوله "تفاحة" أو "برتقالة".
نماذج ملء الفراغات: حيث تقوم هذه النماذج بتحديد الكلمات المفقودة في نص غير كامل، كما يعمل نموذج "بيرت". فعلى سبيل المثال، إذا قدمنا الجملة "أحب أن [][] كريم"، فإنه قد يستكملها بقوله "آكل" و"تفاحة".
يمكن تدريب النماذج اللغوية على مهام مساعدة تقيّم مدى فهمها لتوزيع البيانات، مثل مهمة التنبؤ بالجملة التالية (NSP). وفي هذه المهمة يُعرض على النموذج أزواج من الجمل، ويتعين عليه التنبؤ بمدى توالي هاتين الجملتين في مجموعة البيانات التدريبية. أثناء عملية التدريب، يُستخدم كذلك مفهوم "خسارة التنظيم" لتعزيز استقرار عملية التعلم. بيد أن هذا المفهوم لا يُستخدم عادةً خلال مراحل الاختبار والتقييم.
التدريب والبنية > البنية التحتية

يتطلب تدريب النماذج الأكبر حجماً بنية تحتية ضخمة.
تكلفة التدريب

أسهمت التطورات المتسارعة في البرامج والأجهزة الرقمية في خفض تكاليف تدريب نماذج اللغات الكبيرة بشكل ملحوظ منذ عام 2020. ففي حين أن تدريب نموذج لغوي ضخم يحتوي على 12 مليار معامل يتطلب حاليًا نحو 72 ألف ساعة عمل لوحدة معالجة الرسومات من طراز A100، إلا أن تكلفة تدريب نموذج مماثل بحجم 1.5 مليار معامل في عام 2020 كانت تتراوح بين 80 ألف دولار و1.6 مليون دولار، وهو ما يعكس تطورًا هائلًا في كفاءة العمليات الحسابية. ومنذ ذلك الحين، شهدنا استثمارات ضخمة في تطوير نماذج لغوية أكبر وأكثر تعقيدًا. فعلى سبيل المثال، بلغت تكلفة تدريب نموذج جي بي تي-2 الذي يحتوي على 1.5 مليار معامل نحو 50 ألف دولار في عام 2019، بينما بلغت تكلفة تدريب نموذج بالم الأكبر بكثير والذي يحتوي على 540 مليار معامل نحو 8 مليون دولار في عام 2022. كما بلغت تكلفة تدريب نموذج Megatron-Turing NLG الذي يحتوي على 530 مليار معامل نحو 11 مليون دولار في عام 2021.
ومن الجدير بالذكر أن تكلفة تدريب نماذج اللغات الكبيرة القائمة على آلية الانتباه الذاتي تكون أعلى بكثير من تكلفة استخدامها للاستدلال على نتائج جديدة. ففي المتوسط، يتطلب تدريب رمز مميز واحد نحو 6 عمليات حسابية عائمة لكل معامل، بينما يتطلب استنتاج رمز مميز واحد من 1 إلى 2 عملية حسابية عائمة لكل معامل فقط.
استخدام الأدوات

ثمة مهامّ محددة لا يُمكن لأي نموذج لغة كبير حلها مبدئيًا، على الأقل ليس دون الاستعانة بأدوات خارجية أو برامج إضافية. ومن الأمثلة على ذلك الاستجابة إلى مدخل المستخدم "354 * 139 ="، شريطة ألا يكون النموذج قد واجه هذا الحساب سابقًا في مجموعة تدريبه. في مثل هذه الحالات، يتعين على النموذج اللجوء إلى تشغيل رمز برمجي يحسب النتيجة، ثم إدماجها في استجابته. مثال آخر هو "ما الوقت الآن؟"، حيث يحتاج مفسر برمجي منفصل إلى تنفيذ رمز للحصول على وقت النظام على الحاسوب، كي يتمكن النموذج من تضمينه في رده. يمكن تطوير هذه الإستراتيجية الأساسية بتجريب برامج مولدة متعددة واستراتيجيات تعيين أخرى.
بشكل عام، لتمكين النموذج من استخدام الأدوات، يجب ضبطه على ذلك. فإذا كان عدد الأدوات محدودًا، يكفي ضبطه مرة واحدة. أما إذا كان عددها متزايدًا بشكل تعسفي، كما هو الحال مع خدمات واجهات برمجة التطبيقات عبر الإنترنت، فيجب تجهيز النموذج بقراءة وثائق هذه الواجهات واستدعائها بصورة صحيحة.
أبسط شكل لاستخدام الأدوات هو التوليد المعزز بالاسترجاع: أي تعزيز النموذج باسترجاع المستندات. فبناءً على استعلام معين، يُستدعى مسترجع مستندات للحصول على المستندات الأكثر صلة. يجري ذلك عادة بتشفير الاستعلام والمستندات إلى متجهات، ثم البحث عن المستندات التي تتشابه متجهاتها (المخزنة عادةً في قاعدة بيانات متجهات) مع متجه الاستعلام. ثم يولد النموذج الناتج استنادًا إلى الاستعلام والسياق المستمد من المستندات المسترجعة.
الوكلاء

النموذج اللغوي الكبير هو نموذج لغوي محض، لا يعد وكيلًا ذكيًا بذاته لافتقاره إلى هدف محدد، إلا أنه يمكن توظيفه كعنصر أساسي في بناء وكيل ذكي.
ينشئ نمط "ريآكت" (المركب من "التفكير" و"الفعَل") وكيلًا ذكيًا من خلال الاعتماد على نموذج لغوي كبير كمحرك رئيسي للتفكير والتخطيط. إذ يُطلب من النموذج اللغوي أن "يفكر بصوت عالٍ"، أي أن يقدم وصفًا نصيًا مفصلًا للبيئة التي يعمل فيها، والهدف المطلوب تحقيقه، وقائمة بالإجراءات المتاحة، وسجلًا بالإجراءات التي نُفِّذت والنتائج التي أسفرت عنها. وعليه، يقوم النموذج بتوليد فكرة أو أكثر قبل اختيار الإجراء الأنسب وتنفيذه في البيئة المحددة. ويمكن أن يكون الوصف اللغوي للبيئة المقدم للنموذج على شكل رمز لاتكس لورقة تصف البيئة بدقة.
في أسلوب "وصف، شرح، تخطيط واختيار" (DEPS)، يُربط أولًا نموذج لغوي واسع بالواقع المرئي عبر أوصاف الصور، ثم يُطلب منه وضع خطط لأعمال وأفعال معقدة استنادًا إلى معلوماته المتراكمة مسبقًا والآراء البيئية التي يتلقاها.
يُنشئ أسلوب الانعكاس وكيلًا يتعلم عبر دورات متتالية. في نهاية كل دورة،  يُعطى النموذج اللغوي الكبير سجلًا بالدورة، ويُطلب منه التفكير في "الدروس المُستفادة"، مما يساعده على الأداء بشكل أفضل في الدورة التالية.
يمكن لـ بحث شجرة مونت كارلو  أن يستخدم نموذجًا لغويًا واسعًا كتجربة للاستدلال. وعندما لا يتوفّر نموذج عالمي برمجي، يمكن كذلك طلب نموذج لغوي واسع بوصف للبيئة ليعمل كنموذج عالمي.
في سياق الاستكشاف المفتوح، يمكن توظيف نموذج لغوي واسع لتدوين ملاحظات "مثيرة للاهتمام"، تُستخدم بدورها كإشارات مكافأة لتوجيه وكيل التعلم التعزيزي البسيط (غير اللغوي). وعوضًا عن ذلك يمكن للنموذج اقتراح مهامّ متزايدة الصّعوبة لتمكين التعلم التدريجي. وبدلًا من إخراج أفعال فردية، يمكن لنموذج التخطيط اللغوي الكبير بناء "مهارات"، أي دوال تمثل تسلسلات من الأفعال المعقدة. ويمكن تخزين هذه المهارات واسترجاعها لاحقًا، مما يتيح مستويات أعلى من التجريد في التخطيط.
يمكن للوكلاء المدعومين بنماذج لغوية واسعة الاحتفاظ بذاكرة طويلة الأمد للسياقات السابقة، ويمكن استرجاع هذه الذاكرة بنفس طريقة التوليد المعزز بالاسترجاع. ويمكن لمجموعة من هذه الوكلاء التفاعل اجتماعيًا.
الضغط

تُدرب عادةً نماذج اللّغة الكبيرة (LLMs) باستخدام أعداد عشرية ذات دقة مفردة أو نصف دقة (float32 وfloat16). يحتوي رقم float16 على 16 بت، أو 2 بايت، وبالتالي فإن مليار معامل يتطلبان 2 جيجا بايت. وتحتاج النماذج الأكبر حجمًا، والتي تحتوي عادةً على 100 مليار معامل، إلى 200 جيجا بايت لتحميلها، مما يجعلها خارج نطاق معظم الأجهزة الإلكترونية الاستهلاكية.
يهدف "التكميم بعد التدريب"  إلى تقليل مساحة التخزين عن طريق خفض دقة معاملات النموذج المدرب، مع الحفاظ على معظم أدائه. أبسط أشكال التكميم هو ببساطة تقريب جميع الأعداد إلى عدد معين من البتات. ويمكن تحسينه باستخدام مجموعة ترميز تكميم مختلفة لكل طبقة. ويمكن إجراء تحسين إضافي من خلال تطبيق دقّات مختلفة لمعاملات مختلفة، مع دقة أعلى للمعاملات المهمة بشكل خاص ("أوزان شاذة").
في حين أنّ النماذج المكمّمة عادةً ما تكون مجمّدة، ويتمّ ضبط النماذج المكمّمة مسبقًا فقط، لا يزال من الممكن ضبط النماذج المكمّمة.