hotchpotch/wikipedia-multilingual-ir-pairs huggingface dataset:
أسامة فلوح مسيرته
ولد أسامة فلوح في 12 يوليو 1999، وهو أحد خريجي أكاديمية محمد السادس لكرة القدم. انضم إلى الفريق الثاني لنادي ستراسبورغ الفرنسي في عام 2018. وفي عام 2019، انتقل إلى نادي الفتح الرباطي في الدوري المغربي. عاد إلى فرنسا وانضم إلى نادي أنجيه في الدوري الفرنسي في 1 في يوليو 2020، بعقد مدته ثلاث سنوات. تمت إعارته إلى نادي يو أس أفرانش من الدرجة الثالثة الفرنسية في يوليو 2021، ومرة أخرى بعد عام. وفي صيف 2023، تعاقد مع الوداد الرياضي.
أسامة فلوح وفاته
في 11 أكتوبر 2023، أصيب فلوح بجروح خطيرة في حادث سيارة بشاحنة في الدار البيضاء. وأصيب فلوح، أحد ركاب السيارة، بنزيف دماغي وكسر في الرقبة والصدر، ودخل في غيبوبة، وأدخل على الفور إلى العناية المركزة. سيتم نقله لاحقًا إلى منشأة رعاية صحية أخرى من قبل مسؤولي النادي. وفي الساعات الأخيرة من يوم 2 نوفمبر 2023، أعلن النادي وفاة أسامة متأثرا بجراحه، عن عمر 24 عامًا.
زلزال أميك 1872
وقع زلزال أميك (أنطاكيا) عام 1872 في 3 أبريل وكان مركزه داخل وادي أميك في الإمبراطورية العثمانية. كانت قوة الزلزال تقدر Mw 7.0-7.2 أو Ms  7.2 والحد الأقصى لتصنيف MSK 64 هو (كارثي). ودمر هذا الزلزال تركيا وسوريا، وفقدت المنطقة ما لا يقل عن 1800 من السكان.
زلزال أميك 1872 الإعداد التكتوني
يقع وادي أميك على طول نظام صدع البحر الميت التحويلي. حدود الصفائح التكتونية في الغالب بين الصفائح التكتونية الأفريقية والعربية. هذا ~ 1000 ويربط الصدع التحويلي الأيسر الذي يبلغ طوله كيلومترًا مركز انتشار البحر الأحمر في الجنوب بتقاطع ماراس الثلاثي في الشمال. عند تقاطع ماراس الثلاثي، يعد صدع البحر الميت التحويلي أحد ذراعي التقاطع الثلاثي. حدود الصفائح الأخرى؛ يلتقي القوس القبرصي وصدع شرق الأناضول عند هذا التقاطع الثلاثي. نظرًا لموقعها على حدود الصفائح النشطة والمعقدة، تعاني أنطاكية من زلازل مدمرة، بما في ذلك زلزال في عام 115 بعد الميلاد أدى إلى مقتل أكثر من 200000 شخص.
زلزال أميك 1872 هزة أرضية
وقع زلزال عام 1872 على طول صدع أمانوس. جزء من تحويل البحر الميت. يقع مركز الزلزال المقترح إلى الجنوب مباشرة من مركز زلزال حلب عام 1822. قدر نيكولاس أمبراسيس، عالم الزلازل اليوناني، حجم الموجة السطحية بـ 7.2 Ms . تقديرات حجم اللحظة ( Mw ) تتراوح من 7.0 إلى 7.2.
لم تجد دراسة سيزمية قديمة لصدع حاج باشا، وهو جزء آخر من تحويل البحر الميت، أي دليل يتعلق بزلزال 1872 مما يشير إلى أن التمزق لم يمتد جنوبًا نحو سهل الغاب. ومع ذلك، وجدت الدراسات التي أجريت على صدع أمانوس دليلاً على وجود تمزق سطحي مدفون يتوافق مع حدث 1872. يعتقد علماء الزلازل أن التمزق السطحي قد يمتد لمدة 50 دقيقة كم على طول الخطأ. واكتشف الباحثون أيضًا تمزقًا سطحيًا آخر مرتبطًا بزلزال بقوة 7.5 درجة في عام 1408. تشير الخرائط المتوازية للزلزال إلى حدوث تمزق في الطرف الجنوبي لصدع أمانوس وامتد إلى ساحل سامنداغ عبر منطقة صدع أنطاكيا.
زلزال أميك 1872 تأثير
أبلغ عن أضرار جسيمة حول بحيرة أميك المستنزفة الآن. ووقعت أسوأ الأضرار في منطقة كوملو في مقاطعة هاتاي. وتعرضت مدن سامنداغ وفاتيكلي وألتينوزو لدمار كبير. قُتل ما يقدر بنحو 1800 شخص. والحد الأقصى لشدة الزلزال (كارثي) في سمنداج.
كان ما يقرب من 40 ثانية من الاهتزاز الشديد كافياً لتدمير 1960 منزلاً من أصل 3003 وقتل 500 ساكن. وتعرض 894 منزلاً آخر لأضرار جسيمة. دمر أكثر من 5000 مبنى تجاري ولم يتبق سوى بضع مئات سليمة. انهارت كاتدرائية يونانية وكنيسة بروتستانتية أمريكية، مما أسفر عن مقتل أربعة. سقطت أبواب المدينة على الأرض.
دُمر ما لا يقل عن 38 قرية خارج المدينة. وفي السويدية، انهار 2150 منزلاً ومات 300 شخص. قُتل ما لا يقل عن 170 شخصًا، وأصيب 187 آخرون، ودُمرت 3552 منزلاً في القرموت. وتوفي 300 شخص آخر في القليق ودُمرت المدينة بالكامل. تشققت الأرض في القليق وانفجرت الرمال الصفراء أثناء التسييل. وعلى طول المنحدرات الشرقية لوادي أميك، زحفت الأرض وحدثت تصدعات سطحية في الوادي.
زلزال أميك 1872 تأثير
وفي حلب، انهار أو تضرر ما يقدر بنحو 100 منزل. ولقي سبعة من السكان حتفهم وأصيب ثلاثة. كما تعرضت العديد من الجسور لأضرار. وشعر بالزلزال سكان بيروت ورودس ودمشق. ولم يشعر بالاهتزاز في مصر، ولكن في منطقة واسعة من رودس إلى ديار بكر ومن قونية إلى غزة.
وعلى طول سواحل جنوب تركيا، وردت أنباء عن حدوث تسونامي، مما أدى إلى غرق ساحل السويدية. أبلغ عن تسونامي غمرت 2 كم الداخلية. وفي دراسة أجريت عام 2003، عثر خبراء تسونامي من جامعة توهوكو وجامعة الشرق الأوسط التقنية والمرصد الوطني في أثينا على رواسب تسونامي تعود إلى عام 1872.
أحمد إكراوا
أحمد محمد رجب كراوع (مواليد 21 إبريل 1989 في طرابلس) لاعب كرة قدم ليبي دولي يجيد اللعب كمهاجم.
أحمد إكراوا المسيرة الدولية
لعب أحمد محمد كراوع في كأس أمم إفريقيا للمحليين 2022 مباراة واحدة.و كان أول هدف له مع المنتخب الليبي ضد إسواتيني
أحمد إكراوا أندية لعب لها
2- الأهلي طرابلس ( سبتمبر 2018 - أغسطس 2019 )
3- هلال الشابي ( 4 أغسطس 2019 - ديسمبر 2021 )
4- الأهلي طرابلس ( 1 يياير 2020- سبتمبر 2022 )
5- الأهلي بنغازي ( 1 سبتمبر 2022 - يوليو 2023 )
6- الأهلي طرابلس ( 19 يوليو 2023 - الآن )
بودربالة جماعة أيت بوبيدمان
بودربالة هو مركز قروي، ينتمي إلى الجماعة الترابية القروية أيت بوبيدمان .
بودربالة جماعة أيت بوبيدمان الموقع
يوجد المركز القروي بودربالة في تقاطع الطريق الجهوية رقم 716 والإقليمية رقم 7040، يحدها غربا مدينة الحاجب على بعد   16 كيلومترا و شرقا مدينة عين تاوجطات على بعد  حوالي 16 كلم أيضا
بودربالة جماعة أيت بوبيدمان السكان
عدد سكان   مركز بودربالة  هو : 9077   نسمة و هي جزء من جماعة أيت بوبيدمان  التي تضم 501 19 نسمة ، حسب إحصاء  سنة 2014
بودربالة جماعة أيت بوبيدمان الاقتصاد
أغلب الفئة النشيطة يشتغلون في الفلاحة،  خاصة زراعة البطاطيس و البصل ، كما يوجد بها يد عاملة فلاحية تَقدم من جل أقاليم المملكة طيلة السنة للاشتغال في الضيعات والمزارع الفلاحية المتواجدة في المنطقة
يقام في مركز بودربلة "مهرجان آيت بوبيدمان للتبوريدة"و قد وصل إلى النسخة الثانية ، و قد نظمت ما بين 18 و20 نونبر 2022 بمشاركة 41 “سربة”و تجاوز عدد الفرسان المشاركين 500 فارس ينحدرون من مختلف مناطق وأقاليم جهة فاس مكناس.
نموذج لغوي كبير
نموذجُ اللّغةِ الكبيرُ (اختصارًا LLM) هو نموذجٌ حسابيٌّ قادرٌ على توليدِ اللّغةِ أو مهامّ مُعالجةِ اللّغةِ الطّبيعيةِ الأخرى. بصفتها نماذجَ لُغوية، تكتسبُ نماذجُ اللّغةِ الكبيرةُ هذهِ القدراتِ من خلالِ تعلّمِ العلاقاتِ الإحصائيةِ من كمياتٍ هائلةٍ منَ النّصوصِ أثناءَ عمليةِ تدريبٍ ذاتيّةِ الإشرافِ وشبهِ مُراقبة ‏. وتستهلك هذه النماذج موارد حسابية كبيرة أثناء التدريب والتشغيل.
حتى عام 2020 كان الضبط الدقيق أو الصقل هو الطريقة الوحيدة التي يمكن من خلالها تكييف النموذج ليكون قادرًا على إنجاز مهام محددة. ومع ذلك يمكن تصميم النماذج الأكبر حجمًا، مثل جي بي تي-3، لتحقيق نتائج مماثلة. يُعتقد أنهم يكتسبون معرفة مضمنة حول بناء الجملة وعلم الدلالات و«علم الوجود» المتأصل في مجاميع اللغة البشرية، ولكن عدم الدقة والتحيزات الموجودة في مجاميع اللغة البشرية أيضًا.
نموذج لغوي كبير
أكبرُ نماذجِ اللّغةِ الكبيرةِ وأكثرُها قدرةً، اعتبارًا من أغسطس 2024، هي شبكاتٌ عصبيةٌ اصطناعيةٌ مبنيةٌ بِبنيةٍ قائمةٍ على المُحوّلِ الخاصّ بِفكّ التشفيرِ فقط، ممّا يُتيحُ مُعالجةً فعّالةً وتوليدَ بياناتِ نصيةٍ واسعةَ النّطاق. يُمكنُ ضبط أو صقل النماذجِ الحديثةِ لِمهامّ مُحدّدةٍ أو يُمكنُ توجيهُها بواسطةِ هندسةِ المُطالبات. تكتسبُ هذهِ النماذجُ قوّةً تنبّؤيةً فيما يتعلّقُ بِالنّحوِ والدّلالاتِ وعلمِ الوجود المُتأصّلِ في مجموعاتِ اللّغةِ البشرية، لكنّها ترثُ أيضًا عدمَ الدّقةِ والانحيازاتِ الموجودةِ في البياناتِ التي جرى تدريبُها عليها.
نموذج لغوي كبير تاريخ
قبل عام 2017، كان عدد نماذج اللغة التي كانت كبيرةً قليلًا مقارنةً بالقدرات المتاحة حينها. في التسعينيات، كانت نماذج محاذاة IBM رائدةً في النمذجة الإحصائية للغة. حقق نموذج n-gram المحسن في عام 2001، والذي دُرِّب على 0.3 مليار كلمة، حيرةً متطورةً حينها. في العقد الأول من القرن الحادي والعشرين، مع انتشار استخدام الإنترنت، أنشأ بعض الباحثين مجموعات بيانات لغة على نطاق الإنترنت ("الويب كجسم نصي" )، قاموا بتدريب نماذج اللغة الإحصائية عليها. في عام 2009، في معظم مهام معالجة اللغة، سيطرت نماذج اللغة الإحصائية على نماذج اللغة الرمزية، حيث يمكنها استيعاب مجموعات بيانات كبيرة بشكل مفيد.
بعد أن أصبحت الشبكات العصبية مهيمنةً في معالجة الصور نحو عام 2012 [بحاجة لمصدر]، طُبقت على نمذجة اللغة أيضًا. حولت جوجل خدمة الترجمة الخاصة بها إلى الترجمة الآلية العصبية في عام 2016. كما كان الحال قبل المحولات، جرى ذلك بشبكات LSTM العميقة سيك تو سيك.
نموذج لغوي كبير تاريخ
في مؤتمر مؤتمر نظم معالجة المعلومات العصبية عام 2017، قدم باحثو جوجل بنية المحولات في ورقتهم البحثية البارزة "الاهتمام هو كل ما تحتاجه". كان هدف هذه الورقة هو تحسين تقنية سيك تو سيك لعام 2014،  واستندت بشكل أساسي إلى آلية الاهتمام التي طورها باهدانو وآخرون في عام 2014. في العام التالي في عام 2018 قُدّم BERT. على الرغم من أن المحول الأصلي يحتوي على كتل التشفير وفك التشفير، إلا أن BERT هو نموذج تشفير فقط.
نموذج لغوي كبير تاريخ
على الرغم من أن جي بي تي-1 لفك التشفير فقط قُدم في عام 2018، إلا أن جي بي تي-2 في عام 2019 هو الذي لفت الانتباه على نطاق واسع لأن أوبن أيه آي اعتبرته في البداية قويًا جدًا بحيث لا يمكن إصداره للجمهور، خوفًا من الاستخدام الضار. ذهب جي بي تي-3 في عام 2020 إلى أبعد من ذلك، واعتبارًا من عام 2024، أصبح متاحًا فقط عبر واجهة برمجة التطبيقات دون عرض تنزيل النموذج لتنفيذه محليًا. لكن شات جي بي تي القائم على المتصفح والموجه للمستهلك في عام 2022 أثار خيال عامة الناس وتسبب في بعض الضجيج الإعلامي والضجيج عبر الإنترنت. أُثني على جي بي تي-4 لعام 2023 لدقته المتزايدة وقدراته متعددة الوسائط. لم تكشف أوبن أيه آي عن البنية عالية المستوى وعدد معلمات جي بي تي-4.
كانت نماذج اللغة المتنافسة تحاول في معظمها مساواة سلسلة GPT، على الأقل من حيث عدد المعلمات.
منذ عام 2022، اكتسبت النماذج المتاحة المصدر شعبيةً، وخاصةً في البداية نموذجي BLOOM ولاما، على الرغم من أن كلاهما لديه قيود على مجال الاستخدام. تتمتع نماذج Mistral 7B وميسترال وMixtral 8x7b، برخصة أباتشي أكثر تساهلًا. اعتبارًا من يونيو 2024، يعد النوع المحسن للتعليمات من نموذج "لاما 3" ذي 70 مليار معلمة هو أقوى نموذج لغو كبير مفتوح وفقًا لقائمة المتصدرين في LMSYS Chatbot Arena، حيث أنهأقوى من جي بي تي-3.5 ولكنه ليس بنفس قوة جي بي تي-4.
تعتمد النماذج الأكبر حجمًا والأكثر كفاءة على بنية Transformer في 2024، بينما تعتمد بعض التطبيقات الحديثة على هياكل معمارية أخرى، مثل متغيرات الشبكة العصبية المتكررة ومامبا (نموذج مساحة الحالة).
نموذج لغوي كبير معالجة البيانات المُسبقة
بما أن خوارزميات التعلم الآلي تعتمد على المعالجة الرقمية للمعلومات، فإنه من الضروري تحويل النصوص إلى تمثيل رقمي. تجري هذه العملية من خلال عدة خطوات: أولًا، تُحدد مجموعة من المفردات اللغوية، ثم يُعيّن لكل مفردة رمز رقمي فريد، وفي النهاية يرتبط هذا الرمز بتضمين رقمي يحمل معنى دلالي للمفردة. من أشهر الخوارزميات المستخدمة في هذه العملية ترميز زوج البايتات (BPE) وخوارزمية WordPiece. بالإضافة إلى ذلك، تُستخدم نماذج اللغة رموزًا خاصة لأغراض التحكم، مثل رمز [MASK] الذي يستخدم في نماذج مثل تمثيلات التشفير الثنائي الاتجاه من المحولات (BERT) لتمثيل الكلمات المحذوفة، ورمز [UNK] لتمثيل الكلمات غير المعروفة. كما تستخدم بعض النماذج رموزًا خاصة لتمثيل جوانب شكلية للنص، مثل الرمز "Ġ" الذي يشير إلى مسافة بيضاء سابقة في نموذج جي بي تي، والرمز "##" الذي يشير إلى استمرار جزء من كلمة في نموذج "بيرت".
نموذج لغوي كبير معالجة البيانات المُسبقة
تساهم عملية التجزئة أيضًا في ضغط البيانات. نظرًا لضرورة أن تكون مدخلات نماذج اللغة الكبيرة مصفوفات ذات أبعاد متساوية، فإن النصوص الأقصر تُعبأ لتتطابق أطوالها مع أطول نص في المجموعة. يعتمد متوسط عدد الرموز الرقمية اللازمة لتمثيل كل كلمة على طبيعة اللغة المستخدمة في مجموعة البيانات.
لنفترض أن لدينا مجزئًا للكلمات مبنيًا على ترميز أزواج البايتات. في الخطوة الأولى، نعامل كل حرف مستقل (بما في ذلك الفراغات وعلامات الترقيم) كوحدة لغوية أساسية (أي أحاديات). ثم نقوم بدمج زوجي الحروف الأكثر تكرارًا المتجاورين لتكوين وحدات لغوية مكونة من حرفين (ثنائيات)، ونستبدل كل زوج بمثيله من الثنائيات. بعد ذلك، نكرر هذه العملية لدمج الثنائيات المتكررة المتجاورة لتكوين وحدات لغوية أطول، وهكذا حتى نحصل على مجموعة محددة من الوحدات اللغوية (في حالة نموذج جي بي تي-3، يبلغ عددها 50257). بعد تدريب هذا المجزئ، يمكننا تجزئة أي نص، بشرط ألا يحتوي على أحرف غير موجودة في المجموعة الأساسية للأحرف المفردة.
نموذج لغوي كبير معالجة البيانات المُسبقة
تعتمد المفردات من الرموز المميزة القائمة على التكرارات المستخرجة بشكل أساسي من مجموعات اللغة الإنجليزية على أقل عدد ممكن من الرموز المميزة لكلمة إنجليزية متوسطة. ومع ذلك، عند تشفير كلمة متوسطة بلغة أخرى، فإن مجزئ اللغة الإنجليزية المحسن يقسمها إلى عدد غير مثالي من الرموز المميزة. وقد يصل عدد الرموز المميزة التي يستخدمها مجزئ جي بي تي-2 لكلمة واحدة في بعض اللغات، كالشأنية، إلى خمسة عشر ضعفًا. وحتى اللغات الأكثر انتشارًا كالبرتغالية والألمانية تتطلب زيادة بنسبة خمسين بالمئة في عدد الرموز المميزة مقارنة باللغة الإنجليزية.
وتتسبب هذه التجزئة المفرطة في مشكلات طفيفة عند إكمال النص.
في سياق تدريب نماذج اللغات الكبيرة، يُعتاد تنقية مجموعات البيانات بإزالة المقاطع الضارة منها، والتخلص من البيانات ذات الجودة المتدنية، وإزالة التكرارات. إن مجموعات البيانات المنقاة هذه تزيد من كفاءة التدريب وتؤدي إلى تحسين الأداء في المراحل اللاحقة. ويمكن الاستعانة بنموذج لغة كبيرة مدرب لتنقية مجموعات البيانات المستخدمة في تدريب نموذج لغة كبير آخر.
نموذج لغوي كبير معالجة البيانات المُسبقة
مع تزايد المحتوى الذي تولده نماذج اللغات الكبيرة على الشبكة العنكبوتية، قد يشمل تنقية البيانات مستقبلًا تصفية هذا المحتوى. ويشكل المحتوى المولَّد آليًا تحديًا خاصًا، إذ يصعب تمييزه عن النصوص البشرية، ولكنه يقلل من جودة النماذج المدربة عليه.
قد يتطلب تدريب نماذج اللغة الكبيرة كميات هائلة من البيانات اللغوية تتجاوز ما هو متوفر بشكل طبيعي. أو قد تكون البيانات الطبيعية غير كافية من حيث الجودة للمهمة المطلوبة. في مثل هذه الحالات، يمكن اللجوء إلى البيانات المولدة. فعلى سبيل المثال، دُرّبت سلسلة نماذج اللغة الكبيرة (Phi) من مايكروسوفت على بيانات شبيهة بكتب المدرسة ولّدها نموذج لغوي كبير آخر.
نموذج لغوي كبير التدريب والبنية
تعتمد تقنية التعلم المعزز من ردود الفعل البشرية (RLHF) على تعزيز تعلم النموذج من خلال ملاحظات بشرية مباشرة، حيث تُستخدم خوارزميات متقدمة كتقريب تحسين السياسة لتحسين أداء النموذج بشكل تدريجي. يجري ذلك من خلال تدريب النموذج على مجموعة بيانات واسعة من التفضيلات البشرية، مما يساهم في تطوير نموذج أكثر توائمًا مع احتياجات المستخدمين.
بفضل أساليب "التعلّم الذاتي"، استطاعت النماذج اللغوية الضخمة أن تستنبط ردودًا صحيحة، مستبدلةً أي ردود سطحية، انطلاقًا من تصحيحات بشرية محدودة. فعلى سبيل المثال، إذا كانت التعليمات "اكتب مقالًا عن القضايا المحورية في مسرحية هاملت"، فإن الإكمال السطحي الأولي قد يكون "إذا قدمت المقال بعد السابع عشر من مارس، فستُخصم من درجاتك عشرة بالمائة عن كل يوم تأخير"، وذلك استنادًا إلى تكرار هذا النمط اللغوي في البيانات التدريبية.
نموذج لغوي كبير التدريب والبنية
إن تدريب واستخدام النماذج اللغوية الكبيرة التي تضم مليارات المعامل قد يكون مكلفًا للغاية. وللتغلب على هذه التحدي، استخدم الباحثون في غوغل تقنية مزيج الخبراء (MoE) التي تسمح بتدريب نماذج أكبر بكثير، تصل إلى تريليون معامل، وذلك من خلال توزيع الحسابات على عدة نماذج أصغر تعمل معًا.
يمكن تحقيق غالبية النتائج التي كانت تُتحقَّق سابقًا، والتي كانت تتطلب ضبطًا دقيقًا ومكلفًا، عن طريق هندسة المطالبات أو التلقين، إلا أن هذه الطريقة تقتصر على نطاق محادثة محدد (أو بشكل أدق، على نطاق نافذة السياق).
لتحديد الرموز المترابطة ضمن نافذة السياق، تقوم آلية الانتباه بحساب أوزان "ناعمة" لكل رمز، وذلك لتحديد أهميته. تستخدم هذه الآلية رؤوس انتباه متعددة، ولكل منها "صلة" خاصة بها لحساب هذه الأوزان. على سبيل المثال، يحتوي النموذج الصغير من جي بي تي-2 (117 مليون معامل) على 12 رأس انتباه ونافذة سياق تتسع لـ 1000 رمز. أما النموذج المتوسط فيحتوي على 345 مليون معامل و24 طبقة، ولكل طبقة 12 رأس انتباه. وقد استُخدمت دفعات تدريبية حجمها 512 مع خوارزمية الانحدار التدريجي.
نموذج لغوي كبير التدريب والبنية
يمكن لأضخم النماذج اللغوية، ومنها نموذج جيميناي 1.5 الذي أطلقته شركة غوغل في فبراير عام 2024، أن تتسع لنافذة سياقية تصل إلى مليون رمز (وقد جُربت نافذة سياقية تتسع لعشرة ملايين رمز بنجاح). ومن الأمثلة الأخرى على النماذج ذات النوافذ السياقية الواسعة نموذج كلود 2.1 من شركة أنثروبيك، الذي يتسع لـ200 ألف رمز مميز. ومن الجدير بالذكر أن هذا الحد الأقصى يشير إلى عدد الرموز المدخلة، بينما يختلف الحد الأقصى لعدد الرموز المخرجة وغالبًا ما يكون أقل. فعلى سبيل المثال يقتصر الحد الأقصى لعدد الرموز المخرجة في نموذج جي بي تي-4 تربو على 4096 رمزًا مميزًا.
نموذج لغوي كبير التدريب والبنية
إن قدرة النموذج اللغوي على استيعاب سياق المحادثة وتذكره محدودة بطول نافذة السياق. فإذا تجاوز طول الحوار هذه النافذة، كما هو الحال في محادثات طويلة مع نماذج مثل شات جي بي تي، فإن النموذج إما سيقتصر على الجزء الأخير من الحوار الموجود داخل النافذة عند توليد الرد، أو سيضطر إلى اللجوء إلى خوارزميات تلخيص لتلخيص الأجزاء البعيدة من الحوار. ومن الجدير بالذكر أن توسيع نافذة السياق ينطوي على تكاليف حسابية أكبر، وقد يؤدي إلى تشتيت انتباه النموذج عن السياق المباشر. من ناحية أخرى، فإن تضييق هذه النافذة قد يجعل النموذج عاجزًا عن فهم العلاقات المعقدة التي تمتد على مسافات طويلة داخل الحوار. لذا، فإن تحديد الحجم الأمثل لنافذة السياق يتطلب توازنًا دقيقًا، ويعتمد على عوامل عدة تتعلق بالمجال التطبيقي والخصائص التقنية للنموذج.
يمكن تدريب نموذج لغوي مسبقًا على استشراف الكلمات اللاحقة لتسلسل كلمات معين، أو على استكمال الفراغات الناقصة في نص مُعطى، وذلك بالاعتماد على بيانات تدريبية واسعة. ويمكن تصنيف هذه النماذج إلى نوعين رئيسيين:
نموذج لغوي كبير التدريب والبنية
نماذج توليدية: حيث تولد هذه النماذج تسلسلات لغوية جديدة بناءً على المدخلات المقدمة إليها، شبيهة بعمل المحولات المولدة مسبقة التدريب. فعلى سبيل المثال، إذا قدمنا للنموذج الجملة "أحب أن آكل"، فإنه قد يكملها بقوله "تفاحة" أو "برتقالة".
نماذج ملء الفراغات: حيث تقوم هذه النماذج بتحديد الكلمات المفقودة في نص غير كامل، كما يعمل نموذج "بيرت". فعلى سبيل المثال، إذا قدمنا الجملة "أحب أن [][] كريم"، فإنه قد يستكملها بقوله "آكل" و"تفاحة".
يمكن تدريب النماذج اللغوية على مهام مساعدة تقيّم مدى فهمها لتوزيع البيانات، مثل مهمة التنبؤ بالجملة التالية (NSP). وفي هذه المهمة يُعرض على النموذج أزواج من الجمل، ويتعين عليه التنبؤ بمدى توالي هاتين الجملتين في مجموعة البيانات التدريبية. أثناء عملية التدريب، يُستخدم كذلك مفهوم "خسارة التنظيم" لتعزيز استقرار عملية التعلم. بيد أن هذا المفهوم لا يُستخدم عادةً خلال مراحل الاختبار والتقييم.
يتطلب تدريب النماذج الأكبر حجماً بنية تحتية ضخمة.
نموذج لغوي كبير تكلفة التدريب
أسهمت التطورات المتسارعة في البرامج والأجهزة الرقمية في خفض تكاليف تدريب نماذج اللغات الكبيرة بشكل ملحوظ منذ عام 2020. ففي حين أن تدريب نموذج لغوي ضخم يحتوي على 12 مليار معامل يتطلب حاليًا نحو 72 ألف ساعة عمل لوحدة معالجة الرسومات من طراز A100، إلا أن تكلفة تدريب نموذج مماثل بحجم 1.5 مليار معامل في عام 2020 كانت تتراوح بين 80 ألف دولار و1.6 مليون دولار، وهو ما يعكس تطورًا هائلًا في كفاءة العمليات الحسابية. ومنذ ذلك الحين، شهدنا استثمارات ضخمة في تطوير نماذج لغوية أكبر وأكثر تعقيدًا. فعلى سبيل المثال، بلغت تكلفة تدريب نموذج جي بي تي-2 الذي يحتوي على 1.5 مليار معامل نحو 50 ألف دولار في عام 2019، بينما بلغت تكلفة تدريب نموذج بالم الأكبر بكثير والذي يحتوي على 540 مليار معامل نحو 8 مليون دولار في عام 2022. كما بلغت تكلفة تدريب نموذج Megatron-Turing NLG الذي يحتوي على 530 مليار معامل نحو 11 مليون دولار في عام 2021.
نموذج لغوي كبير تكلفة التدريب
ومن الجدير بالذكر أن تكلفة تدريب نماذج اللغات الكبيرة القائمة على آلية الانتباه الذاتي تكون أعلى بكثير من تكلفة استخدامها للاستدلال على نتائج جديدة. ففي المتوسط، يتطلب تدريب رمز مميز واحد نحو 6 عمليات حسابية عائمة لكل معامل، بينما يتطلب استنتاج رمز مميز واحد من 1 إلى 2 عملية حسابية عائمة لكل معامل فقط.
نموذج لغوي كبير استخدام الأدوات
ثمة مهامّ محددة لا يُمكن لأي نموذج لغة كبير حلها مبدئيًا، على الأقل ليس دون الاستعانة بأدوات خارجية أو برامج إضافية. ومن الأمثلة على ذلك الاستجابة إلى مدخل المستخدم "354 * 139 ="، شريطة ألا يكون النموذج قد واجه هذا الحساب سابقًا في مجموعة تدريبه.[محل شك] في مثل هذه الحالات، يتعين على النموذج اللجوء إلى تشغيل رمز برمجي يحسب النتيجة، ثم إدماجها في استجابته.[محل شك] مثال آخر هو "ما الوقت الآن؟"، حيث يحتاج مفسر برمجي منفصل إلى تنفيذ رمز للحصول على وقت النظام على الحاسوب، كي يتمكن النموذج من تضمينه في رده. يمكن تطوير هذه الإستراتيجية الأساسية بتجريب برامج مولدة متعددة واستراتيجيات تعيين أخرى.
بشكل عام، لتمكين النموذج من استخدام الأدوات، يجب ضبطه على ذلك. فإذا كان عدد الأدوات محدودًا، يكفي ضبطه مرة واحدة. أما إذا كان عددها متزايدًا بشكل تعسفي، كما هو الحال مع خدمات واجهات برمجة التطبيقات عبر الإنترنت، فيجب تجهيز النموذج بقراءة وثائق هذه الواجهات واستدعائها بصورة صحيحة.
نموذج لغوي كبير استخدام الأدوات
أبسط شكل لاستخدام الأدوات هو التوليد المعزز بالاسترجاع: أي تعزيز النموذج باسترجاع المستندات. فبناءً على استعلام معين، يُستدعى مسترجع مستندات للحصول على المستندات الأكثر صلة. يجري ذلك عادة بتشفير الاستعلام والمستندات إلى متجهات، ثم البحث عن المستندات التي تتشابه متجهاتها (المخزنة عادةً في قاعدة بيانات متجهات) مع متجه الاستعلام. ثم يولد النموذج الناتج استنادًا إلى الاستعلام والسياق المستمد من المستندات المسترجعة.
نموذج لغوي كبير الوكلاء
النموذج اللغوي الكبير هو نموذج لغوي محض، لا يعد وكيلًا ذكيًا بذاته لافتقاره إلى هدف محدد، إلا أنه يمكن توظيفه كعنصر أساسي في بناء وكيل ذكي.
ينشئ نمط "ريآكت" (المركب من "التفكير" و"الفعَل") وكيلًا ذكيًا من خلال الاعتماد على نموذج لغوي كبير كمحرك رئيسي للتفكير والتخطيط. إذ يُطلب من النموذج اللغوي أن "يفكر بصوت عالٍ"، أي أن يقدم وصفًا نصيًا مفصلًا للبيئة التي يعمل فيها، والهدف المطلوب تحقيقه، وقائمة بالإجراءات المتاحة، وسجلًا بالإجراءات التي نُفِّذت والنتائج التي أسفرت عنها. وعليه، يقوم النموذج بتوليد فكرة أو أكثر قبل اختيار الإجراء الأنسب وتنفيذه في البيئة المحددة. ويمكن أن يكون الوصف اللغوي للبيئة المقدم للنموذج على شكل رمز لاتكس لورقة تصف البيئة بدقة.
في أسلوب "وصف، شرح، تخطيط واختيار" (DEPS)، يُربط أولًا نموذج لغوي واسع بالواقع المرئي عبر أوصاف الصور، ثم يُطلب منه وضع خطط لأعمال وأفعال معقدة استنادًا إلى معلوماته المتراكمة مسبقًا والآراء البيئية التي يتلقاها.
نموذج لغوي كبير الوكلاء
يُنشئ أسلوب الانعكاس وكيلًا يتعلم عبر دورات متتالية. في نهاية كل دورة،  يُعطى النموذج اللغوي الكبير سجلًا بالدورة، ويُطلب منه التفكير في "الدروس المُستفادة"، مما يساعده على الأداء بشكل أفضل في الدورة التالية.
يمكن لـ بحث شجرة مونت كارلو[الإنجليزية] أن يستخدم نموذجًا لغويًا واسعًا كتجربة للاستدلال. وعندما لا يتوفّر نموذج عالمي برمجي، يمكن كذلك طلب نموذج لغوي واسع بوصف للبيئة ليعمل كنموذج عالمي.
في سياق الاستكشاف المفتوح، يمكن توظيف نموذج لغوي واسع لتدوين ملاحظات "مثيرة للاهتمام"، تُستخدم بدورها كإشارات مكافأة لتوجيه وكيل التعلم التعزيزي البسيط (غير اللغوي). وعوضًا عن ذلك يمكن للنموذج اقتراح مهامّ متزايدة الصّعوبة لتمكين التعلم التدريجي. وبدلًا من إخراج أفعال فردية، يمكن لنموذج التخطيط اللغوي الكبير بناء "مهارات"، أي دوال تمثل تسلسلات من الأفعال المعقدة. ويمكن تخزين هذه المهارات واسترجاعها لاحقًا، مما يتيح مستويات أعلى من التجريد في التخطيط.
يمكن للوكلاء المدعومين بنماذج لغوية واسعة الاحتفاظ بذاكرة طويلة الأمد للسياقات السابقة، ويمكن استرجاع هذه الذاكرة بنفس طريقة التوليد المعزز بالاسترجاع. ويمكن لمجموعة من هذه الوكلاء التفاعل اجتماعيًا.
نموذج لغوي كبير الضغط
تُدرب عادةً نماذج اللّغة الكبيرة (LLMs) باستخدام أعداد عشرية ذات دقة مفردة أو نصف دقة (float32 وfloat16). يحتوي رقم float16 على 16 بت، أو 2 بايت، وبالتالي فإن مليار معامل يتطلبان 2 جيجا بايت. وتحتاج النماذج الأكبر حجمًا، والتي تحتوي عادةً على 100 مليار معامل، إلى 200 جيجا بايت لتحميلها، مما يجعلها خارج نطاق معظم الأجهزة الإلكترونية الاستهلاكية.
يهدف "التكميم بعد التدريب"  إلى تقليل مساحة التخزين عن طريق خفض دقة معاملات النموذج المدرب، مع الحفاظ على معظم أدائه. أبسط أشكال التكميم هو ببساطة تقريب جميع الأعداد إلى عدد معين من البتات. ويمكن تحسينه باستخدام مجموعة ترميز تكميم مختلفة لكل طبقة. ويمكن إجراء تحسين إضافي من خلال تطبيق دقّات مختلفة لمعاملات مختلفة، مع دقة أعلى للمعاملات المهمة بشكل خاص ("أوزان شاذة").
في حين أنّ النماذج المكمّمة عادةً ما تكون مجمّدة، ويتمّ ضبط النماذج المكمّمة مسبقًا فقط، لا يزال من الممكن ضبط النماذج المكمّمة.
نموذج لغوي كبير الوسائط المتعددة
تعني الوسائط المتعددة "امتلاك عدة وسائط"، ويشير "الوسيط" إلى نوع من المدخلات أو المخرجات، مثل الفيديو، والصورة، والصوت، والنص، والإحساس الحركي، وما إلى ذلك. وقد دُربت العديد من نماذج الذكاء الاصطناعي خصيصًا لاستيعاب نمط واحد وإخراج نمط آخر، مثل ألكسنت"الصّورة إلى التّسمية"،  والإجابة على الأسئلة المرئية "صورة-نص إلى نص"،  والتعرف على الكلام "كلام إلى نص".
أظهر فلامينجو فعالية أسلوب التجزئة، حيث ضُبط زوج من نموذجي اللغة والمشفر المرئي المدربين مسبقًا لتحسين أدائهما في مجال الإجابة على الأسئلة المرئية مقارنة بالنماذج المدربة من الصفر. ضُبط نموذج جوجل بالم إلى نموذج متعدد الوسائط بالم-إي باستخدام أسلوب التجزئة، وطُبق على التحكم الآلي. كما جرى تحويل نماذج لاما إلى نماذج متعددة الوسائط باستخدام أسلوب التجزئة، للسماح بإدخال الصور،  ومقاطع الفيديو.
يمكن لنموذج جي بي تي-4 استخدام كل من النص والصورة كمدخلات،  كما أن جيميناي من جوجل ديب مايند يُعد نموذجًا متعدد الوسائط. قدمت شركة ميسترال نموذجها متعدد الوسائط الخاص "بيكسترال 12 بي" (Pixtral 12B) في سبتمبر 2024.
نموذج لغوي كبير الخصائص
يبدو أداء النماذج الحاسوبية الضخمة في تنفيذ مختلف المهام، عند تمثيله بيانيًا على مقياس لوغاريتمي مزدوج، وكأنه استقراء خطي لأداء النماذج الأصغر حجماً. ومع ذلك، قد تشهد هذه العلاقة الخطية "انكسارات" في قانون التوسع،  حيث يتغير ميل الخط بشكل مفاجئ، وتكتسب النماذج الأكبر حجمًا "قدرات جديدة"،  ناشئة عن التفاعلات المعقدة بين مكونات النموذج، دون أن تكون مبرمجة أو مصممة صراحة.
أظهرت الدراسات الحديثة كذلك أن أنظمة الذكاء الاصطناعي، بما في ذلك نماذج اللغات الكبيرة، قادرة على استخدام الاستدلال التنبؤي المشابه للاستدلال البشري. فهي توازن بين المعالجة المنطقية الشاملة وبين استخدام اختصارات معرفية (الاستدلالات)، وتعدل استراتيجياتها الاستدلالية لتحقيق التوازن الأمثل بين الدقة والجهود المبذولة. يتوافق هذا السلوك مع مبادئ الإدراك البشري الاقتصادي للموارد، كما هو موضح في النظريات الكلاسيكية للعقلانية المحدودة ونظرية المعالجة المزدوجة.
من بين القدرات الناشئة الأكثر إثارة للاهتمام، القدرة على التعلم السياقي من خلال أمثلة توضيحية. يتضمن التعلم السياقي مهام مثل: