stanford-oval/wikipedia huggingface dataset:
نموذج لغوي كبير
الوسائط المتعددة

تعني الوسائط المتعددة "امتلاك عدة وسائط"، ويشير "الوسيط" إلى نوع من المدخلات أو المخرجات، مثل الفيديو، والصورة، والصوت، والنص، والإحساس الحركي، وما إلى ذلك. وقد دُربت العديد من نماذج الذكاء الاصطناعي خصيصًا لاستيعاب نمط واحد وإخراج نمط آخر، مثل ألكسنت"الصّورة إلى التّسمية"،  والإجابة على الأسئلة المرئية "صورة-نص إلى نص"،  والتعرف على الكلام "كلام إلى نص".
أظهر فلامينجو فعالية أسلوب التجزئة، حيث ضُبط زوج من نموذجي اللغة والمشفر المرئي المدربين مسبقًا لتحسين أدائهما في مجال الإجابة على الأسئلة المرئية مقارنة بالنماذج المدربة من الصفر. ضُبط نموذج جوجل بالم إلى نموذج متعدد الوسائط بالم-إي باستخدام أسلوب التجزئة، وطُبق على التحكم الآلي. كما جرى تحويل نماذج لاما إلى نماذج متعددة الوسائط باستخدام أسلوب التجزئة، للسماح بإدخال الصور،  ومقاطع الفيديو.
يمكن لنموذج جي بي تي-4 استخدام كل من النص والصورة كمدخلات،  كما أن جيميناي من جوجل ديب مايند يُعد نموذجًا متعدد الوسائط. قدمت شركة ميسترال نموذجها متعدد الوسائط الخاص "بيكسترال 12 بي" (Pixtral 12B) في سبتمبر 2024.
الخصائص

يبدو أداء النماذج الحاسوبية الضخمة في تنفيذ مختلف المهام، عند تمثيله بيانيًا على مقياس لوغاريتمي مزدوج، وكأنه استقراء خطي لأداء النماذج الأصغر حجماً. ومع ذلك، قد تشهد هذه العلاقة الخطية "انكسارات" في قانون التوسع،  حيث يتغير ميل الخط بشكل مفاجئ، وتكتسب النماذج الأكبر حجمًا "قدرات جديدة"،  ناشئة عن التفاعلات المعقدة بين مكونات النموذج، دون أن تكون مبرمجة أو مصممة صراحة.
أظهرت الدراسات الحديثة كذلك أن أنظمة الذكاء الاصطناعي، بما في ذلك نماذج اللغات الكبيرة، قادرة على استخدام الاستدلال التنبؤي المشابه للاستدلال البشري. فهي توازن بين المعالجة المنطقية الشاملة وبين استخدام اختصارات معرفية (الاستدلالات)، وتعدل استراتيجياتها الاستدلالية لتحقيق التوازن الأمثل بين الدقة والجهود المبذولة. يتوافق هذا السلوك مع مبادئ الإدراك البشري الاقتصادي للموارد، كما هو موضح في النظريات الكلاسيكية للعقلانية المحدودة ونظرية المعالجة المزدوجة.
من بين القدرات الناشئة الأكثر إثارة للاهتمام، القدرة على التعلم السياقي من خلال أمثلة توضيحية. يتضمن التعلم السياقي مهام مثل:
إجراء العمليات الحسابية، فك رموز الأبجدية الصوتية الدولية، إعادة ترتيب حروف الكلمة، تحديد معنى الكلمة في سياقها، تحويل الألفاظ المكانية واتجاهات الأركان الأساسية (مثل الرد بـ"الشمال الشرقي" عند إعطاء الإحداثيات [0, 0, 1; 0, 0, 0; 0, 0, 0])، وتحديد الألوان المذكورة نصًا.
التوجيه المتسلسل: تتحسن نواتج النموذج باستخدام التوجيه المتسلسل فقط عندما يتجاوز حجم النموذج 62 مليار معلمة. وتؤدي النماذج الأصغر أداءً أفضل عندما يُطلب منها الإجابة مباشرة دون اتباع سلسلة من الأفكار.
التعرف على المحتوى المسيء في فقرات الهنجليزية (مزيج من الهندية والإنجليزية)، وتوليد معادل إنجليزي مشابه للأمثال السواحلية.
يُجادل شافر وزملاؤه بأن القدرات الناشئة لا تُكتسب بشكل غير متوقع، بل تُكتسب بشكل متوقع وفقًا لقانون تحجيم سلس . وقد نظر المؤلفون في نموذج إحصائي مصغر لنموذج لغوي كبير يحل أسئلة الاختيار من متعدد، وأظهروا أن هذا النموذج الإحصائي، المعدل لحساب أنواع أخرى من المهام، ينطبق على هذه المهام أيضًا.
التفسير

تُعتبر نماذج اللغات الكبيرة بمثابة صناديق سوداء، إذ يصعب فهم الكيفية التي تؤدي بها مهامها اللغوية المتعددة. ولتسليط الضوء على آليات عمل هذه النماذج،برزت عدة منهجيات بحثية. من بينها "قابلية التفسير الآلية" التي تهدف إلى فك شفرة البنية الداخلية لهذه النماذج وكشف الخوارزميات الكامنة وراء استدلالاتها. وقد أثمرت هذه المنهجية عن نتائج واعدة في عدة دراسات.
في دراسة أولى دُرب نموذج محول صغير على لعبة ريفيرسي (Othello)، ونجح الباحثون في اكتشاف تمثيل خطي لوضع اللعبة على اللوحة، حيث يؤدي تعديل هذا التمثيل إلى تغير الحركات المقترحة بشكل منطقي. وفي دراسة أخرى دُرب نموذج مماثل على لغة البرمجة "كارل"، وكشفت النتائج عن تمثيل خطي لدلالات هذه اللغة، مما سمح بتعديل الناتج البرمجي بشكل متوقع. والأكثر من ذلك، أن النموذج تمكن من توليد برامج أقصر وأكثر كفاءة من تلك الموجودة في مجموعة التدريب.
وفي دراسة أخرى درّب باحثون نماذج محولة صغيرة على عملية الجمع في الحسابات العددية، ونجح الباحثون في عكس هندسة هذه النماذج واكتشفوا أنها تستخدم تحويل فورييه المنفصل لحل هذه العملية.
التفسير > الفهم والذكاء

طالع أيضًا: ثنائية العقل والجسد
انقسم الباحثون المتخصصون في معالجة اللغة الطبيعية انقسامًا تامًا عندما سُئلوا، في استطلاع رأي أُجري عام 2022، عما إذا كانت نماذج اللغة الكبيرة غير المدربة قادرة على فهم اللغة الطبيعية فهمًا حقيقيًا ومعمقاً. يرى مؤيدو فكرة قدرة هذه النماذج على الفهم أن بعض قدراتها، مثل القدرة على التفكير الرياضي، تشير إلى وجود فهم حقيقي للمفاهيم. وقد ذهب فريق من شركة مايكروسوفت في عام 2023 إلى أبعد من ذلك، مدعيًا أن نموذج جي بي تي-4 قادر على حل مسائل جديدة ومعقدة في مجالات متنوعة كالرياضيات، والتشفير، والرؤية، والطب، والقانون، وعلم النفس وغيرها، واصفين إياه بأنه نسخة أولية، وإن كانت غير كاملة، لذكاء اصطناعي عام. وقد تساءلوا: "هل يمكننا إنكار ذكاء نظامٍ قادر على اجتياز اختبارات مبرمجي الكمبيوتر؟"
يصف بعض الباحثين هذه النماذج بأنها تمثل نوعًا من "الذكاء الغريب". فعلى سبيل المثال، يرى كونور ليحي، الرئيس التنفيذي لشركة كونجكتشر، أن هذه النماذج تشبه الكائنات الغريبة والغامضة، وأن عملية التدريب المعروفة بـ RLHF تخلق واجهة ودودة تخفي العمليات الداخلية المعقدة لهذه النماذج. ويشبه الأمر قناعًا مبتسمًا يختفي خلفه عمق من الجنون والتفكير الغريب الذي يختلف جذريًا عن التفكير البشري.
على النقيض من ذلك يزعم أصحاب المدرسة التي تنفي فهم النماذج اللغوية الكبيرة أن هذه النماذج "لا تفعل سوى خلط ودمج النصوص الموجودة"،  وهي ظاهرة تعرف بالببغاء العشوائي، أو يشيرون إلى العجز المستمر لهذه النماذج في مهارات التنبؤ والتفكير والإرادة والتفسير. فعلى سبيل المثال، يعاني نموذج جي بي تي-4 من قصور جلي في التخطيط والتعلم الفوري. وقد لوحظ أن النماذج اللغوية التوليدية تؤكد بثقة على ادعاءات حقائقية لا يبدو أنها مدعومةببيانات تدريبها، وهي ظاهرة عرفت بالهلوسة. وبالتحديد، تتجلى الهلوسة في سياق هذه النماذج في توليد نصوص أو استجابات نحوية سلسة وطبيعية ولكنها خاطئة واقعيًا أو غير منطقية أو غير موثوقة بالنسبة للمعلومات المدخلة. وقد جادل عالم الأعصاب تيرينس سيجنوفسكي بأن "اختلاف آراء الخبراء حول ذكاء النماذج اللغوية الكبيرة يشير إلى أن مفاهيمنا التقليدية عن الذكاء الطبيعي غير كافية".
تتضمن مسألة محاكاة الذكاء أو الفهم البشري بواسطة نماذج اللغة الكبيرة وجهين رئيسيين: الأول يكمن في كيفية تمثيل الفكر واللغة ضمن نظام حاسوبي، والثاني يتمثل في تمكين هذا النظام من توليد لغة شبيهة باللغة البشرية. وقد تطورت هذه الجوانب اللغوية كنموذج للإدراك في حقل اللغويات الإدراكية. وقد قدم اللغوي الأمريكي جورج لاكوف نظرية الأعصاب اللغوية (NTL) كأساس حسابي لاستخدام اللغة كنموذج لمهام التعلم والفهم. وتلخص هذه النظرية كيف تشكل البنى العصبية المحددة في الدماغ البشري طبيعة الفكر واللغة، وبالتالي ما هي الخصائص الحسابية لهذه الأنظمة العصبية التي يمكن تطبيقها لنمذجة الفكر واللغة في نظام حاسوبي.
وبعد تأسيس إطار عمل لنمذجة اللغة في أنظمة الحاسوب، تحول الاهتمام إلى بناء أطر عمل تتيح لهذه الأنظمة توليد لغة تتبع قواعد نحوية مقبولة. وفي كتابه الصادر عام 2014 بعنوان "أسطورة اللغة: لماذا اللغة ليست غريزة" (بالإنجليزية: The Language Myth: Why Language Is Not An Instinct)‏، رسم اللغوي الإدراكي البريطاني وخبير تكنولوجيا الاتصالات الرقمية فيفيان إيفانز دور القواعد النحوية الاحتمالية الخالية من السياق (PCFG) في تمكين معالجة اللغات الطبيعية من محاكاة الأنماط الإدراكية وتوليد لغة شبيهة باللغة البشرية.
التقييم > الحيرة

المقياس التقليدي لأداء نموذج اللغة الكبير هو درجة حيرته على مجموعة نصية معينة. يقيس الحيرة مدى قدرة النموذج على التنبؤ بمحتويات مجموعة البيانات؛ فكلما زادت احتمالية تعيين النموذج لمجموعة البيانات، قلت درجة حيرته. بعبارات رياضية، الحيرة هي الأس الأسية لمتوسط سالب لوغاريتم الاحتمال لكل رمز.
Perplexity=exp(-{\frac {1}{N}}\sum _{i=1}^{N}logP(token_{i}|contextfortoken_{i}))
حيث يُمثل  N عدد الرموز في مجموعة النص، و"سياق الرمز  i" يعتمد على نوع نموذج اللغة الكبير المحدد. إذا كان النموذج تلقائي التراجع، فإن "سياق الرمز  i" هو جزء النص الذي يظهر قبل الرمز  i. وإذا كان النموذج مُقنّعًا فإن "سياق الرمز  i" هو جزء النص المحيط بالرمز  i.
نظرًا لأن نماذج اللغة قد تُفرط في ملاءمتها لبيانات تدريبها، فعادةً ما تُقيم النماذج من خلال درجة حيرتها على مجموعة اختبار. قد يكون هذا التقييم مشكلة بالنسبة للنماذج الأكبر حجمًا، والتي تصبح أكثر عرضة لإدراج أجزاء من أي مجموعة اختبار معينة مع زيادة حجم مجموعات النص التي يدُرِّبت عليها.
التقييم > الحيرة > بتات لكل كلمة أو حرف أو رمز

في نظرية المعلومات، ترتبط صفة الإنتروبيا ارتباطًا وثيقًا بمفهوم الغموض، وهو ارتباط أسسه بوضوح كلود شانون. تُعبَّر هذه العلاقة رياضيًا على النحو التالي: الإنتروبيا = لو2 (الغموض).
{\text{Entropy}}=\log _{2}({\text{Perplexity}})
تقاس الإنتروبيا، في هذا السياق، عادة بوحدات البتات لكل كلمة (BPW) أو البتات لكل حرف (BPC)، وذلك تبعًا لاختيار نموذج اللغة لتجزئة النص إلى كلمات أو أحرف.
جدير بالذكر أنه في نماذج اللغة الكبيرة التي تعتمد غالبًا على تجزئة الكلمات إلى أجزاء أصغر، يبدو أن البتات لكل رمز مميز (BPT) مقياسًا أنسب. ومع ذلك نظرًا للاختلاف في أساليب التجزئة بين نماذج اللغة الكبيرة، فإن مقياس BPT ليس موثوقًا به للمقارنة بين نماذج مختلفة. لتحويل BPT إلى BPW، يمكن ضرب القيمة الأولى في متوسط عدد الرموز المميزة لكل كلمة.
عند تقييم ومقارنة نماذج اللغة يُفضل عادة استخدام الإنتروبيا المتقاطعة بدلًا من الإنتروبيا المطلقة. الفكرة الأساسية هي أن قيمة BPW الأقل تشير إلى قدرة أفضل للنموذج على الضغط، مما يعكس بدوره كفاءة النموذج في إجراء تنبؤات دقيقة.
التقييم > مجموعات البيانات والمعايير الخاصة بالمهام

طُوِّرَتْ في المراحل اللاحقة مجموعات بيانات عديدة ومقاييس اختبار لتقييم قدرات نماذج اللغات في مهام أكثر تحديدًا. صُمِّمت هذه الاختبارات لتقييم مجموعة واسعة من القدرات، بما في ذلك المعرفة العامة والتفكير المنطقي وحل المسائل الرياضية.
إحدى الفئات الشائعة لمجموعات البيانات التقييمية هي مجموعات بيانات الإجابة على الأسئلة، التي تتكون من أزواج من الأسئلة وإجاباتها الصحيحة، مثل: "هل فاز منتخب اليمن بكأس العالم لكرة القدم؟" - "لا". تُعتبر مهمة الإجابة على الأسئلة "مفتوحة" إذا تضمنت مطالبة النموذج بنص يمكن استخلاص الإجابة المتوقعة منه (مثل: يمكن إضافة السؤال السابق إلى نص يتضمن الجملة "تقدّم منتخب اليمن إلى نهائيات كأس العالم مرة واحدة وخسر أمام منتخب السعودية في عام 2016"). أما إذا كان على النموذج الاعتماد على المعرفة التي اكتسبها خلال التدريب، فتُعتبر المهمة "مغلقة".
قد تأخذ مجموعات البيانات التقييمية شكل إكمال النص، حيث يُطلب من النموذج اختيار الكلمة أو الجملة الأنسب لإكمال عبارة ما، مثل: "كانت فاطمة صديقة لسارة. ذهبت فاطمة لزيارة صديقتها، ____".
طُوِّرت أيضًا مقاييس أداء مركبة تجمع بين مجموعة متنوعة من مجموعات البيانات والمهام التقييمية المختلفة. من الأمثلة عليها: جلو، وسوبر جلو وبيج-بنش. أصدرت شركة أوبن أيه آي أدوات لتشغيل مقاييس الأداء المركبة، لكنها لاحظت أن نتائج التقييم حساسة لطريقة صياغة المطالبة. تحتوي بعض مجموعات البيانات العامة على أسئلة خاطئة أو غامضة أو لا يمكن الإجابة عليها أو ذات جودة منخفضة، ويمكن تنظيفها للحصول على نتائج أداء أكثر موثوقية.
كان من المعتاد سابقًا الإبلاغ عن النتائج على جزء مؤجل من مجموعة البيانات التقييمية بعد إجراء ضبط دقيق مراقب على الباقي. أصبح من الشائع الآن تقييم نموذج مدرب مسبقًا مباشرة من خلال تقنيات المطالبة، رغم اختلاف الباحثين في تفاصيل صياغة المطالبات لمهام معينة، لا سيما فيما يتعلق بعدد أمثلة المهام التي تُضمن في المطالبة (أي قيمة n في مطالبة اللقطات n).
التقييم > مجموعات البيانات والمعايير الخاصة بالمهام > التقييمات المُصمّمة خصيصًا

سبب التطور المتسارع في نماذج اللغات الكبيرة، فقد عانت مقاييس الأداء من قصر عمرها الافتراضي. إذ سرعان ما "تشبع" هذه النماذج المتقدمة من المقاييس الحالية، متجاوزة أداء البشر المتخصصين. مما دفع الباحثين إلى البحث عن مهام أكثر تعقيدًا لاستبدال هذه المقاييس أو تعزيزها. بالإضافة إلى ذلك، ظهرت ظاهرة "تعلم الاختصارات"، حيث تلجأ أنظمة الذكاء الاصطناعي أحيانًا إلى خداع اختبارات الاختيار. وذلك من خلال استغلال الارتباطات الإحصائية البسيطة في صياغة الأسئلة، مما يسمح لها بتخمين الإجابات الصحيحة دون بالضرورة فهم المعنى الحقيقي للسؤال.
ولمعالجة هذه التحديات، طور باحثون مجموعات بيانات جديدة تركز على نقاط ضعف محددة في نماذج اللغات الحالية. من الأمثلة البارزة على ذلك مجموعة بيانات TruthfulQA، التي تتضمن أسئلة يصعب على النماذج الإجابة عليها بشكل صحيح بسبب ميلها إلى تكرار المعلومات الخاطئة التي تعلمتها خلال التدريب. فعلى سبيل المثال، قد يجيب نموذج لغة كبير على سؤال "هل يمكن تعليم كلب قديم حيلة جديدة؟" بـ "لا"، وذلك بسبب تعلمه للمثل الشائع الذي ينفي ذلك، حتى لو كان هذا الجواب غير دقيق من الناحية العلمية.
التأثير الأوسع

في عام 2023م، أشارت مجلة "نيتشر بيوميديكال انجينيرنج" إلى استحالة التمييز بدقة بين النصوص التي ينتجها البشر وتلك التي تولّدها نماذج اللغات الكبيرة، مؤكدةً انتشار هذه النماذج ذات الأغراض العامة بسرعة وتأثيرها المتوقع على العديد من الصناعات. وفي نفس العام، أشارت مؤسسة غولدمان ساكس إلى إمكانية زيادة الناتج المحلي الإجمالي العالمي بنسبة 7% خلال العقد القادم بفضل الذكاء الاصطناعي اللغوي التوليدي، مع تحذيرها من تهديد هذا التطور لأكثر من 300 مليون وظيفة حول العالم.
التأثير الأوسع > الحفظ وحقوق النشر

لمعلوماتٍ أكثر: الذكاء الاصطناعي وحقوق النشر
الحفظ هو سلوك ناشئ في نماذج اللّغة الكبيرة حيث يتمّ إخراج سلاسل نصية طويلة أحيانًا حرفيًا من بيانات التّدريب، على عكس السّلوك النموذجيّ للشّبكات العصبية الاصطناعية التّقليدية. تقيس تقييمات مخرجات نموذج اللّغة الكبيرة المتحكّم فيها كمية ما تمّ حفظه من بيانات التّدريب (مع التركيز على نماذج سلسلة جي بي تي-2) بشكل مختلف بأكثر من 1% للنسخ المكرّرة تمامًا،  أو ما يصل إلى نحو 7%.
التأثير الأوسع > الأمان

أعرب بعض الباحثين عن مخاوفهم من إمكانية توليد معلومات مضللة عمدًا أو عن طريق الخطأ، أو استغلال هذه النماذج في سلوكيات ضارة أخرى. فعلى سبيل المثال، يمكن أن تساهم نماذج اللغة الكبيرة في تقليل المهارة اللازمة لارتكاب أعمال إرهابية بيولوجية؛ حيث اقترح الباحث في الأمن البيولوجي كيفن إيسفلت ضرورة استبعاد الأبحاث المتعلقة بتطوير مسببات الأمراض من بيانات تدريب هذه النماذج.
أظهرت دراسة أجراها باحثون في جوجل وعدة جامعات، من بينها كورنيل وكاليفورنيا، وجود مخاطر أمنية محتملة في نماذج لغوية مثل شات جي بي تي. فقد تمكن الباحثون من استخلاص جزء من بيانات التدريب التي استخدمت في تدريب هذا النموذج. فعند تكرار طلب الحصول على كلمة معينة لعدد كبير من المرات، بدأ النموذج في تكرار مقاطع من بيانات التدريب بشكل عشوائي. وقد لاحظ الباحثون آلاف الأمثلة على هذا السلوك، مما يثير تساؤلات حول مدى أمان هذه النماذج.
يشكل وجود ما يسمى بـ "العوامل الكامنة" داخل نماذج اللغة الكبيرة مصدر قلق أمني آخر. هذه الوظائف المخبأة يمكن تفعيلها بحدث معين لتدفع النموذج إلى التصرف بطريقة غير متوقعة وضارة. على الرغم من وجود ضوابط أمنية في تطبيقات مثل شات جي بي تي وكلود لمنع توليد محتوى ضار، إلا أن هذه الضوابط ليست مضمونة الفعالية. فقد تمكن باحثون من تطوير طرق للتلاعب بهذه النماذج والحصول على معلومات خطيرة، مثل كيفية إنشاء شبكات لتجارة المخدرات.
التأثير الأوسع > التحيّز الخوارزمي

المقالة الرئيسة: تحيز خوارزمي
رغم ما أظهرته نماذج اللغات الكبيرة من قدرة فائقة على توليد نصوص شبيهة بالنصوص البشرية، إلا أنها معرضة للإصابة بتحيزات مستمدة من بيانات تدريبها، بل وتضخيمها. وقد يظهر ذلك جليًا في صور نمطية مشوهة أو معاملة مجحفة لفئات ديموغرافية مختلفة، كالأعراق والأجناس واللغات والمجموعات الثقافية. ونظرًا لسيطرة البيانات الإنجليزية على غالبية بيانات تدريب هذه النماذج، فإنها قد تستصغر بالتالي وجهات النظر التي لا تتحدث الإنجليزية.
التأثير الأوسع > التحيّز الخوارزمي > التنميط

تستطيع أنظمة الذكاء الاصطناعي أن تعزز طائفة واسعة من الصور النمطية، بما في ذلك تلك المرتبطة بالجنس، أو العرق، أو السن، أو الجنسية، أو الدين، أو المهنة. وقد يؤدي هذا إلى نتائج تمييزية بحق فئات معينة من البشر، بطرق قد تكون مسيئة أو مهينة. ومن الجدير بالذكر أن التحيز الجنسي هو ميل هذه الأنظمة إلى إنتاج نتائج تميل بشكل غير عادل لصالح جنس على آخر. وغالبًا ما ينشأ هذا التحيز من البيانات التي تُدرب هذه الأنظمة عليها. فنموذج اللغة الكبيرة، على سبيل المثال، قد يربط بين الممرضات والسكرتيرات وبين النساء، وبين المهندسين والرؤساء التنفيذيين وبين الرجال، وذلك استنادًا إلى الأعراف الجندرية السائدة.
التأثير الأوسع > التحيّز الخوارزمي > التحيّز السّياسيّ

التحيز السياسي يشير إلى ميل الخوارزميات إلى تفضيل وجهات نظر أو أيديولوجيات أو نتائج سياسية معينة على أخرى بشكل منهجي. قد تظهر نماذج اللغة أيضًا تحيزات سياسية. نظرًا لأن بيانات التدريب تتضمن مجموعة واسعة من الآراء والتغطية السياسية، فقد تولد النماذج استجابات تميل إلى أيديولوجيات أو وجهات نظر سياسية معينة، اعتمادًا على انتشار تلك الآراء في البيانات.
قراءة متعمقة

Jurafsky, Dan, Martin, James. H. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition, 3rd Edition draft, 2023.
Zhao، Wayne Xin؛ وآخرون (2023). "A Survey of Large Language Models". arXiv:2303.18223. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
Kaddour، Jean؛ وآخرون (2023). "Challenges and Applications of Large Language Models". arXiv:2307.10169. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
Yin, Shukang; Fu, Chaoyou; Zhao, Sirui; Li, Ke; Sun, Xing; Xu, Tong; Chen, Enhong (23 Jun 2023). "A Survey on Multimodal Large Language Models". arXiv.org (بالإنجليزية). Archived from the original on 2024-11-26. Retrieved 2024-10-07.
"AI Index Report 2024 – Artificial Intelligence Index". aiindex.stanford.edu. مؤرشف من الأصل في 2024-04-26. اطلع عليه بتاريخ 2024-05-05.
Frank، Michael C. (27 يونيو 2023). "Baby steps in evaluating the capacities of large language models". Nature Reviews Psychology. ج. 2 ع. 8: 451–452. DOI:10.1038/s44159-023-00211-x. ISSN:2731-0574. S2CID:259713140. مؤرشف من الأصل في 2023-07-12. اطلع عليه بتاريخ 2023-07-02.
مارتين ريفيرو

| مارتين ريفيرو | مارتين ريفيرو | مارتين ريفيرو | مارتين ريفيرو | مارتين ريفيرو |  |
| --- | --- | --- | --- | --- | --- |
| معلومات شخصية   | معلومات شخصية   | معلومات شخصية   | معلومات شخصية   | معلومات شخصية   |  |
الميلاد: 13 نوفمبر 1989   (36 سنة)   رولدان  ‏  
مواطنة:  الأرجنتين 
مركز اللعب: وسط
الطول: 1.75 م (5 قدم 9 بوصة)
|  معلومات النادي   |  معلومات النادي   |  معلومات النادي   |  معلومات النادي   |  معلومات النادي   |  |
النادي الحالي: سان مارتين دي سان خوان
|  مسيرة الشباب   |  مسيرة الشباب   |  مسيرة الشباب   |  مسيرة الشباب   |  مسيرة الشباب   |  |
سنوات: فريق
 2006–2008 : روزاريو سنترال
| المسيرة الاحترافية1  | المسيرة الاحترافية1  | المسيرة الاحترافية1  | المسيرة الاحترافية1  | المسيرة الاحترافية1  |  |
| سنوات | فريق | م. | (هـ.) |  |  |
| 2008–2014 | روزاريو سنترال  | 53 | (5) |  |  |
| 2012–2013 | ← كولورادو رابيدز (إعارة) | 47 | (3) |  |  |
| 2014 | شيفاز يو إس أي | 7 | (0) |  |  |
| 2015–2016 | نادي أتليتيكو ألدوسيفي | 32 | (0) |  |  |
| 2016–2017 | يونيون دي سانتا في | 14 | (0) |  |  |
| 2017–2018 | أتلتيكو باتروناتو | 25 | (2) |  |  |
| 2018–2021 | أتليتيكو بيلغرانو | 31 | (0) |  |  |
| 2021– | سان مارتين دي سان خوان | 55 | (1) |  |  |
| 1 عدد مرات الظهور مع الأندية وعدد الأهداف تحسب للدوري المحلي فقط  وهو محدث في 26 يوليو 2022. | 1 عدد مرات الظهور مع الأندية وعدد الأهداف تحسب للدوري المحلي فقط  وهو محدث في 26 يوليو 2022. | 1 عدد مرات الظهور مع الأندية وعدد الأهداف تحسب للدوري المحلي فقط  وهو محدث في 26 يوليو 2022. | 1 عدد مرات الظهور مع الأندية وعدد الأهداف تحسب للدوري المحلي فقط  وهو محدث في 26 يوليو 2022. | 1 عدد مرات الظهور مع الأندية وعدد الأهداف تحسب للدوري المحلي فقط  وهو محدث في 26 يوليو 2022. |  |
مارتين ريفيرو (بالإسبانية: Martín Rivero)‏ (13 نوفمبر 1989 في الأرجنتين - ) هو لاعب كرة قدم أرجنتيني في مركز الوسط. لعب مع روزاريو سنترال وكولورادو رابيدز ونادي شيفاز يو إس أي ونادي أتليتيكو ألدوسيفي.
وصلات خارجية

مارتين ريفيرو على موقع الدوري الأمريكي (الإنجليزية)
مارتين ريفيرو على موقع قاعدة بيانات كرة القدم.إي يو (الإنجليزية)
مارتين ريفيرو على موقع Soccerway.com (الإنجليزية)
| ع ن سان مارتين دي سان خوان  – التشكيلة الحالية | ع ن سان مارتين دي سان خوان  – التشكيلة الحالية |
| --- | --- |
 - Nicolás Avellaneda (footballer)‏  - Cozzani‏  - Rivadeneira‏  - Fernández  - بوتينيلي  - أغيري  - إسكوديرو  - Lena  - Molina‏  - Vega‏  - ليموس  - Ignacio Antonio‏  - ريفيرو  - Rojas‏  - ألفاريز  - رودريغيز  - Pablo Aranda (footballer)‏  - غونزاليس  - رويز  - لاجو  - Tomás Fernández (footballer, born 1998)‏  - راميريز  - فرانكو  - Fernando Matías Benítez‏  - Sebastián Penco‏  المدرب: أنطونيا :  - Nicolás Avellaneda (footballer)‏  - Cozzani‏  - Rivadeneira‏  - Fernández  - بوتينيلي  - أغيري  - إسكوديرو  - Lena  - Molina‏  - Vega‏  - ليموس  - Ignacio Antonio‏  - ريفيرو  - Rojas‏  - ألفاريز  - رودريغيز  - Pablo Aranda (footballer)‏  - غونزاليس  - رويز  - لاجو  - Tomás Fernández (footballer, born 1998)‏  - راميريز  - فرانكو  - Fernando Matías Benítez‏  - Sebastián Penco‏  المدرب: أنطونيا 
بوابة أعلام
بوابة الأرجنتين
بوابة كرة القدم
غويليرمو أورتيز

| غويليرمو أورتيز> معلومات شخصية   | غويليرمو أورتيز> معلومات شخصية   | غويليرمو أورتيز> معلومات شخصية   | غويليرمو أورتيز> معلومات شخصية   | غويليرمو أورتيز> معلومات شخصية   |  |
| --- | --- | --- | --- | --- | --- |
الميلاد: 9 أغسطس 1992   (33 سنة)   روساريو  
مواطنة:  الأرجنتين 
مركز اللعب: مدافع
الطول: 1.83 م (6 قدم 0 بوصة)
|  معلومات النادي   |  معلومات النادي   |  معلومات النادي   |  معلومات النادي   |  معلومات النادي   |  |
النادي الحالي: غودوي كروز
الرقم: 24
|  مسيرة الشباب   |  مسيرة الشباب   |  مسيرة الشباب   |  مسيرة الشباب   |  مسيرة الشباب   |  |
سنوات: فريق
: نيولز أولد بويز
| المسيرة الاحترافية1  | المسيرة الاحترافية1  | المسيرة الاحترافية1  | المسيرة الاحترافية1  | المسيرة الاحترافية1  |  |
| سنوات | فريق | م. | (هـ.) |  |  |
| 2011–2017 | نيولز أولد بويز  | 39 | (0) |  |  |
| 2015–2016 | ← نادي أتليتيكو ألدوسيفي (إعارة) | 35 | (1) |  |  |
| 2016–2017 | ← أتليتيكو كولون (إعارة) | 27 | (1) |  |  |
| 2017–2020 | أتليتيكو كولون | 50 | (2) |  |  |
| 2020–2021 | أتليتيكو توكومان | 23 | (2) |  |  |
| 2021– | غودوي كروز | 23 | (1) |  |  |
| 1 عدد مرات الظهور مع الأندية وعدد الأهداف تحسب للدوري المحلي فقط  وهو محدث في 9 أبريل 2022. | 1 عدد مرات الظهور مع الأندية وعدد الأهداف تحسب للدوري المحلي فقط  وهو محدث في 9 أبريل 2022. | 1 عدد مرات الظهور مع الأندية وعدد الأهداف تحسب للدوري المحلي فقط  وهو محدث في 9 أبريل 2022. | 1 عدد مرات الظهور مع الأندية وعدد الأهداف تحسب للدوري المحلي فقط  وهو محدث في 9 أبريل 2022. | 1 عدد مرات الظهور مع الأندية وعدد الأهداف تحسب للدوري المحلي فقط  وهو محدث في 9 أبريل 2022. |  |
غويليرمو أورتيز (بالإسبانية: Guillermo Luis Ortiz)‏ (9 أغسطس 1992 بروساريو في الأرجنتين - ) هو لاعب كرة قدم أرجنتيني في مركز الدفاع.
مراجع

↑  "Guillermo Ortiz se va de Aldosivi". Vavel. 23 مايو 2016. مؤرشف من الأصل في 2016-10-13. اطلع عليه بتاريخ 2017-05-05.
↑  "Mercado de pases (actualizado 17/01/15)". Taringa!. 17 يناير 2015. مؤرشف من الأصل في 2015-01-20. اطلع عليه بتاريخ 2017-05-05.
↑  "Guillermo Ortiz profile". Club Atlético Colón. 5 مايو 2017. مؤرشف من الأصل في 2019-01-02. اطلع عليه بتاريخ 2017-05-05.
| ع ن غودوي كروز  – التشكيلة الحالية | ع ن غودوي كروز  – التشكيلة الحالية |
| --- | --- |
 2 باريوس  3 بيريرا  5 أسيفيدو  7 لاروسا  8 بيزارو  9 Tomás Badaloni‏  10 Valentín Burgoa‏  11 أوخيدا  12 Juan Espínola (footballer, born 1994)‏  13 Canale‏  15 Juan Pintado‏  16 Matías Ramírez (footballer, born 1999)‏  17 Allende‏  19 Manuel Llano (footballer)‏  20 رودريغيز  22 فيراري  23 تشافيز  24 أورتيز  25 Néstor Breitenbruch‏  26 Cainelli‏  27 بونس  28 لوبيز  30 أندرادا  31 نيجري  32 Gonzalo Abrego‏  35 Soria‏  36 Leyes‏  39 بايفا  42 Gabriel Vega‏  50 رودريغيز  المدرب: Sergio Gómez (footballer, born 1981)‏ :  2 باريوس  3 بيريرا  5 أسيفيدو  7 لاروسا  8 بيزارو  9 Tomás Badaloni‏  10 Valentín Burgoa‏  11 أوخيدا  12 Juan Espínola (footballer, born 1994)‏  13 Canale‏  15 Juan Pintado‏  16 Matías Ramírez (footballer, born 1999)‏  17 Allende‏  19 Manuel Llano (footballer)‏  20 رودريغيز  22 فيراري  23 تشافيز  24 أورتيز  25 Néstor Breitenbruch‏  26 Cainelli‏  27 بونس  28 لوبيز  30 أندرادا  31 نيجري  32 Gonzalo Abrego‏  35 Soria‏  36 Leyes‏  39 بايفا  42 Gabriel Vega‏  50 رودريغيز  المدرب: Sergio Gómez (footballer, born 1981)‏ 
بوابة أعلام
بوابة الأرجنتين
بوابة كرة القدم