hotchpotch/wikipedia-multilingual-ir-pairs huggingface dataset:
نموذج قائم على الوكيل التطبيقات
شهدت الفترة التي أعقبت الأزمة المالية العالمية لعام 2008 اهتمامًا متزايدًا بنماذج الوكلاء المستقلين كأداة واعدة لتحليل الظواهر الاقتصادية المعقدة. على عكس النماذج التقليدية التي تفترض الوصول إلى حالة توازن، تستبدل هذه النماذج مفهوم "الوكيل النموذجي" بجمهور متنوع من الوكلاء الذين يتسمون بسلوكيات ديناميكية ومترابطة، بما في ذلك ظاهرة تقليد الجماعة. تعتمد هذه النماذج نهجًا "صعوديًا"، حيث يتم بناء الاقتصاد الكلي من تفاعلات الأفراد. وبذلك، تتمكن من توليد اقتصادات محاكاة تتميز بالتعقيد والتذبذب، بما في ذلك الظواهر مثل الانهيارات الاقتصادية والانتعاشات السريعة التي تنشأ عن استجابات غير خطية لتغيرات صغيرة.
نموذج قائم على الوكيل التطبيقات
وقد لاقت هذه النماذج قبولًا واسعًا في الأوساط الأكاديمية، حيث اعتبرتها مجلة "الإيكونوميست" بديلًا واعدًا للنماذج التقليدية. كما دعت مجلة "نيتشر" إلى استخدامها على نطاق أوسع، مشيرة إلى قدرتها على تمثيل الأسواق المالية والظواهر الاقتصادية المعقدة بشكل أفضل. وقد أكد باحثون مثل جيه. دوين فارمر ودونكان فولي على أهمية هذه النماذج في تحقيق التوازن بين الرؤية الكينزية للاقتصاد المعقد وبين الرؤية النيوكلاسيكية القائمة على الأسس الدقيقة. وقد حققت هذه النماذج نجاحًا ملحوظًا في نمذجة أجزاء محددة من الاقتصاد، إلا أن الباحثين يسعون إلى تطوير نموذج شامل يجمع بين مختلف المستويات الاقتصادية. وأظهرت الدراسات التي استخدمت هذه النماذج قدرتها على محاكاة سلوك الأسواق المالية بدقة عالية، حيث تمكنت من ربط بين بنية الشبكات الاجتماعية ومؤشرات سوق الأسهم. ومع ذلك، تواجه هذه النماذج بعض الانتقادات، حيث يشير بعض الباحثين إلى صعوبة تكرار النتائج، إذ يمكن أن تؤدي نماذج مماثلة إلى نتائج مختلفة تمامًا.
نموذج قائم على الوكيل التطبيقات
وجدت نماذج الوكلاء تطبيقًا واسعًا في حقل العمارة والتخطيط العمراني، حيث استُخدمت لتقييم التصاميم العمرانية ومحاكاة تدفقات المشاة في البيئات الحضرية،  ودراسة آثار السياسات العامة على استخدام الأراضي. كما برز دور هذه النماذج في التحليل الاجتماعي والاقتصادي، لا سيما في تقييم آثار الاستثمارات في البنية التحتية، وذلك بفضل قدرتها على رصد التغيرات النظامية على المستويين الاجتماعي والاقتصادي. علاوة على ذلك، يمكن لهذه النماذج أن تعكس بسهولة التباينات والتحولات الاجتماعية، مما يجعلها أداة قيمة لدراسة ظواهر مثل عدم المساواة في الثروة والتنقل الاجتماعي.
ولم يقتصر استخدام نماذج الوكلاء على المجالات المذكورة، بل تعدّت إلى حقل العلاقات الدولية، حيث اقترحت كأداة تعليمية عملية للدبلوماسيين،  وكأداة مساعدة لصانعي القرار على المستويين المحلي والدولي في تقييم السياسات العامة.
نموذج قائم على الوكيل التطبيقات
وفي سياق آخر اكتسبت نماذج الوكلاء أهمية متزايدة في مجال تحليل أنظمة الطاقة، خاصة في دراسة أسواق الكهرباء. وتشهد نماذج مثل أميريس،  وأسوم،  وإي إم لاب،  وباور إيه سي إي،  تطورًا ملحوظًا في هذا المجال، مما يسهل فهم ديناميكيات أسواق الكهرباء في ظل التحول المتسارع نحو الطاقة المتجددة.
شهد مجال إدارة الموارد المائية تطبيقات مبتكرة لأنظمة الوكلاء الاصطناعيين، حيث تم توظيفها في تخطيط وإدارة هذه الموارد الحيوية. وتحديدًا، استُخدمت هذه الأنظمة في استكشاف ومحاكاة وتوقع أداء التصاميم البنيوية المتعلقة بالمياه، بالإضافة إلى اتخاذ قرارات سياسية مستنيرة. كما تم تقييم قيمة التعاون وتبادل المعلومات في الأنظمة المائية واسعة النطاق من خلال هذه التقنية المتقدمة.
يشير مصطلح "المحاكاة الموجهة بالوكلاء" إلى تقسيم واضح إلى فئتين رئيسيتين هما: "أنظمة للوكلاء" و"وكلاء للأنظمة". الأنظمة للوكلاء، والتي تعرف أحيانًا بأنظمة الوكلاء، هي أنظمة تعتمد على الوكلاء في تنفيذ مهامها وتطبيقاتها المتنوعة، والتي تشمل الهندسة والديناميات البشرية والاجتماعية والتطبيقات العسكرية وغيرها. أما وكلاء الأنظمة، فينقسمون إلى فئتين فرعيتين: الأنظمة المدعومة بالوكلاء، والتي تستعين بالوكلاء كأداة مساعدة لتعزيز القدرات الحاسوبية في حل المشكلات، والأنظمة القائمة على الوكلاء، والتي تركز على استخدام الوكلاء في توليد سلوك نموذجي لتقييم الأنظمة وتحليلها.
أشار هالر باخ وزملاؤه إلى إمكانية تطبيق نهج الوكلاء الاصطناعيين في تطوير واعتماد أنظمة القيادة الآلية من خلال إنشاء توأم رقمي للسيارة قيد الاختبار، إلى جانب محاكاة مرورية مجهرية تعتمد على وكلاء مستقلين. كما قامت شركة وايمو بتطوير بيئة محاكاة متعددة الوكلاء تسمى "كاركرافت" لاختبار خوارزميات السيارات ذاتية القيادة. تحاكي هذه البيئة التفاعلات المرورية المعقدة بين السائقين البشريين والمشاة والمركبات الآلية، حيث يتم تمثيل سلوك الأفراد بواسطة وكلاء اصطناعيين يستندون إلى بيانات سلوك بشرية حقيقية. وقد تم طرح الفكرة الأساسية لاستخدام النمذجة القائمة على الوكلاء لفهم السيارات ذاتية القيادة منذ عام 2003.
نموذج قائم على الوكيل التنفيذ
صُممت العديد من الأطر التي تعتمد على النمذجة القائمة على الوكلاء لتلائم بنى الحاسوب التقليدية المتسلسلة من فئة معمارية فون نيومان، مما يحد من سرعة وتوسع هذه النماذج. نظرًا لأن السلوك الناتج في النماذج القائمة على الوكلاء واسعة النطاق يتأثر بشكل كبير بحجم الوكلاء المتفاعلة، فإن قيود التوسع تعيق عملية التحقق من صحة النموذج. وللتغلب على هذه القيود، تم اللجوء إلى الحوسبة الموزعة، حيث ظهرت أطر عمل مثل (Repast HPC) المصممة خصيصًا لهذا الغرض. ورغم أن هذه الأساليب تتلاءم مع بنى الحاسوب العنقودية وفائقة الأداء، إلا أن مسائل الاتصال والمزامنة، بالإضافة إلى تعقيد نشر هذه النماذج، لا تزال تشكل عقبات أمام انتشارها على نطاق واسع.
في تطور حديث، تم استخدام الخوارزميات المتوازية للبيانات على وحدات معالجة الرسوميات (GPUs) لمحاكاة النماذج القائمة على الوكلاء. وقد مكنت الذاكرة ذات النطاق الترددي العالي وقوة الحوسبة الهائلة لوحدات معالجة الرسوميات من محاكاة ملايين الوكلاء بمعدلات عالية جداً.
نموذج قائم على الوكيل التنفيذ
باعتبار النمذجة القائمة على الوكلاء إطارًا عامًا للنمذجة، وليس أداة محددة، فقد تم دمجها مع أشكال نمذجة أخرى. على سبيل المثال، تم دمجها مع نظم المعلومات الجغرافية (GIS)، حيث توفر النمذجة القائمة على الوكلاء نموذجًا للعمليات، بينما توفر نظم المعلومات الجغرافية نموذجًا للبيئة المكانية. وبالمثل، تم دمجها مع أدوات تحليل الشبكات الاجتماعية، حيث تحاكي النمذجة القائمة على الوكلاء الديناميكيات على الشبكة، بينما تحلل أدوات الشبكات الاجتماعية بنية هذه الشبكة.[12] وتوفر أدوات مثل "جاما - (بالإنجليزية: GAMA)‏" بيئة مناسبة لدمج الديناميكيات النظامية ونظم المعلومات الجغرافية مع النمذجة القائمة على الوكلاء. [13]
نموذج قائم على الوكيل التحقق والتصديق
يشكّل التحقق والتحقيق (V&V) لنماذج المحاكاة ركيزة أساسية في ضمان جودتها وصدق نتائجها. ويتجلى التحقق في التأكد من مطابقة النموذج المنفذ للتصور النظري الذي بني عليه، بينما يهدف الاعتماد إلى إثبات ارتباط هذا النموذج بالواقع المادي. وتشمل جوانب الاعتماد المتعددة المصادقة البصرية، وتحليل الحساسية، والمعايرة، والاعتماد الإحصائي. وقد قُدِمَ نهج إطار محاكاة الأحداث المنفصلة كأداة للقيام بالاعتماد في أنظمة الوكيل. ويمكن العثور على مرجع شامل حول الاعتماد التجريبي لأنظمة الوكيل هنا.
نموذج قائم على الوكيل التحقق والتصديق
كمثال على تطبيق تقنيات التحقق والاعتماد، يمكن الاستعانة بنظام الوكيل متعدد الطبقات الافتراضي (VOMAS)، الذي يعتمد على هندسة البرمجيات لتطوير نظام وكيل افتراضي بالتزامن مع نموذج الوكيل الأصلي. وقد قدم "موازي" وزملاؤه مثالًا عمليًا على استخدام الوكيل متعدد الطبقات الافتراضي للتحقق والاعتماد في نموذج محاكاة لحرائق الغابات. كما تم تكييف أسلوب آخر من أساليب هندسة البرمجيات، ألا وهو التطوير بقيادة الاختبار، لخدمة غايات الاعتماد في نماذج الوكيل. تتميز هذه الطريقة بقدرتها على أتمتة عملية الاعتماد من خلال استغلال أدوات اختبار الوحدة.
ستيبل ديفيوجن
ستيبل ديفيوجن (بالإنجليزية: Stable Diffusion)‏ هو نموذج تعلم عميق لتحويل النص إلى صورة أصدرته شركة ستابيليتي أيه آي في عام 2022 استنادًا إلى تقنيات نموذج ديفيوجن، ويعتبر جزءًا من طفرة الذكاء الاصطناعي المستمرة.
يستخدم بشكل أساسي لإنشاء صور مفصلة مشروطةً بأوصاف نصية، على الرغم من أنه يمكن تطبيقه أيضًا على مهام أخرى مثل التلوين الداخلي والخارجي، وتوليد ترجمات من صورة إلى أخرى موجهة بمطالبة نصية. طوره باحثين من مجموعة "كومبفيز" في جامعة لودفيغ ماكسيميليان في ميونيخ بالتعاون مع شركة رن واي، وبدعم مالي من شركة ستابيليتي أيه آي، وبيانات تدريب من منظمات غير ربحية.
يُعد ستيبل ديفيوجن نموذج انتشار كامن، وهو نوع من الشبكات العصبية الاصطناعية التوليدية العميقة. تم إصدار شفرته ونموذجه علنًا،  ويمكن تشغيله على معظم أجهزة المستهلكين المزودة بوحدة معالجة رسومات متواضعة سعتها 4 غيغابايت على الأقل من ذاكرة الوصول العشوائي للفيديو [الإنجليزية]. يمثل هذا تحولًا عن نماذج "النص إلى الصورة" السابقة مثل دال-إي وميدجورني التي كان يمكن الوصول إليها فقط عبر الخدمات السحابية.
ستيبل ديفيوجن التنمية
نشأ ستيبل ديفيوجن من مشروع يسمى (بالإنجليزية: Latent Diffusion)‏،  طوره باحثين في جامعة لودفيغ ماكسيميليان في ميونخ وجامعة هايدلبرغ. لاحقًا انضم أربعة من المؤلفين الخمسة الأصليين وهم (روبن رومباخ، وأندرياس بلاتمان، وباتريك إيسر، ودومينيك لورينز) إلى شركة "ستابيليتي أيه آي" وأصدروا إصدارات لاحقةً من ستيبل ديفيوجن.
أصدرت مجموعة كومبفيز في جامعة لودفيغ ماكسيميليان في ميونيخ الترخيص التقني للنموذج. قاد فريق التطوير باتريك إيسر من "رن واي"، و"روبن رومباخ" من كومبفيز، اللذان كانا من بين الباحثين الذين اخترعوا سابقًا بنية نموذج (بالإنجليزية: latent diffusion)‏ التي يستخدمها ستيبل ديفيوجن. كما أشادت شركة ستابيليتي أيه آي بـ "إليوثر أيه آي - (بالإنجليزية: EleutherAI)‏"، و"لايون" (وهي منظمة ألمانية غير ربحية جمعت البيانات التي دُرب ستيبل ديفيوجن عليها) لدعمهم المشروع.
ستيبل ديفيوجن التكنولوجيا
تعتمد النماذج في سلسلة "ستابل ديفوجن" قبل الإصدار الثالث على نوع من نماذج الانتشار يعرف بـ "نموذج الانتشار الكامن"، وهو نموذج طوره فريق "كومبفيس" (الرؤية الحاسوبية والتعلم الآلي) في جامعة لودفيغ ماكسيميليان في ميونخ. وتُدرب نماذج الانتشار التي ظهرت في عام 2015 على هدف إزالة التطبيقات المتتالية للضوضاء على صور التدريب، مما يجعلها بمثابة سلسلة تشفير ذاتي. ويتكون "ستابل ديفوجن" من ثلاثة أجزاء رئيسية: المشفر التلقائي التبايني (VAE)، وشبكة يو-نت، ومشفر نص اختياري.
يعمل المشفر التلقائي التبايني على ضغط الصورة من مساحة البكسلات إلى مساحة كامنة ذات أبعاد أقل، محتفظًا بالمعنى الدلالي الأساسي للصورة. وتُطبق الضوضاء الغاوسية بشكل متكرر على التمثيل الكامن المضغوط خلال عملية الانتشار الأمامي. وتعمل كتلة شبكة يو-نت، المبنية على بنية شبكة ريزنت، على إزالة الضوضاء من مخرجات الانتشار الأمامي بشكل عكسي للحصول على تمثيل كامن. وأخيرًا، يقوم المشفر التلقائي التبايني بتوليد الصورة النهائية بتحويل التمثيل إلى بكسلات.
ستيبل ديفيوجن التكنولوجيا
يمكن أن تخضع عملية إزالة الضوضاء لشروط مرنة ومتنوعة، سواء كانت نصية أو بصرية أو من نوع آخر. تُعرض هذه الشروط المشفرة على شبكات عصبية مخصصة لإزالة الضوضاء، وذلك عبر آلية الانتباه التبادلي. وفي حالة الشروط النصية، يتم استخدام مشفر نص ثابت مدرب مسبقًا، وهو "كليب فيت-إل/14" (بالإنجليزية: CLIP ViT-L/14)‏، لتحويل العبارات النصية إلى تمثيل رقمي مضغوط.
يرى الباحثون أن نماذج الانتشار الكامنة تتميز بزيادة الكفاءة الحسابية أثناء التدريب والتوليد. وقد اشتق اسم "الانتشار" من ظاهرة الانتشار الحراري في الفيزياء، حيث أظهرت الدراسات ارتباطًا وثيقًا بين هذا المجال والتعلم العميق عام 2015.
بفضل ما يزيد عن 860 مليون معلمة في شبكة يو-نت و123 مليون في مشفر النص، يُعد نموذج "الانتشار المستقر" خفيف الوزن نسبيًا مقارنة بغيره من النماذج في عام 2022. مما أتاح تشغيله، على عكس نظرائه، على وحدات معالجة الرسوميات المتاحة للمستهلكين،  بل وحتى على وحدات المعالجة المركزية وحدها عند استخدام نسخة "أوبن فينو" من هذا النموذج.
ستيبل ديفيوجن التكنولوجيا
يستخدم إصدار "XL" البنية المعمارية ذاتها لنموذج الانتشار الكامن (LDM) المستخدمة في الإصدارات السابقة،  مع زيادة في الأبعاد: شبكة "يو نت" أوسع، سياق انتباه متقاطع أطول، مشفرين نصيين بدلًا من مشفر واحد، وتدريب على نسب أبعاد متعددة (بخلاف النسبة المربعة للعرض إلى الارتفاع في الإصدارات السابقة).
أُصدر "SD XL Refiner" بالتزامن مع الإصدار الأساسي، وله بنية مطابقة لبنية الإصدار "SD XL"، إلا أنه تدرب على إضافة التفاصيل الدقيقة إلى الصور الموجودة مسبقًا عبر عملية "img2img" الشرطية للنص.
أحدث الإصدار 3.0 تحولًا جذريًا في البنية الأساسية للشبكة العصبية. فقد استُبدلت شبكة "يو نت" بشبكة أكثر تطوراً، ألا وهي "محول التدفق المعدل" (Rectified Flow Transformer). تعتمد هذه الشبكة على تطبيق طريقة التدفق المصحح باستخدام المحول.
تتألف بنية التحويل الذاتي المستخدمة في الإصدار 3.0 من ثلاثة "مسارات" رئيسية: الأول مخصص لترميز النص الأصلي، والثاني لترميز النص المُحول، والثالث لترميز الصورة (في الفضاء الكامن). يتم دمج ترميز النص المُحول مع ترميز الصورة بشكل متكرر خلال كل كتلة من كتل التحويل.
ستيبل ديفيوجن التكنولوجيا
أُطلق على هذه البنية المبتكرة اسم "المحول الانتشاري متعدد الوسائط" (MMDiT)، حيث تشير صفة "متعدد الوسائط" إلى قدرته على دمج ترميزات النص والصورة معًا داخل عملياتها. يميز هذا الإصدار عن سابقاته من نماذج DiT، حيث يكون تأثير ترميز النص على ترميز الصورة متبادلاً، وليس أحادي الاتجاه.
دُرب نموذج "الانتشار الثابت" على أزواج من الصور والتعليقات التوضيحية مستمدة من قاعدة البيانات الضخمة "لايون-5 بي" (بالإنجليزية: LAION-5B)‏، وهي مجموعة بيانات عامة المصدر اشتقت من بيانات كومن كراول [الإنجليزية] المستخرجة من الويب. تم تصنيف نحو خمسة مليارات زوج من الصور والنصوص ضمن هذه المجموعة بناءً على اللغة، في مجموعات بيانات منفصلة استنادًا إلى دقة الصورة، واحتمالية وجود علامة مائية، والتقييم الجمالي المتوقع (مثل الجودة البصرية). وتجدر الإشارة إلى أن منظمة لايون [الإنجليزية]، وهي مؤسسة ألمانية غير ربحية تدعمها شركة "ستابيليتي أيه آي"، هي المسؤولة عن إنشاء هذه المجموعة الضخمة من البيانات.
دُرب النموذج على ثلاث مجموعات فرعية محددة من "لايون-5 بي" وهي:
ستيبل ديفيوجن التكنولوجيا
كشفت تحليلات خارجية لبيانات التدريب المستخدمة في هذا النموذج أن حوالي 47% من عينة عشوائية تضم 12 مليون صورة مأخوذة من المجموعة الأصلية الأكبر كانت مستمدة من 100 نطاق مختلف على الويب. وقد استحوذ موقع بنترست على نسبة 8.5% من هذه العينة، تلاه مواقع أخرى مثل ووردبريس، وبلوغر، وفليكر، وديفيانت آرت وويكيميديا كومنز. كما أظهر تحقيق أجرته هيئة البث البافارية (بايريشر روندفونك) أن مجموعات بيانات "لايون" المتاحة على منصة "هجينج فيس" تحتوي على كميات كبيرة من البيانات الحساسة والخاصة.
دُرب النموذج مبدئيًا على مجموعتي البيانات الفرعيتين (بالإنجليزية: laion2B-en)‏ و(بالإنجليزية: laion-high-resolution)‏، ثم خضع لتدريب نهائي مكثف على مجموعة (بالإنجليزية: LAION-Aesthetics v2 5+)‏ الضخمة التي تضم 600 مليون صورة مصحوبة بأوصاف نصية. وقد اختيرت هذه الصور بدقة بناءً على تقييمات نموذج (بالإنجليزية: LAION-Aesthetics Predictor V2)‏ الذي تنبأ بإعجاب البشر بها بدرجة لا تقل عن خمسة من عشرة.
ستيبل ديفيوجن التكنولوجيا
ولضمان جودة الصور، استُبعدت الصور منخفضة الدقة والصور التي تحمل علامات مائية (والتي حددها نموذج (بالإنجليزية: LAION-5B-WatermarkDetection)‏ بنسبة احتمال تجاوزت 80%). كما حُذفت عشرة بالمائة من بيانات التدريب النصية في المراحل النهائية لتحسين عملية الانتشار التوليدي.
استغرقت عملية تدريب النموذج 150 ألف ساعة عمل لوحدات معالجة الرسوميات من نوع إنفيديا A100، وذلك باستخدام خدمات الحوسبة السحابية من أمازون ويب. وقد بلغت التكلفة الإجمالية للتدريب حوالي 600 ألف دولار أمريكي.
بلغت تكلفة تدريب النموذج SD3 حوالي عشرة ملايين دولار أمريكي.
تواجه تقنية "الانتشار المستقر" تحديات تتعلق بتدهور جودة الصور وعدم دقتها في بعض الحالات. فقد تم تدريب النسخ الأولية من هذا النموذج على مجموعة بيانات تضم صورًا بدقة 512×512 بكسل، مما يؤدي إلى تدهور ملحوظ في جودة الصور الناتجة عند ابتعاد مواصفات المستخدم عن هذه الدقة المحددة مسبقًا. وقد قدم الإصدار الثاني من النموذج لاحقًا إمكانية توليد صور بدقة أعلى تصل إلى 768×768 بكسل.
ستيبل ديفيوجن التكنولوجيا
ومن التحديات الأخرى التي تواجه هذا النموذج هي صعوبة توليد صور واقعية للأطراف البشرية، وذلك بسبب ضعف جودة بيانات الأطراف المتوفرة في قاعدة البيانات المستخدمة في التدريب. ولم يدُرب النموذج بشكل كافٍ لفهم تفاصيل الأطراف والوجوه البشرية نتيجة نقص السمات التمثيلية في قاعدة البيانات، مما قد يؤدي إلى نتائج غير متوقعة عند محاولة توليد صور بهذه التفاصيل. وقد تم إطلاق الإصدار الأول من "الانتشار المستقر إكس إل" (SDXL) في يوليو 2023، والذي يوفر دقة أعلى تصل إلى 1024×1024 بكسل وتحسينًا في توليد الأطراف والنص.
ستيبل ديفيوجن التكنولوجيا
قد يُشكّل توافر المطورين الأفراد عائقًا إضافيًّا. فلتخصيص النموذج لحالات استخدام جديدة لم تغطها مجموعة البيانات التدريبية، كما في حالة نموذج "وايفو ديفيوجن" لتوليد شخصيات الأنمي،  يتطلب الأمر جمع بيانات جديدة وإجراء تدريب إضافي. وقد استُخدمت تعديلات دقيقة على نموذج "ستيبل ديفيوجن" نتجت عن إعادة تدريب إضافية لتغطية مجموعة واسعة من التطبيقات، بدءًا من التصوير الطبي،  ووصولًا إلى توليد الموسيقى خوارزميًّا. إلا أن عملية الصقل الدقيق هذه حساسة لجودة البيانات الجديدة؛ فالصور منخفضة الدقة أو ذات جودة مختلفة عن البيانات الأصلية لا تؤدي فقط إلى الفشل في تعلم المهمة الجديدة، بل تساهم أيضًا في تدهور الأداء العام للنموذج. وحتى مع تدريب النموذج على صور عالية الجودة، يواجه الأفراد تحديًا في تشغيل النماذج على الأجهزة الاستهلاكية. فعلى سبيل المثال، يتطلب تدريب نموذج "وايفو ديفيوجن" ذاكرة وصول عشوائي للفيديو لا تقل عن 30 جيجابايت ، وهو ما يتجاوز الموارد المتاحة عادة في وحدات معالجة الرسوميات الاستهلاكية مثل سلسلة جيفورس 30 من إنفيديا، التي تبلغ سعتها حوالي 12 جيجابايت فقط.
ستيبل ديفيوجن التكنولوجيا
يُقرّ مبتكرو نموذج ستيبل ديفيوجن بوجود احتمال التحيز الخوارزمي، حيث دُرب النموذج بشكل أساسي على صور مصحوبة بأوصاف باللغة الإنجليزية. ونتيجة لذلك، تعكس الصور الناتجة عن النموذج التحيزات الاجتماعية السائدة في المنظور الغربي، إذ لاحظ المبتكرون نقصًا في البيانات المستمدة من مجتمعات وثقافات أخرى. كما يقدم النموذج نتائج أدق للمطالبات المصاغة باللغة الإنجليزية مقارنةً باللغات الأخرى، وغالبًا ما تكون الثقافات الغربية أو البيضاء هي التمثيل الافتراضي.
لتجاوز القيود المفروضة على التدريب الأولي للنموذج، قد يقرر المستخدمون النهائيون إجراء تدريب إضافي لضبط مخرجات التوليد بدقة بحيث تتوافق مع حالات استخدام محددة، وهي عملية تعرف أيضًا بالتخصيص. هناك ثلاث طرق يمكن للمستخدمين من خلالها تطبيق الضبط الدقيق على نقطة تفتيش نموذج الانتشار المستقر:
يمكن تدريب "التضمين" على مجموعة من الصور يزودها المستخدم، مما يُمكّن النموذج من توليد صور مماثلة بصريًا كلما استُخدم اسم التضمين ضمن موجه الإنشاء. وتستند عمليات التضمين إلى مفهوم "عكس النص" الذي طوره باحثون من جامعة تل أبيب عام 2022 بدعم من إنفيديا، حيث يتم ربط التمثيلات المتجهية للرموز المحددة التي يستخدمها مشفر نص النموذج بكلمات زائفة جديدة. ويمكن توظيف عمليات التضمين لتقليل التحيزات الكامنة في النموذج الأصلي أو لمحاكاة الأنماط البصرية.
"الشبكة الفائقة" هي شبكة عصبية صغيرة مدربة مسبقًا يتم تطبيقها على نقاط مختلفة داخل شبكة عصبية أكبر، وتشير إلى التقنية التي ابتكرها مطور "نوفل أيه آي كوروموز" في عام 2021، والمخصصة في الأصل لنماذج محولات توليد النصوص. توجه الشبكات الفائقة النتائج نحو اتجاه معين، مما يسمح للنماذج القائمة على الانتشار المستقر بتقليد أسلوب الفن لفنانين معينين، حتى لو لم يتم التعرف على الفنان من قبل النموذج الأصلي؛ فهي تعالج الصورة من خلال العثور على مناطق رئيسية ذات أهمية مثل الشعر والعينين، ثم ترقيع هذه المناطق في مساحة كامنة ثانوية.
"دريمبوث" هو نموذج توليدي للتعلم العميق طوره باحثون من غوغل للأبحاث وجامعة بوسطن عام 2022، وهو قادر على تعديل النموذج ليولد مخرجات دقيقة ومخصصة تصوّر موضوعًا محددًا، وذلك بعد تدريبه على مجموعة من الصور التي تصوّر هذا الموضوع.
ستيبل ديفيوجن القدرات
يدعم النموذج توليد صور جديدة بالكامل باستخدام مطالبات نصية تصف العناصر المراد تضمينها أو استبعادها من الناتج. كما يمكن لهذا النموذج أن يعيد رسم الصور الحالية بإضافة عناصر جديدة إليها، ويتم ذلك بتقديم نص دقيق للعناصر المطلوبة في عملية تُعرف بتوليف الصور الموجه. وتتم هذه العملية عبر آلية إزالة الضوضاء بالانتشار. بالإضافة إلى ذلك، يسمح النموذج أيضًا بتعديل الصور الموجودة جزئيًا عن طريق الإكمال الداخلي والخارجي، عند استخدامه مع واجهة مستخدم مناسبة تدعم هذه الميزات، والتي يوجد العديد منها مفتوحة المصدر.
يوصى بتشغيل النموذج باستخدام ذاكرة الوصول العشوائي للفيديو (VRAM) سعتها 10 جيجابايت أو أكثر. ومع ذلك، يمكن للمستخدمين الذين يملكون ذاكرة فيديو أقل أن يختاروا تحميل الأوزان بدقة نقطية float16 بدلًا من الدقة الافتراضية float32، وذلك لتحقيق توازن بين أداء النموذج وتقليل استهلاك الذاكرة.
ستيبل ديفيوجن القدرات
يستنفد البرنامج النصي المتوفر في برنامج استقرار الانتشار، المعروف بـ "نص إلى صورة" (بالإنجليزية: txt2img)‏، موجهًا نصيًا بالإضافة إلى مجموعة متنوعة من معاملات الخيارات التي تشمل أنواع أخذ العينات وأبعاد صورة الناتج وقيم البذور. يخرج البرنامج النصي ملف صورة بناءً على تفسير النموذج للموجه. تُوضع علامة مائية رقمية غير مرئية على الصور الناتجة للسماح للمستخدمين بتحديد الصورة على أنها مولدة بواسطة استقرار الانتشار،  رغم أن هذه العلامة المائية تفقد فعاليتها إذا تم تغيير حجم الصورة أو تدويرها.
ستيبل ديفيوجن القدرات
تتضمن كل صورة مولدة من "نص إلى صورة" قيمة بذرة محددة تؤثر على صورة الناتج. قد يختار المستخدمون تعيين البذرة عشوائيًا لاستكشاف مخرجات مولدة مختلفة، أو استخدام نفس البذرة للحصول على ناتج مماثل لصورة تم إنشاؤها سابقًا. يمكن للمستخدمين أيضًا ضبط عدد خطوات الاستدلال لأخذ العينات؛ تستغرق القيمة الأعلى مدة زمنية أطول، ومع ذلك، قد تؤدي القيمة الأقل إلى عيوب مرئية. يسمح خيار آخر قابل للتكوين وهو قيمة مقياس التوجيه الخالي من التصنيف، للمستخدم بتعديل مدى التزام صورة الناتج بالموجه. قد تختار حالات الاستخدام الأكثر تجريبية قيمة مقياس أقل، بينما قد تستخدم حالات الاستخدام التي تهدف إلى مخرجات أكثر تحديدًا قيمة أعلى.
ستيبل ديفيوجن القدرات
توفر واجهات المستخدم الأمامية لنموذج ستيبل ديفيوجن ميزات إضافية تسمح للمستخدمين بتعديل الوزن الممنوح لأجزاء معينة من المطالبة النصية، مثل زيادة أو تقليل التأكيد على الكلمات الرئيسية عن طريق إحاطتها بأقواس. تُعدّ "المطالبات السلبية" طريقة بديلة لضبط الوزن لأجزاء من المطالبة، وهي ميزة مدرجة في بعض التطبيقات الأمامية، مثل خدمة "دريم ستوديو" السحابية الخاصة بشركة "ستابيليتي أيه آي"، والتي تسمح للمستخدم بتحديد مطالبات يجب على النموذج تجنبها أثناء توليد الصورة.
يستخدم نموذج "ستابل ديفوجن" برنامجًا نصيًا آخر يُعرف بـ "صورة إلى صورة" (بالإنجليزية: img2img)‏. يتلقى هذا البرنامج مطالبة نصية ومسارًا لصورة موجودة وقيمة عددية تتراوح بين صفر وواحد. ينتج البرنامج صورة جديدة مستندة إلى الصورة الأصلية مع إضافة عناصر تتوافق مع المطالبة النصية. تحدد القيمة العددية المقدمة كمية الضوضاء التي تُضاف إلى الصورة الناتجة. بزيادة هذه القيمة، يزداد التنوع في الصورة الناتجة، إلا أنه قد ينتج عن ذلك صورة لا تتسق دلاليًا مع المطالبة المقدمة.
ستيبل ديفيوجن القدرات
تتعدد الطرق لتحويل الصورة إلى صورة أخرى، ومن أبرزها طريقة "SDEdit" التي تعتمد على إضافة ضوضاء إلى الصورة الأصلية، ثم إزالتها بطريقة مشابهة لعملية تحويل النص إلى صورة.
تُمكّن قدرة تقنية "صورة إلى صورة" من إضافة تشويش بصري إلى الصورة الأصلية، مما يجعلها أداة واعدة في مجال إخفاء الهوية وتعزيز البيانات. إذ يتم من خلال هذه التقنية تعديل الملامح البصرية للصورة وإخفاء هويتها الأصلية. ولا يقتصر دور هذه العملية على إخفاء الهوية فقط، بل يمكن الاستفادة منها أيضًا في تحسين دقة الصورة وزيادة التفاصيل بها. وقد خضعت تقنية "ستابل ديفوجن" لتجارب لاستخدامها في ضغط الصور. ورغم ذلك، كشفت المقارنات مع تقنيات الضغط التقليدية مثل جيه بيه إي جي وويب بي عن وجود قيود في قدرة "ستابل ديفوجن" على الحفاظ على جودة النصوص الصغيرة والوجوه عند تطبيق عملية الضغط.
ستيبل ديفيوجن القدرات
تتيح العديد من التطبيقات الأمامية لنموذج "ستابل ديفوجن" إمكانيات إضافية لتعديل الصور بطريقة "صورة إلى صورة". ومن بين هذه الإمكانيات، نجد عملية "الالتصاق" التي تسمح بتعديل جزء محدد من صورة موجودة. يتم تحديد هذا الجزء بواسطة قناع طبقة يوفره المستخدم، ثم يتم ملء المساحة المحددة بمحتوى جديد يتم توليده بناءً على وصف نصي يقدمه المستخدم. وقد طورت شركة "ستابيليتي أيه آي" نموذج متخصص ومعدل خصيصًا لمهام الالتصاق هذه، وذلك بالتزامن مع إطلاق الإصدار الثاني من نموذج "ستابل ديفوجن". وبجانب عملية الالتصاق، توجد عملية أخرى تسمى "الالتصاق الخارجي" والتي تعمل على توسيع الصورة خارج أبعادها الأصلية، ويتم ملء المساحة الإضافية بمحتوى جديد يتم توليده بناءً على وصف نصي يقدمه المستخدم.
تم تقديم نموذج جديد يعتمد على مفهوم العمق، أُطلق عليه اسم "عمق إلى صورة" (بالإنجليزية: depth2img)‏، وذلك بالتزامن مع إصدار النسخة الثانية من برنامج ستابل ديفيوجن في 24 نوفمبر 2022. يستطيع هذا النموذج أن يستخلص معلومات العمق من أي صورة يعمل عليها، ثم يقوم بإنشاء صورة جديدة تستجيب للمطالبة النصية مع الحفاظ على عمق الصورة الأصلية. وبذلك، يضمن النموذج الجديد الحفاظ على الاتساق والعمق في الصورة الناتجة.
شبكة التحكم (بالإنجليزية: ControlNet)‏ هي بنية عصبية صُمِّمت خصيصًا لإدارة نماذج الانتشار عبر إدماج شروط إضافية. تعمل هذه الشبكة على استنساخ أوزان كتل الشبكة العصبية الأصلية إلى نسختين: نسخة "ثابتة" وأخرى "قابلة للتدريب". تتولى النسخة "القابلة للتدريب" مهمة تعلم الشرط المطلوب، في حين تحافظ النسخة "الثابتة" على النموذج الأصلي دون تغيير. تضمن هذه الآلية عدم المساس بسلامة نماذج الانتشار الجاهزة للإنتاج عند تدريبها على مجموعات بيانات صغيرة من أزواج الصور.
تُوفر شركة "ستابيليتي أيه آي" خدمةً لتوليد الصور عبر الإنترنت تُسمى دريم ستوديو. كما أصدرت نسخة مفتوحة المصدر من دريم ستوديو تُسمى ستابل ستوديو. بالإضافة إلى ذلك، توجد العديد من الواجهات مفتوحة المصدر من جهات خارجية، مثل "ستيبل ديفيوجن ويب يو آي"، والتي تُعد الأكثر شيوعًا وتوفر ميزات إضافية،  و"فوكس" التي تهدف إلى تقليل كمية المطالبات المطلوبة من المستخدم،  و"كومفي يو آي" التي تمتلك واجهة مستخدم مبنية على العقد، وهي في الأساس لغة برمجة مرئية شبيهة بالعديد من تطبيقات نمذجة ثلاثية الأبعاد.
ستيبل ديفيوجن الإصدارات
(بالإنجليزية: Learning Transferable Visual Models From Natural Language Supervision)‏ (صدرت في 2021).
توضح هذه الورقة طريقة CLIP لتدريب مشفرات النصوص، التي تحول النصوص إلى متجهات فاصلة عائمة. تستخدم هذه التشفيرات النصية من قبل نموذج الانتشار لخلق الصور.
(بالإنجليزية: High-Resolution Image Synthesis with Latent Diffusion Models)‏ (صدرت 2021، وحُدثت في 2022).
تصف هذه الورقة نموذج الانتشار الكامن (LDM). وهو العمود الفقري لبنية ستيبل ديفيوجن.
(بالإنجليزية: Classifier-Free Diffusion Guidance)‏ (صدرت في 2022).
توضح هذه الورقة طريقة CFG، التي تمكن متجه التشفير النصي من توجيه نموذج الانتشار نحو إنشاء الصورة التي يصفها النص.
(بالإنجليزية: Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow)‏ (صدرت في 2022).
تصف التدفق المعدل، الذي يتم استخدامه لبنية العمود الفقري لـ SD 3.0.
بلغت مدة تدريب نموذج "ستيبل ديفيوجن 2.0" حوالي 0.2 مليون ساعة على وحدة معالجة رسوميات من نوع إنفيديا A100 بسعة 40 جيجابايت.