ستيبل ديفيوجن

ستيبل ديفيوجن  هو نموذج تعلم عميق لتحويل النص إلى صورة أصدرته شركة ستابيليتي أيه آي في عام 2022 استنادًا إلى تقنيات نموذج ديفيوجن، ويعتبر جزءًا من طفرة الذكاء الاصطناعي المستمرة.

يستخدم بشكل أساسي لإنشاء صور مفصلة مشروطةً بأوصاف نصية، على الرغم من أنه يمكن تطبيقه أيضًا على مهام أخرى مثل التلوين الداخلي والخارجي، وتوليد ترجمات من صورة إلى أخرى موجهة بمطالبة نصية. طوره باحثين من مجموعة "كومبفيز" في جامعة لودفيغ ماكسيميليان في ميونيخ بالتعاون مع شركة رن واي، وبدعم مالي من شركة ستابيليتي أيه آي، وبيانات تدريب من منظمات غير ربحية.

يُعد ستيبل ديفيوجن نموذج انتشار كامن، وهو نوع من الشبكات العصبية الاصطناعية التوليدية العميقة. تم إصدار شفرته ونموذجه علنًا،  ويمكن تشغيله على معظم أجهزة المستهلكين المزودة بوحدة معالجة رسومات متواضعة سعتها 4 غيغابايت على الأقل من . يمثل هذا تحولًا عن نماذج "النص إلى الصورة" السابقة مثل دال-إي وميدجورني التي كان يمكن الوصول إليها فقط عبر الخدمات السحابية.

 التنمية 
نشأ ستيبل ديفيوجن من مشروع يسمى ،  طوره باحثين في جامعة لودفيغ ماكسيميليان في ميونخ وجامعة هايدلبرغ. لاحقًا انضم أربعة من المؤلفين الخمسة الأصليين وهم (روبن رومباخ، وأندرياس بلاتمان، وباتريك إيسر، ودومينيك لورينز) إلى شركة "ستابيليتي أيه آي" وأصدروا إصدارات لاحقةً من ستيبل ديفيوجن.

أصدرت مجموعة كومبفيز في جامعة لودفيغ ماكسيميليان في ميونيخ الترخيص التقني للنموذج. قاد فريق التطوير باتريك إيسر من "رن واي"، و"روبن رومباخ" من كومبفيز، اللذان كانا من بين الباحثين الذين اخترعوا سابقًا بنية نموذج  التي يستخدمها ستيبل ديفيوجن. كما أشادت شركة ستابيليتي أيه آي بـ "إليوثر أيه آي - "، و"لايون" (وهي منظمة ألمانية غير ربحية جمعت البيانات التي دُرب ستيبل ديفيوجن عليها) لدعمهم المشروع.

 التكنولوجيا 
تصغير|مخطط بنية  التي يستخدمها ستيبل ديفيوجن
تصغير|300x300بك|عملية إزالة الضوضاء المستخدمة في ستابل ديفيجن: يقوم النموذج بإنشاء الصور عن طريق إزالة الضوضاء العشوائية تدريجياً حتى الوصول إلى عدد محدد من الخطوات، مسترشداً بمشفر النص CLIP المدرب على المفاهيم بالإضافة إلى آلية الانتباه، مما يؤدي إلى الصورة المطلوبة التي تصور تمثيل للمفهوم المدرب.
 البنية المعمارية 
تعتمد النماذج في سلسلة "ستابل ديفوجن" قبل الإصدار الثالث على نوع من نماذج الانتشار يعرف بـ "نموذج الانتشار الكامن"، وهو نموذج طوره فريق "كومبفيس" (الرؤية الحاسوبية والتعلم الآلي) في جامعة لودفيغ ماكسيميليان في ميونخ. وتُدرب نماذج الانتشار التي ظهرت في عام 2015 على هدف إزالة التطبيقات المتتالية للضوضاء على صور التدريب، مما يجعلها بمثابة سلسلة تشفير ذاتي. ويتكون "ستابل ديفوجن" من ثلاثة أجزاء رئيسية: المشفر التلقائي التبايني (VAE)، وشبكة يو-نت، ومشفر نص اختياري.

يعمل المشفر التلقائي التبايني على ضغط الصورة من مساحة البكسلات إلى مساحة كامنة ذات أبعاد أقل، محتفظًا بالمعنى الدلالي الأساسي للصورة. وتُطبق الضوضاء الغاوسية بشكل متكرر على التمثيل الكامن المضغوط خلال عملية الانتشار الأمامي. وتعمل كتلة شبكة يو-نت، المبنية على بنية شبكة ريزنت، على إزالة الضوضاء من مخرجات الانتشار الأمامي بشكل عكسي للحصول على تمثيل كامن. وأخيرًا، يقوم المشفر التلقائي التبايني بتوليد الصورة النهائية بتحويل التمثيل إلى بكسلات.

يمكن أن تخضع عملية إزالة الضوضاء لشروط مرنة ومتنوعة، سواء كانت نصية أو بصرية أو من نوع آخر. تُعرض هذه الشروط المشفرة على شبكات عصبية مخصصة لإزالة الضوضاء، وذلك عبر آلية الانتباه التبادلي. وفي حالة الشروط النصية، يتم استخدام مشفر نص ثابت مدرب مسبقًا، وهو "كليب فيت-إل/14" ، لتحويل العبارات النصية إلى تمثيل رقمي مضغوط.

يرى الباحثون أن نماذج الانتشار الكامنة تتميز بزيادة الكفاءة الحسابية أثناء التدريب والتوليد. وقد اشتق اسم "الانتشار" من ظاهرة الانتشار الحراري في الفيزياء، حيث أظهرت الدراسات ارتباطًا وثيقًا بين هذا المجال والتعلم العميق عام 2015.

بفضل ما يزيد عن 860 مليون معلمة في شبكة يو-نت و123 مليون في مشفر النص، يُعد نموذج "الانتشار المستقر" خفيف الوزن نسبيًا مقارنة بغيره من النماذج في عام 2022. مما أتاح تشغيله، على عكس نظرائه، على وحدات معالجة الرسوميات المتاحة للمستهلكين،  بل وحتى على وحدات المعالجة المركزية وحدها عند استخدام نسخة "أوبن فينو" من هذا النموذج.
 إصدار XL 
يستخدم إصدار "XL" البنية المعمارية ذاتها لنموذج الانتشار الكامن (LDM) المستخدمة في الإصدارات السابقة،  مع زيادة في الأبعاد: شبكة "يو نت" أوسع، سياق انتباه متقاطع أطول، مشفرين نصيين بدلًا من مشفر واحد، وتدريب على نسب أبعاد متعددة (بخلاف النسبة المربعة للعرض إلى الارتفاع في الإصدارات السابقة).

أُصدر "SD XL Refiner" بالتزامن مع الإصدار الأساسي، وله بنية مطابقة لبنية الإصدار "SD XL"، إلا أنه تدرب على إضافة التفاصيل الدقيقة إلى الصور الموجودة مسبقًا عبر عملية "img2img" الشرطية للنص.

 الإصدار 3.0 

أحدث الإصدار 3.0 تحولًا جذريًا في البنية الأساسية للشبكة العصبية. فقد استُبدلت شبكة "يو نت" بشبكة أكثر تطوراً، ألا وهي "محول التدفق المعدل" (Rectified Flow Transformer). تعتمد هذه الشبكة على تطبيق طريقة التدفق المصحح باستخدام المحول.

تتألف بنية التحويل الذاتي المستخدمة في الإصدار 3.0 من ثلاثة "مسارات" رئيسية: الأول مخصص لترميز النص الأصلي، والثاني لترميز النص المُحول، والثالث لترميز الصورة (في الفضاء الكامن). يتم دمج ترميز النص المُحول مع ترميز الصورة بشكل متكرر خلال كل كتلة من كتل التحويل.

أُطلق على هذه البنية المبتكرة اسم "المحول الانتشاري متعدد الوسائط" (MMDiT)، حيث تشير صفة "متعدد الوسائط" إلى قدرته على دمج ترميزات النص والصورة معًا داخل عملياتها. يميز هذا الإصدار عن سابقاته من نماذج DiT، حيث يكون تأثير ترميز النص على ترميز الصورة متبادلاً، وليس أحادي الاتجاه.

 بيانات التدريب 
دُرب نموذج "الانتشار الثابت" على أزواج من الصور والتعليقات التوضيحية مستمدة من قاعدة البيانات الضخمة "لايون-5 بي" ، وهي مجموعة بيانات عامة المصدر اشتقت من بيانات  المستخرجة من الويب. تم تصنيف نحو خمسة مليارات زوج من الصور والنصوص ضمن هذه المجموعة بناءً على اللغة، في مجموعات بيانات منفصلة استنادًا إلى دقة الصورة، واحتمالية وجود علامة مائية، والتقييم الجمالي المتوقع (مثل الجودة البصرية). وتجدر الإشارة إلى أن منظمة ، وهي مؤسسة ألمانية غير ربحية تدعمها شركة "ستابيليتي أيه آي"، هي المسؤولة عن إنشاء هذه المجموعة الضخمة من البيانات.

دُرب النموذج على ثلاث مجموعات فرعية محددة من "لايون-5 بي" وهي:

 "لايون2 بي-إي إن" 
 "لايون-هاي-ريزوليوشن" 
 "لايون-إستيتيكس في2 5+" .

كشفت تحليلات خارجية لبيانات التدريب المستخدمة في هذا النموذج أن حوالي 47% من عينة عشوائية تضم 12 مليون صورة مأخوذة من المجموعة الأصلية الأكبر كانت مستمدة من 100 نطاق مختلف على الويب. وقد استحوذ موقع بنترست على نسبة 8.5% من هذه العينة، تلاه مواقع أخرى مثل ووردبريس، وبلوغر، وفليكر، وديفيانت آرت وويكيميديا كومنز. كما أظهر تحقيق أجرته هيئة البث البافارية (بايريشر روندفونك) أن مجموعات بيانات "لايون" المتاحة على منصة "هجينج فيس" تحتوي على كميات كبيرة من البيانات الحساسة والخاصة.

 إجراءات التدريب 

دُرب النموذج مبدئيًا على مجموعتي البيانات الفرعيتين  و، ثم خضع لتدريب نهائي مكثف على مجموعة  الضخمة التي تضم 600 مليون صورة مصحوبة بأوصاف نصية. وقد اختيرت هذه الصور بدقة بناءً على تقييمات نموذج  الذي تنبأ بإعجاب البشر بها بدرجة لا تقل عن خمسة من عشرة.

ولضمان جودة الصور، استُبعدت الصور منخفضة الدقة والصور التي تحمل علامات مائية (والتي حددها نموذج  بنسبة احتمال تجاوزت 80%). كما حُذفت عشرة بالمائة من بيانات التدريب النصية في المراحل النهائية لتحسين عملية الانتشار التوليدي.

استغرقت عملية تدريب النموذج 150 ألف ساعة عمل لوحدات معالجة الرسوميات من نوع إنفيديا A100، وذلك باستخدام خدمات الحوسبة السحابية من أمازون ويب. وقد بلغت التكلفة الإجمالية للتدريب حوالي 600 ألف دولار أمريكي.

بلغت تكلفة تدريب النموذج SD3 حوالي عشرة ملايين دولار أمريكي.

 القيود 

تواجه تقنية "الانتشار المستقر" تحديات تتعلق بتدهور جودة الصور وعدم دقتها في بعض الحالات. فقد تم تدريب النسخ الأولية من هذا النموذج على مجموعة بيانات تضم صورًا بدقة 512×512 بكسل، مما يؤدي إلى تدهور ملحوظ في جودة الصور الناتجة عند ابتعاد مواصفات المستخدم عن هذه الدقة المحددة مسبقًا. وقد قدم الإصدار الثاني من النموذج لاحقًا إمكانية توليد صور بدقة أعلى تصل إلى 768×768 بكسل.

ومن التحديات الأخرى التي تواجه هذا النموذج هي صعوبة توليد صور واقعية للأطراف البشرية، وذلك بسبب ضعف جودة بيانات الأطراف المتوفرة في قاعدة البيانات المستخدمة في التدريب. ولم يدُرب النموذج بشكل كافٍ لفهم تفاصيل الأطراف والوجوه البشرية نتيجة نقص السمات التمثيلية في قاعدة البيانات، مما قد يؤدي إلى نتائج غير متوقعة عند محاولة توليد صور بهذه التفاصيل. وقد تم إطلاق الإصدار الأول من "الانتشار المستقر إكس إل" (SDXL) في يوليو 2023، والذي يوفر دقة أعلى تصل إلى 1024×1024 بكسل وتحسينًا في توليد الأطراف والنص.

قد يُشكّل توافر المطورين الأفراد عائقًا إضافيًّا. فلتخصيص النموذج لحالات استخدام جديدة لم تغطها مجموعة البيانات التدريبية، كما في حالة نموذج "وايفو ديفيوجن" لتوليد شخصيات الأنمي،  يتطلب الأمر جمع بيانات جديدة وإجراء تدريب إضافي. وقد استُخدمت تعديلات دقيقة على نموذج "ستيبل ديفيوجن" نتجت عن إعادة تدريب إضافية لتغطية مجموعة واسعة من التطبيقات، بدءًا من التصوير الطبي،  ووصولًا إلى توليد الموسيقى خوارزميًّا. إلا أن عملية الصقل الدقيق هذه حساسة لجودة البيانات الجديدة؛ فالصور منخفضة الدقة أو ذات جودة مختلفة عن البيانات الأصلية لا تؤدي فقط إلى الفشل في تعلم المهمة الجديدة، بل تساهم أيضًا في تدهور الأداء العام للنموذج. وحتى مع تدريب النموذج على صور عالية الجودة، يواجه الأفراد تحديًا في تشغيل النماذج على الأجهزة الاستهلاكية. فعلى سبيل المثال، يتطلب تدريب نموذج "وايفو ديفيوجن" ذاكرة وصول عشوائي للفيديو لا تقل عن 30 جيجابايت ، وهو ما يتجاوز الموارد المتاحة عادة في وحدات معالجة الرسوميات الاستهلاكية مثل سلسلة جيفورس 30 من إنفيديا، التي تبلغ سعتها حوالي 12 جيجابايت فقط.

يُقرّ مبتكرو نموذج ستيبل ديفيوجن بوجود احتمال التحيز الخوارزمي، حيث دُرب النموذج بشكل أساسي على صور مصحوبة بأوصاف باللغة الإنجليزية. ونتيجة لذلك، تعكس الصور الناتجة عن النموذج التحيزات الاجتماعية السائدة في المنظور الغربي، إذ لاحظ المبتكرون نقصًا في البيانات المستمدة من مجتمعات وثقافات أخرى. كما يقدم النموذج نتائج أدق للمطالبات المصاغة باللغة الإنجليزية مقارنةً باللغات الأخرى، وغالبًا ما تكون الثقافات الغربية أو البيضاء هي التمثيل الافتراضي.

 ضبط المستخدم النهائي 

لتجاوز القيود المفروضة على التدريب الأولي للنموذج، قد يقرر المستخدمون النهائيون إجراء تدريب إضافي لضبط مخرجات التوليد بدقة بحيث تتوافق مع حالات استخدام محددة، وهي عملية تعرف أيضًا بالتخصيص. هناك ثلاث طرق يمكن للمستخدمين من خلالها تطبيق الضبط الدقيق على نقطة تفتيش نموذج الانتشار المستقر:

 يمكن تدريب "التضمين" على مجموعة من الصور يزودها المستخدم، مما يُمكّن النموذج من توليد صور مماثلة بصريًا كلما استُخدم اسم التضمين ضمن موجه الإنشاء. وتستند عمليات التضمين إلى مفهوم "عكس النص" الذي طوره باحثون من جامعة تل أبيب عام 2022 بدعم من إنفيديا، حيث يتم ربط التمثيلات المتجهية للرموز المحددة التي يستخدمها مشفر نص النموذج بكلمات زائفة جديدة. ويمكن توظيف عمليات التضمين لتقليل التحيزات الكامنة في النموذج الأصلي أو لمحاكاة الأنماط البصرية.
 "الشبكة الفائقة" هي شبكة عصبية صغيرة مدربة مسبقًا يتم تطبيقها على نقاط مختلفة داخل شبكة عصبية أكبر، وتشير إلى التقنية التي ابتكرها مطور "نوفل أيه آي كوروموز" في عام 2021، والمخصصة في الأصل لنماذج محولات توليد النصوص. توجه الشبكات الفائقة النتائج نحو اتجاه معين، مما يسمح للنماذج القائمة على الانتشار المستقر بتقليد أسلوب الفن لفنانين معينين، حتى لو لم يتم التعرف على الفنان من قبل النموذج الأصلي؛ فهي تعالج الصورة من خلال العثور على مناطق رئيسية ذات أهمية مثل الشعر والعينين، ثم ترقيع هذه المناطق في مساحة كامنة ثانوية.
 "دريمبوث" هو نموذج توليدي للتعلم العميق طوره باحثون من غوغل للأبحاث وجامعة بوسطن عام 2022، وهو قادر على تعديل النموذج ليولد مخرجات دقيقة ومخصصة تصوّر موضوعًا محددًا، وذلك بعد تدريبه على مجموعة من الصور التي تصوّر هذا الموضوع.

 القدرات 
يدعم النموذج توليد صور جديدة بالكامل باستخدام مطالبات نصية تصف العناصر المراد تضمينها أو استبعادها من الناتج. كما يمكن لهذا النموذج أن يعيد رسم الصور الحالية بإضافة عناصر جديدة إليها، ويتم ذلك بتقديم نص دقيق للعناصر المطلوبة في عملية تُعرف بتوليف الصور الموجه. وتتم هذه العملية عبر آلية إزالة الضوضاء بالانتشار. بالإضافة إلى ذلك، يسمح النموذج أيضًا بتعديل الصور الموجودة جزئيًا عن طريق الإكمال الداخلي والخارجي، عند استخدامه مع واجهة مستخدم مناسبة تدعم هذه الميزات، والتي يوجد العديد منها مفتوحة المصدر.

يوصى بتشغيل النموذج باستخدام ذاكرة الوصول العشوائي للفيديو (VRAM) سعتها 10 جيجابايت أو أكثر. ومع ذلك، يمكن للمستخدمين الذين يملكون ذاكرة فيديو أقل أن يختاروا تحميل الأوزان بدقة نقطية float16 بدلًا من الدقة الافتراضية float32، وذلك لتحقيق توازن بين أداء النموذج وتقليل استهلاك الذاكرة.

 توليد النص إلى الصورة 

يستنفد البرنامج النصي المتوفر في برنامج استقرار الانتشار، المعروف بـ "نص إلى صورة" ، موجهًا نصيًا بالإضافة إلى مجموعة متنوعة من معاملات الخيارات التي تشمل أنواع أخذ العينات وأبعاد صورة الناتج وقيم البذور. يخرج البرنامج النصي ملف صورة بناءً على تفسير النموذج للموجه. تُوضع علامة مائية رقمية غير مرئية على الصور الناتجة للسماح للمستخدمين بتحديد الصورة على أنها مولدة بواسطة استقرار الانتشار،  رغم أن هذه العلامة المائية تفقد فعاليتها إذا تم تغيير حجم الصورة أو تدويرها.

تتضمن كل صورة مولدة من "نص إلى صورة" قيمة بذرة محددة تؤثر على صورة الناتج. قد يختار المستخدمون تعيين البذرة عشوائيًا لاستكشاف مخرجات مولدة مختلفة، أو استخدام نفس البذرة للحصول على ناتج مماثل لصورة تم إنشاؤها سابقًا. يمكن للمستخدمين أيضًا ضبط عدد خطوات الاستدلال لأخذ العينات؛ تستغرق القيمة الأعلى مدة زمنية أطول، ومع ذلك، قد تؤدي القيمة الأقل إلى عيوب مرئية. يسمح خيار آخر قابل للتكوين وهو قيمة مقياس التوجيه الخالي من التصنيف، للمستخدم بتعديل مدى التزام صورة الناتج بالموجه. قد تختار حالات الاستخدام الأكثر تجريبية قيمة مقياس أقل، بينما قد تستخدم حالات الاستخدام التي تهدف إلى مخرجات أكثر تحديدًا قيمة أعلى.

توفر واجهات المستخدم الأمامية لنموذج ستيبل ديفيوجن ميزات إضافية تسمح للمستخدمين بتعديل الوزن الممنوح لأجزاء معينة من المطالبة النصية، مثل زيادة أو تقليل التأكيد على الكلمات الرئيسية عن طريق إحاطتها بأقواس. تُعدّ "المطالبات السلبية" طريقة بديلة لضبط الوزن لأجزاء من المطالبة، وهي ميزة مدرجة في بعض التطبيقات الأمامية، مثل خدمة "دريم ستوديو" السحابية الخاصة بشركة "ستابيليتي أيه آي"، والتي تسمح للمستخدم بتحديد مطالبات يجب على النموذج تجنبها أثناء توليد الصورة.

 تعديل الصورة 

يستخدم نموذج "ستابل ديفوجن" برنامجًا نصيًا آخر يُعرف بـ "صورة إلى صورة" . يتلقى هذا البرنامج مطالبة نصية ومسارًا لصورة موجودة وقيمة عددية تتراوح بين صفر وواحد. ينتج البرنامج صورة جديدة مستندة إلى الصورة الأصلية مع إضافة عناصر تتوافق مع المطالبة النصية. تحدد القيمة العددية المقدمة كمية الضوضاء التي تُضاف إلى الصورة الناتجة. بزيادة هذه القيمة، يزداد التنوع في الصورة الناتجة، إلا أنه قد ينتج عن ذلك صورة لا تتسق دلاليًا مع المطالبة المقدمة.

تتعدد الطرق لتحويل الصورة إلى صورة أخرى، ومن أبرزها طريقة "SDEdit" التي تعتمد على إضافة ضوضاء إلى الصورة الأصلية، ثم إزالتها بطريقة مشابهة لعملية تحويل النص إلى صورة.

تُمكّن قدرة تقنية "صورة إلى صورة" من إضافة تشويش بصري إلى الصورة الأصلية، مما يجعلها أداة واعدة في مجال إخفاء الهوية وتعزيز البيانات. إذ يتم من خلال هذه التقنية تعديل الملامح البصرية للصورة وإخفاء هويتها الأصلية. ولا يقتصر دور هذه العملية على إخفاء الهوية فقط، بل يمكن الاستفادة منها أيضًا في تحسين دقة الصورة وزيادة التفاصيل بها. وقد خضعت تقنية "ستابل ديفوجن" لتجارب لاستخدامها في ضغط الصور. ورغم ذلك، كشفت المقارنات مع تقنيات الضغط التقليدية مثل جيه بيه إي جي وويب بي عن وجود قيود في قدرة "ستابل ديفوجن" على الحفاظ على جودة النصوص الصغيرة والوجوه عند تطبيق عملية الضغط.

تتيح العديد من التطبيقات الأمامية لنموذج "ستابل ديفوجن" إمكانيات إضافية لتعديل الصور بطريقة "صورة إلى صورة". ومن بين هذه الإمكانيات، نجد عملية "الالتصاق" التي تسمح بتعديل جزء محدد من صورة موجودة. يتم تحديد هذا الجزء بواسطة قناع طبقة يوفره المستخدم، ثم يتم ملء المساحة المحددة بمحتوى جديد يتم توليده بناءً على وصف نصي يقدمه المستخدم. وقد طورت شركة "ستابيليتي أيه آي" نموذج متخصص ومعدل خصيصًا لمهام الالتصاق هذه، وذلك بالتزامن مع إطلاق الإصدار الثاني من نموذج "ستابل ديفوجن". وبجانب عملية الالتصاق، توجد عملية أخرى تسمى "الالتصاق الخارجي" والتي تعمل على توسيع الصورة خارج أبعادها الأصلية، ويتم ملء المساحة الإضافية بمحتوى جديد يتم توليده بناءً على وصف نصي يقدمه المستخدم.

تم تقديم نموذج جديد يعتمد على مفهوم العمق، أُطلق عليه اسم "عمق إلى صورة" ، وذلك بالتزامن مع إصدار النسخة الثانية من برنامج ستابل ديفيوجن في 24 نوفمبر 2022. يستطيع هذا النموذج أن يستخلص معلومات العمق من أي صورة يعمل عليها، ثم يقوم بإنشاء صورة جديدة تستجيب للمطالبة النصية مع الحفاظ على عمق الصورة الأصلية. وبذلك، يضمن النموذج الجديد الحفاظ على الاتساق والعمق في الصورة الناتجة.

 شبكة التحكم 
شبكة التحكم  هي بنية عصبية صُمِّمت خصيصًا لإدارة نماذج الانتشار عبر إدماج شروط إضافية. تعمل هذه الشبكة على استنساخ أوزان كتل الشبكة العصبية الأصلية إلى نسختين: نسخة "ثابتة" وأخرى "قابلة للتدريب". تتولى النسخة "القابلة للتدريب" مهمة تعلم الشرط المطلوب، في حين تحافظ النسخة "الثابتة" على النموذج الأصلي دون تغيير. تضمن هذه الآلية عدم المساس بسلامة نماذج الانتشار الجاهزة للإنتاج عند تدريبها على مجموعات بيانات صغيرة من أزواج الصور.

 واجهات المستخدم 

تُوفر شركة "ستابيليتي أيه آي" خدمةً لتوليد الصور عبر الإنترنت تُسمى دريم ستوديو. كما أصدرت نسخة مفتوحة المصدر من دريم ستوديو تُسمى ستابل ستوديو. بالإضافة إلى ذلك، توجد العديد من الواجهات مفتوحة المصدر من جهات خارجية، مثل "ستيبل ديفيوجن ويب يو آي"، والتي تُعد الأكثر شيوعًا وتوفر ميزات إضافية،  و"فوكس" التي تهدف إلى تقليل كمية المطالبات المطلوبة من المستخدم،  و"كومفي يو آي" التي تمتلك واجهة مستخدم مبنية على العقد، وهي في الأساس لغة برمجة مرئية شبيهة بالعديد من تطبيقات نمذجة ثلاثية الأبعاد.

 الإصدارات 
+رقم الإصدارتاريخ الإصدارالمعلماتملاحظات1.1، و1.2، و1.3، و1.4أغسطس 2022أُصدرت جميع الإصدارات بواسطة فريق "كومبفيس". لا يوجد "إصدار 1.0". نشأ الإصدار 1.2 عن الإصدار 1.1، وظهر الإصداران 1.3 و1.4 من الإصدار 1.2.1.5أكتوبر 2022983 مليون ضُبط هذا النموذج على قيمة أولية مقدارها 1.2 بدلاً من 1.4، وقد تم إطلاقه من قبل شركة "رنواي إم إل".2.0نوفمبر 2022أُعيد تدريبه من البداية على مجموعة بيانات مُنقّاة.2.1ديسمبر 2022ضُبِط النموذج على أوزان 2.0.XL 1.0يوليو 20233.5 ملياريضم النموذج الأساسي لـ XL 1.0 معلمات قدرها 3.5 مليار معلمة، مما يجعله أكبر بحوالي 3.5 مرة من الإصدارات السابقة.XL Turboنوفمبر 2023مُقطّر من XL 1.0 ليعمل في عدد أقل من خطوات الانتشار.3.0فبراير 2024 (معاينة مبكرة)800 مليون إلى 8 مليارعائلة من النماذج.3.5أكتوبر 20242.5 مليار إلى 8 مليارعائلة من النماذج تضم نموذجًا كبيرًا (8 مليار معلمة)، ونموذجًا كبيرًا مدربًا (مستخلص من SD 3.5 الكبير)، ونموذجًا متوسطًا (2.5 مليار معلمة).

 الأوراق الرئيسية 
  (صدرت في 2021).
 توضح هذه الورقة طريقة CLIP لتدريب مشفرات النصوص، التي تحول النصوص إلى متجهات فاصلة عائمة. تستخدم هذه التشفيرات النصية من قبل نموذج الانتشار لخلق الصور.
  (صدرت في 2021).
 تصف هذه الورقة SDEdit، المعروفة أيضًا باسم "img2img".
  (صدرت 2021، وحُدثت في 2022).
 تصف هذه الورقة نموذج الانتشار الكامن (LDM). وهو العمود الفقري لبنية ستيبل ديفيوجن.
  (صدرت في 2022).
 توضح هذه الورقة طريقة CFG، التي تمكن متجه التشفير النصي من توجيه نموذج الانتشار نحو إنشاء الصورة التي يصفها النص.
  (صدرت في 2023).
 تصف SDXL.
  (صدرت في 2022).
 تصف التدفق المعدل، الذي يتم استخدامه لبنية العمود الفقري لـ SD 3.0.
  (صدرت في 2024).
 تصف SD 3.0.

 مدة التدريب 
بلغت مدة تدريب نموذج "ستيبل ديفيوجن 2.0" حوالي 0.2 مليون ساعة على وحدة معالجة رسوميات من نوع إنفيديا A100 بسعة 40 جيجابايت.

 الاستخدام والجدل 
تؤكد "ستابيليتي أيه آي" على عدم وجود أي حقوق ملكية للصور التي يولدها النموذج، وتمنح المستخدمين الحرية التامة في استخدام هذه الصور، شريطة ألا يكون محتوى الصورة مخالفًا للقانون أو مسيئًا للأفراد. وقد دُرب النموذج على مجموعة ضخمة من الصور دون تدخل بشري، مما أدى إلى ظهور بعض الصور الضارة وكميات كبيرة من البيانات الشخصية والحساسة في بيانات التدريب. وقد أعرب الفنانون البصريون التقليديون عن قلقهم من أن الاستخدام الواسع لبرامج توليد الصور مثل "ستابل ديفيوجن" قد يؤدي في النهاية إلى تآكل قدرات الفنانين البشرية، بما في ذلك المصورين والممثلين والمنتجين السينمائيين، وذلك بسبب المنافسة المتزايدة من التقنيات المدعومة بالذكاء الاصطناعي.

يتميز نموذج "ستابل ديفيوجن" بمرونة أكبر في توليد أنواع مختلفة من المحتوى، بما في ذلك المحتوى العنيف أو الجريء جنسياً، مقارنة بمنتجات الذكاء الاصطناعي التوليدية الأخرى المتاحة تجارياً. وفي مواجهة المخاوف المتعلقة بإساءة استعمال هذا النموذج، يرى  الرئيس التنفيذي لشركة "ستابيليتي أيه آي"، أن "المسؤولية تقع على عاتق الأفراد في التعامل مع هذه التكنولوجيا بشكل أخلاقي وقانوني". ويؤكد مشتاق أن جعل قدرات "ستابل ديفيوجن" متاحة للجمهور بشكل واسع سيؤدي إلى تحقيق فوائد صافية للتكنولوجيا، رغم وجود بعض الآثار الجانبية المحتملة. ويرى مشتاق أيضًا أن الهدف من جعل "ستابل ديفيوجن" مفتوح المصدر هو كسر الاحتكار الذي تمارسه الشركات الكبرى على هذه التقنيات، حيث كانت هذه الشركات تقتصر على تطوير أنظمة ذكاء اصطناعي مغلقة لتوليد الصور. ويتجلى ذلك في سهولة تجاوز أي قيود تفرضها شركة "ستابيليتي أيه آي" على المحتوى الذي يمكن توليده، وذلك بفضل توفر رمز المصدر.

أثير جدل واسع حول انتشار صور مزيفة أنتجها نموذج "ستابل ديفيوجن" المدعوم بالذكاء الاصطناعي. تصور هذه الصور أشخاصًا حقيقيين بطريقة مبتذلة ومخلة بالآداب، ولا سيما القصر، وقد بلغ هذا الجدل ذروته عند انتشار تلك الصور على منصات مثل بكسيف.

وفي حادثة أخرى، تعرضت واجهة المستخدم "كومفي يو آي" لهجوم إلكتروني في يونيو عام 2024. زعم القراصنة أنهم استهدفوا مستخدمي هذه الأداة الذين ارتكبوا ما وصفوه بـ"الخطايا"، والتي شملت إنتاج أعمال فنية مستخدمين الذكاء الاصطناعي وسرقة أعمال فنية أخرى والترويج للعملات المشفرة.

 التقاضي 

 أندرسن ومكيرنان وأورتي ضد ستابيليتي أيه آي، وميدجورني، وديفيانت آرت 
في يناير 2023 رفعت كل من سارة أندرسن وكيلي مكيرنان وكارلا أورتيز، وهن ثلاث فنانات، دعوى قضائية ضد كل من شركتي ستابيليتي أيه آي وميدجورني ومنصة "ديفيانت آرت"، متهمات إياهن بانتهاك حقوق ملايين الفنانين. وقد استندت الدعوى إلى ادعاء بأن الشركات المذكورة قامت بتدريب أدواتها المعتمدة على الذكاء الاصطناعي على خمسة مليارات صورة جُمعت من شبكة الإنترنت دون الحصول على موافقة مسبقة من أصحاب حقوق الملكية الفكرية لهذه الصور. وفي يوليو من العام نفسه، أصدر القاضي الأمريكي وليام أوريك قرارًا قضى برفض معظم المطالب الواردة في الدعوى. ومع ذلك، فقد سمح القاضي للفنانات بتقديم شكوى معدلة، مما أتاح لهن فرصة لإعادة صياغة حججهن القانونية وتقديم أدلة جديدة لدعم دعواهن.

 صور غيتي ضد ستابيليتي أيه آي 
في يناير 2023، بدأت صور غيتي إجراءات قانونيةً ضد ستابيليتي أيه آي في المحكمة العليا الإنجليزية، زاعمةً انتهاكًا كبيرًا لحقوق الملكية الفكرية الخاصة بها. تزعم صور غيتي أن ستابيليتي أيه آي "كشطت" ملايين الصور من مواقع غيتي على الويب دون موافقة واستخدمت هذه الصور لتدريب وتطوير نموذج ستيبل ديفيوجن للتعلم العميق الخاص بها.

تشمل النقاط الرئيسية للدعوى القضائية:

 تدّعي شركة "غيتي إيميجز" أن نموذج الذكاء الاصطناعي "ستيبل ديفيوجن" قد تم تدريبه وتطويره باستخدام صورها دون الحصول على إذن مسبق، حيث تم تحميل هذه الصور على خوادم وأجهزة حاسوب يرجح وجودها في المملكة المتحدة. إلا أن شركة ستابيليتي أيه آي، صاحبة النموذج، تُدافع عن نفسها مؤكدةً أن جميع عمليات التدريب والتطوير تمت خارج الأراضي البريطانية، وتحديدًا في مراكز بيانات شركة أمازون ويب المتواجدة في الولايات المتحدة.
 قدمت شركة "ستابيليتي أيه آي" طلبًا قضائيًا عاجلًا لإلغاء أو شطب ادعاءين هما "التدريب والتطوير"، و"الانتهاك الثانوي" لحقوق النشر. ومع ذلك، رفضت المحكمة العليا هذا الطلب، مما مكن المدعي من المضي قدمًا في الدعوى. ومن المقرر أن تبحث المحكمة في مسألة ما إذا كان تدريب وتطوير نموذج ستيبل ديفيوجن قد حدث في المملكة المتحدة، وهي مسألة جوهرية لتحديد الاختصاص القضائي للمحكمة بموجب قانون حقوق النشر والتصاميم والبراءات لعام 1988 في المملكة المتحدة.
 يدور النزاع في هذه الدعوى حول انتهاك الحقوق الثانوية حول ما إذا كان برنامج "ستيبل ديفيوجن" المدرب مسبقًا، والذي يتوفر في المملكة المتحدة عبر منصات مثل غيت هاب، وهوجينج فيس، ودريم ستوديو، يُعد عملًا "مُصنفًا" وفقًا لما نصت عليه المادتان 22 و23 من قانون حقوق المؤلف. وتتمثل المسألة الجوهرية التي ستحسمها المحكمة في تحديد ما إذا كان مصطلح "المصنف" يشمل الكيانات غير الملموسة مثل البرامج الحاسوبية.

ومن المتوقع أن تُعقد المحاكمة صيف عام 2025، وستكون لها آثار بالغة على قانون حق المؤلف في المملكة المتحدة وتراخيص المحتوى الذي يُولَّد بواسطة الذكاء الاصطناعي.

 الرخصة 
بخلاف نماذج مثل دال-إي، تتيح "ستيبل ديفيوجن" كودها المصدري للعموم،  بالإضافة إلى النموذج ذاته (الأوزان المدربة مسبقًا). وقبل الإصدار الثالث من "ستيبل ديفيوجن"، كان النموذج يخضع للترخيص الإبداعي "إم إل أوبن آر إيل-إم" ، وهو نوع من تراخيص الذكاء الاصطناعي المسؤول. يحظر هذا الترخيص بعض الاستخدامات، مثل ارتكاب الجرائم والتشهير والتحرش واستقاء المعلومات الشخصية والتشهير الإلكتروني واستغلال القصر وتقديم المشورة الطبية وإنشاء الالتزامات القانونية تلقائيًا وإنتاج الأدلة القانونية والتمييز ضد الأفراد أو الجماعات أو إيذائهم بناءً على السلوك الاجتماعي أو الخصائص الشخصية أو الفئات المحمية قانونًا. ويحتفظ المستخدم بحقوق الملكية للصور التي يولدها، ويجوز له استخدامها لأغراض تجارية.

يعتمد الإصدار 3.5 من نموذج ستيبل ديفيوجن على ترخيص مجتمعي مفتوح صادر عن شركة ستابيليتي أيه آي، في حين تشترط الشركة الترخيص التجاري على الشركات التجارية التي تتجاوز إيراداتها السنوية مليون دولار أمريكي. وعلى غرار ترخيص أوبن آر إيل-إم، يحتفظ المستخدم بحقوق الملكية الكاملة للصور التي ينتجها باستخدام هذا النموذج، ويتسنى له استخدامها في الأغراض التجارية دون قيود.

 انظر أيضا 
 فن الذكاء الاصطناعي
 ميدجورني
 دال-إي
 جوجل برين

 مراجع 

تصنيف:برمجيات 2022
تصنيف:جدل فني
تصنيف:تعلم غير مراقب
تصنيف:توليد الصور من النص
تصنيف:فنون ذكاء اصطناعي