موضوع مقاله: مدل متن به تصویر | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # مدل متن به تصویر | مقدمه: مدل متن به تصویر یک مدل یادگیری ماشینی است که یک توصیف زبان طبیعی را به عنوان ورودی می‌گیرد و تصویری مطابق با آن توصیف تولید می‌کند. | ## بخش 1: مدل متن به تصویر | این مدل‌ها در اواسط دهه ۲۰۱۰ در نتیجه پیشرفت در شبکه‌های عصبی عمیق شروع به توسعه کردند. در سال ۲۰۲۲، خروجی به روزترین مدل‌های تبدیل متن به تصویر، مانند مدل دال ئی ۲ از اوپن‌ای‌آی و استیبل دیفیوژن از استبیلیتی ای‌آی به کیفیت عکس‌های واقعی و نقاشی‌های انسانی نزدیک تر شدند. مدل‌های متن به تصویر عموماً یک مدل زبان ، که متن ورودی را به یک نمایش پنهان تبدیل می‌کند، و یک مدل تصویر تولیدی که یک تصویر براساس آن نمایش تولید می‌کند را ترکیب می‌کنند. مؤثرترین مدل‌ها عموماً بر روی مقادیر انبوهی از داده‌های تصویر و متن استخراج شده از وب آموزش داده شده‌اند. قبل از ظهور یادگیری عمیق، تلاش‌ها برای ساخت مدل‌های متن به تصویر به ساخت کلاژ با کنار هم قرار دادن تصاویر تشکیل دهندهٔ موجود، مانند پایگاه داده‌های کلیپ آرت محدود می‌شد. برعکس این عمل که نوشتن شرح تصویر نام دارد، قابل انجام‌تر بود و تعدادی از مدل‌های یادگیری عمیق شرح تصویر، قبل از اولین مدل‌های متن به تصویر وجود داشتند. تصاویر تولید شده توسط alignDRAW تار و غیر واقعی بودند، اما مدل قادر بود به اشیایی که در داده‌های آموزشی نشان داده نشده‌اند تعمیم یابد (مانند اتوبوس مدرسهٔ قرمز رنگ)، و به‌طور مناسب از پس ورودی‌های جدید مانند "تابلوی علامت توقف که در حال پرواز در آسمان آبی است " برآمد. این موضوع نشان می‌دهد که مدل صرفاً داده‌های مجموعه آموزشی را «به خاطر» نمی‌سپرده است. اولین کسانی بودند که از شبکه‌های متخاصم مولد برای کار متن به تصویر استفاده کردند. آن‌ها با مدل‌هایی که بر روی مجموعه‌داده‌های محدود و مخصوص به حوزه‌های خاص آموزش دیده بودند، توانستند تصاویر «قابل قبول بصری» از پرندگان و گل‌ها را از زیرنویس‌هایی مانند «پرنده‌ای تماماً سیاه با یک منقار ضخیم و گرد متمایز» تولید کنند. | ## بخش 2: مدل متن به تصویر | یک مدل آموزش دیده بر روی مجموعه داده‌های متنوع تر COCO، تصاویری را تولید کرد که «از دور… دلگرم کننده»، اما فاقد انسجام در جزئیات بودند. یکی از اولین مدل‌های تبدیل متن به تصویر که توجه عموم را به خود جلب کرد، دال-ئی از شرکت اوپن‌ای‌آی بود، یک سیستم ترانسفورماتور که در ژانویه ۲۰۲۱ معرفی شد. معماری و آموزش مدل‌های متن به تصویر با استفاده از معماری‌های مختلف ساخته شده‌اند. مرحله رمزگذاری متن ممکن است با یک شبکه عصبی تکراری مانند شبکه حافظه کوتاه مدت (LSTM) انجام شود، اگرچه مدل‌های ترانسفورماتور از آن زمان به گزینه محبوب‌تری تبدیل شده‌اند. برای مرحله تولید تصویر، شبکه‌های متخاصم مولد مشروط معمولاً مورد استفاده قرار می‌گیرند و مدل‌های انتشار نیز در سال‌های اخیر به یک گزینه محبوب تبدیل شده‌اند. به جای آموزش مستقیم یک مدل برای خروجی یک تصویر با وضوح بالا مشروط به جاسازی متن، یک تکنیک رایج این است که یک مدل را برای تولید تصاویر با وضوح پایین آموزش داده، و از یک یا چند مدل یادگیری عمیق کمکی برای ارتقاء آن استفاده شود، تا به آن جزئیات اضافه کند. مدل‌های متن به تصویر بر روی مجموعه داده‌های بزرگ به صورت جفت (متن، تصویر) آموزش داده می‌شوند که اغلب از وب جمع آوریمی‌شوند. Google Brain با مدل Imagen 2022 خود نتایج مثبتی را از استفاده از یک مدل زبان بزرگ که به طور جداگانه بر روی یک مجموعه فقط متنی آموزش داده شده بود (که وزن‌های آن متعاقباً منجمد شده بود) گزارش کرد، که از رویکرد استاندارد قبلی فاصله گرفت. آموزش یک مدل متن به تصویر نیاز به مجموعه داده‌ای از تصاویر همراه با زیرنویس متن دارد. COCO که توسط مایکروسافت در سال ۲۰۱۴ منتشر شد، شامل حدود ۱۲۳۰۰۰ تصویر است که انواع مختلفی از اشیاء را با پنج عنوان در هر تصویر، که توسط حاشیه‌نویس‌های انسانی ایجاد شده‌اند، به تصویر می‌کشد، Oxford-120 Flowers و CUB-200 Birds مجموعه داده‌های کوچکتری از هر کدام حدود ۱۰۰۰۰ تصویر هستند که به ترتیب به گل‌ها و پرندگان محدود می‌شوند. | ## بخش 3: مدل متن به تصویر | آموزش یک مدل متن به تصویر با کیفیت بالا با این مجموعه داده‌ها، به دلیل دامنه محدود موضوع آنها، کمتر دشوار تلقی می‌شود. ارزیابی ارزیابی و مقایسه کیفیت مدل‌های متن به تصویر یک مشکل چالش‌برانگیز است و شامل ارزیابی چندین ویژگی مطلوب می‌باشد. برای هر مدل تصویر تولیدی، مطلوب است که تصاویر تولید شده واقع گرایانه باشند (به این معنا که به نظر می‌رسد تا حد قابل قبولی متعلق به مجموعه آموزشی باشند) و در سبک خود متنوع باشند. یک نیازمندی خاص برای مدل‌های متن به تصویر این است که تصاویر تولید شده از نظر معنایی با زیرنویس‌های متنی که برای تولید آن‌ها استفاده می‌شوند همخوانی داشته باشند. تعدادی روش برای ارزیابی این کیفیت‌ها ابداع شده است، برخی خودکار و برخی دیگر بر اساس قضاوت انسان. یک معیار الگوریتمی رایج برای ارزیابی کیفیت و تنوع تصویر، امتیاز اولیه (IS) است، که بر اساس توزیع برچسب‌های پیش‌بینی‌شده توسط یک مدل طبقه‌بندی تصویر Inceptionv3 از پیش آموزش‌دیده و اعمال شده بر بر نمونه‌ای از تصاویر تولید شده توسط مدل متن به تصویر می‌باشد. امتیاز زمانی افزایش می‌یابد که مدل طبقه‌بندی تصویر یک برچسب واحد را با احتمال زیاد پیش‌بینی کند، طرحی که به نفع تصاویر تولید شدهٔ «متمایز» است. یکی دیگر از معیارهای محبوب، فاصله اولیه فریشت مربوطه است که توزیع تصاویر تولید شده و تصاویر آموزشی واقعی را با توجه به ویژگی‌های استخراج شده توسط یکی از لایه‌های نهایی یک مدل طبقه‌بندی تصویر از پیش آموزش دیده مقایسه می‌کند. یک منبع خبری تعیین کرد که هنر هوش مصنوعی بسیار فراگیر می‌شود و گزارشی در مورد مشکلات ک‍پی رایت و اتوماتیک سازی هنرمندان حرفه ای ارایه داد. یک مجله احتمال ایجاد انواع جدید ابراز هنر را بیان کرد و یک سرمقاله تأکید کرد که این موضوع می‌تواند به عنوان یک افزایش توانایی انسان دیده شود. | ## جمع‌بندی | رسانه مصنوعی که شامل هنر هوش مصنوعی است، در ۲۰۲۲ به عنوان یک روند بزرگ تکنولوژی که کسب و کار را تحت تأثیر قرار می‌دهد، معرفی شده است.