موضوع مقاله: ابرنمونه‌برداری یادگیری عمیق | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # ابرنمونه‌برداری یادگیری عمیق | مقدمه: هدف این فناوری‌ها، فراهم آوردن امکانی است تا بخش عمدهٔ پایپ‌لاین گرافیکی برای دستیابی به عملکردی بالاتر، در وضوح پایین‌تری اجرا شود. | ## بخش 1: ابرنمونه‌برداری یادگیری عمیق | سپس، بر اساس این خروجی، تصویری با وضوح بالاتر بازسازی می‌شود که سطحی از جزئیات را مشابه حالتی تقریب می‌زند که گویی تصویر از ابتدا در همان وضوح بالا رندر شده است. این امر، بسته به ترجیح کاربر، امکان دستیابی به تنظیمات گرافیکی بالاتر ویا نرخ فریم بیشتر را در یک وضوح خروجی مشخص فراهم می‌آورد. تمام نسل‌های DLSS بر روی تمامی کارت‌های سری RTX انویدیا در عناوین پشتیبانی‌شده در دسترس هستند. با این حال، قابلیت فریم جنِرِیشن تنها بر روی پردازنده‌های گرافیکی سری ۴۰ یا جدیدتر پشتیبانی می‌شود و مالتی فریم جنریشن نیز تنها در پردازنده‌های گرافیکی سری ۵۰ در دسترس است. تاریخچه انویدیا در زمان عرضهٔ کارت‌های سری جی‌فورس ۲۰ در سپتامبر ۲۰۱۸، «ابرنمونه‌برداری یادگیری عمیق» را به عنوان یکی از ویژگی‌های کلیدی این محصولات معرفی کرد. در آن زمان، نتایج این فناوری به چند بازی ویدئویی معدود، از جمله بتلفیلد ۵ یا مترو اکسدس محدود می‌شد؛ زیرا الگوریتم می‌بایست برای هر بازی به‌صورت جداگانه آموزش داده شود و نتایج حاصل نیز معمولاً به‌اندازهٔ «ارتقای مقیاس وضوح ساده» رضایت‌بخش نبود. در سال ۲۰۱۹، بازی ویدئویی کنترل به همراه رهگیری پرتو و یک الگوریتم پردازش تصویر عرضه شد که عملکردی مشابه DLSS را تقریب می‌زد، اما از هسته‌های تنسور استفاده نمی‌کرد. در آوریل ۲۰۲۰، انویدیا نسخهٔ بهبودیافته‌ای از DLSS را با نام DLSS 2.0 به همراه راه‌انداز «نسخهٔ ۴۴۵٫۷۵» معرفی و عرضه کرد. DLSS 2.0 برای چند بازی موجود از جمله کنترل و ولفنشتاین: نیروی تازه‌نفس در دسترس قرار گرفت و بعداً به بسیاری از بازی‌های تازه‌منتشرشده و موتورهای بازی نظیر آنریل انجین و یونیتی افزوده شد. این بار انویدیا اعلام کرد که در این نسخه مجدداً از «هسته‌های تنسور» استفاده شده است و هوش مصنوعی نیازی به آموزش اختصاصی برای هر بازی ندارد. نخستین کنسول بازی ویدئویی که از DLSS استفاده کرد، نینتندو سوئیچ ۲، در ۵ ژوئن ۲۰۲۵ منتشر شد. تاریخچه انتشار انتشار تاریخ انتشار نکات برجسته۱٫۰فوریه ۲۰۱۹عمدتاً یک ارتقادهنده مقیاس تصویر فضایی، نیازمند آموزش اختصاصی برای پیاده‌سازی در هر بازی، در بتلفیلد ۵ و مترو اکسدس و موارد دیگر گنجانده شد«۱٫۹» (نام غیررسمی)اوت ۲۰۱۹نسخه ۱٫۰ ابرنمونه‌برداری (DLSS) که به‌جای هسته‌های تنسور، برای اجرا بر روی هسته‌های سایه‌زن کودا تطبیق داده شده بود و در کنترل استفاده شد۲٫۰آوریل ۲۰۲۰شکلی از TAAU (هموارسازی زمانی ارتقایافته) که توسط هوش مصنوعی و با استفاده از هسته‌های تنسور شتاب‌دهی شده و به‌صورت عمومی آموزش دیده است۳٫۰سپتامبر ۲۰۲۲ابرنمونه‌برداری ۳٫۰، تقویت‌شده با یک الگوریتم تولید فریم مبتنی بر «جریان نوری» (فقط در پردازنده‌های گرافیکی سری RTX 40 موجود است) تا فریم‌هایی را مابین فریم‌های رندرشده ایجاد کند۳٫۵سپتامبر ۲۰۲۳ابرنمونه‌برداری ۳٫۵ قابلیت «بازسازی پرتو» را اضافه می‌کند، که چندین الگوریتم نویززدا را با یک مدل هوش مصنوعی واحد جایگزین می‌کند که بر روی داده‌هایی پنج برابر بیشتر از DLSS 3 آموزش دیده است.۴٫۰ژانویه ۲۰۲۵ابرنمونه‌برداری ۴٫۰ قابلیت «تولید چندفریمی»، و یک مدل هوش مصنوعی جدید مبتنی بر معماری ترنسفورمر را اضافه می‌کند که پایداری فریم را بهبود بخشیده، استفاده از حافظه را کاهش داده و جزئیات نورپردازی را افزایش می‌دهد. ایست‌های از پیش تنظیم‌شده کیفیت هنگام استفاده از DLSS، بسته به بازی، کاربران علاوه بر گزینهٔ تنظیم دستی وضوح ارتقایافتهٔ رندرشدهٔ داخلی، به ایست‌های کیفیت از پیش تنظیم‌شدهٔ مختلفی دسترسی دارند: +ایست‌های از پیش تنظیم‌شده استاندارد DLSSایست از پیش تنظیم‌شده کیفیتضریب مقیاسمقیاس رندرDLAA۱ برابر۱۰۰٪کیفیت فوق‌العاده (استفاده‌نشده)۱٫۳۲ برابر۷۷٫۰٪کیفیت۱٫۵۰ برابر۶۶٫۷٪متعادل۱٫۷۲ برابر۵۸٫۰٪عملکرد۲٫۰۰ برابر۵۰٫۰٪عملکرد فوق‌العاده (از نسخه ۲٫۱؛ تنها برای وضوح‌های 8K و بالاتر توصیه می‌شود)۳٫۰۰ برابر۳۳٫۳٪خودکاروضوح رندرشده به‌صورت پویا و بی‌درنگ تنظیم می‌شود تا به اهداف نرخ فریم (fps) تعریف‌شده توسط کاربر دست یابد (مثلاً، ۱۴۴ فریم بر ثانیه در یک نمایشگر ۱۴۴ هرتز). پیاده‌سازی ابرنمونه‌برداری ۱٫۰ نخستین تکرار DLSS، عمدتاً یک «ارتقادهنده مقیاس تصویر فضایی» با دو مرحله است، که هر دو بر پیچشی خودرمزگذار شبکه‌های عصبی تکیه دارند. مرحله اول یک شبکه بهبود تصویر است که از فریم کنونی و «بردارهای حرکت» برای انجام بهبود لبه و هموارسازی فضایی استفاده می‌کند. مرحله دوم یک گام ارتقای مقیاس تصویر است که از تک‌فریم خام و کم‌وضوح برای ارتقای مقیاس تصویر به وضوح خروجیِ مورد نظر استفاده می‌کند. استفاده از تنها یک فریم برای ارتقای مقیاس بدین معناست که خود شبکه عصبی باید حجم زیادی اطلاعات جدید برای تولید خروجی با وضوح بالا ایجاد کند؛ این امر می‌تواند منجر به توهم‌های جزئی شود، مانند برگ‌هایی که سبک متفاوتی با محتوای منبع دارند. این شبکه‌های عصبی به‌صورت مجزا برای هر بازی آموزش داده می‌شوند؛ این کار با تولید یک «فریم بی‌نقص» با استفاده از ابرنمونه‌برداری سنتی تا ۶۴ نمونه در هر پیکسل، و همچنین بردارهای حرکت برای هر فریم، انجام می‌شود. داده‌های جمع‌آوری‌شده باید تا حد امکان جامع باشند، و شامل بیشترین تعداد ممکن از مراحل، ساعات مختلف روز، تنظیمات گرافیکی، وضوح‌ها و غیره باشند. این داده‌ها همچنین با استفاده از روش‌های رایج «افزایش داده» مانند چرخش، تغییرات رنگ و نویز تصادفی، تقویت می‌شوند تا به تعمیم داده‌های آزمایشی کمک کنند. این تکرار نخستین با بازخوردی دوگانه مواجه شد و بسیاری از ظاهر اغلب «نرم» و «آرتیفکت‌ها» در موقعیت‌های خاص انتقاد کردند؛ این مشکلات احتمالاً یک عارضه جانبی ناشی از داده‌های محدودِ حاصل از به‌کارگیری تنها یک فریم ورودی برای شبکه‌های عصبی بوده است، که نمی‌توانستند برای عملکرد بهینه در همه سناریوها و موارد مرزی آموزش ببینند. انویدیا همچنین توانایی شبکه‌های خودرمزگذار را در یادگیری قابلیت بازآفرینی عمق میدان و تاری حرکتی نشان داد، اگرچه این قابلیت هرگز در یک محصول منتشرشدهٔ عمومی گنجانده نشد. | ## بخش 2: ابرنمونه‌برداری یادگیری عمیق | ابرنمونه‌برداری ۲٫۰ ابرنمونه‌برداری ۲٫۰ یک پیاده‌سازی هموارسازی زمانی ارتقای نمونه (TAAU) است که از داده‌های فریم‌های پیشین به‌طور گسترده و از طریق «لرزش زیرپیکسلی» برای تفکیک جزئیات ظریف و کاهش دندانه‌دار شدن استفاده می‌کند. داده‌هایی که ابرنمونه‌برداری ۲٫۰ گردآوری می‌کند شامل: ورودی خام کم‌وضوح، بردارهای حرکتی، بافرهای عمق، و اطلاعات نوردهی و روشنایی است. این فناوری همچنین می‌تواند به‌عنوان یک پیاده‌سازی ساده‌تر TAA استفاده شود که در آن تصویر به‌جای ارتقای مقیاس توسط DLSS، در وضوح ۱۰۰٪ رندر می‌شود؛ انویدیا این قابلیت را DLAA (هموارسازی یادگیری عمیق) می‌نامد. یک نمونه از این روش‌ها «بستارسازی همسایگی» است که به‌اجبار مانع از آن می‌شود که نمونه‌های جمع‌آوری‌شده در فریم‌های قبلی، در مقایسه با پیکسل‌های مجاور در فریم‌های جدیدتر، بیش از حد انحراف داشته باشند. این روش به شناسایی و رفع بسیاری از آرتیفکت‌های زمانی کمک می‌کند، اما حذف عمدی جزئیات ظریف به این شیوه، مشابه اعمال یک فیلتر تاری است و در نتیجه، هنگام استفاده از این روش، تصویر نهایی ممکن است تار به نظر برسد. ابرنمونه‌برداری ۲٫۰ به‌جای اکتشاف‌های برنامه‌ریزی‌شده دستی که در بالا ذکر شد، از یک پیچشی خودرمزگذار شبکه عصبی استفاده می‌کند که برای شناسایی و رفع آرتیفکت‌های زمانی آموزش دیده است. به همین دلیل، DLSS 2.0 عموماً می‌تواند جزئیات را بهتر از سایر پیاده‌سازی‌های TAA و TAAU تفکیک کند و در عین حال، بیشتر آرتیفکت‌های زمانی را نیز حذف نماید. به همین دلیل است که DLSS 2.0 گاهی اوقات می‌تواند تصویری واضح‌تر از رندر در وضوح‌های بالاتر، یا حتی وضوح اصلی با استفاده از TAA سنتی، تولید کند. با این حال، هیچ راه‌حل زمانی بی‌نقص نیست، و آرتیفکت‌ها (به‌ویژه شبح‌زدگی) همچنان در برخی سناریوها هنگام استفاده از DLSS 2.0 قابل مشاهده هستند. از آنجایی که آرتیفکت‌های زمانی در اکثر سبک‌های هنری و محیط‌ها به شکلی مشابه رخ می‌دهند، شبکه عصبی که DLSS 2.0 را قدرت می‌بخشد، نیازی به آموزش مجدد هنگام استفاده در بازی‌های مختلف ندارد. با وجود این، انویدیا مکرراً بازبینی‌های جزئی جدیدی از DLSS 2.0 را همزمان با انتشار عناوین جدید عرضه می‌کند، بنابراین این موضوع می‌تواند نشان‌دهنده آن باشد که ممکن است برخی بهینه‌سازی‌های آموزشی جزئی همزمان با انتشار بازی‌ها انجام شود، اگرچه انویدیا برای تأیید این امر، سیاهه تغییرات این بازبینی‌های جزئی را ارائه نمی‌دهد. پیشرفت‌های اصلی در مقایسه با DLSS 1.0 عبارتند از: حفظ جزئیات به‌طور قابل توجهی بهبودیافته، یک شبکه عصبی تعمیم‌یافته که نیازی به آموزش مجدد برای هر بازی ندارد، و سربار تقریباً ۲ برابر کمتر (حدود ۱ تا ۲ میلی‌ثانیه در مقابل حدود ۲ تا ۴ میلی‌ثانیه). در عمل، این بدان معناست که بافت‌های کم‌وضوح در بازی‌ها، هنگام استفاده از تکنیک‌های TAAU فعلی، همچنان کم‌وضوح به نظر خواهند رسید. به همین دلیل است که انویدیا به توسعه‌دهندگان بازی توصیه می‌کند که هنگام فعال بودن DLSS 2.0، با اعمال یک «بایاس mip-map»، از بافت‌هایی با وضوح بالاتر از آنچه معمولاً برای یک وضوح رندر مشخص استفاده می‌کنند، بهره ببرند. ابرنمونه‌برداری ۳٫۰ این نسخه با بهره‌گیری از درون‌یابی حرکتی، ابرنمونه‌برداری ۲٫۰ را تقویت می‌کند. الگوریتم «فریم جنریشن» در DLSS، دو فریم رندرشده را از خط لوله رندر دریافت می‌کند و یک فریم جدید ایجاد می‌کند که گذار بین آن دو را به نرمی انجام می‌دهد؛ بنابراین، به ازای هر فریم رندرشده، یک فریم اضافی تولید می‌شود. شتاب‌دهنده جریان نوری (OFA) جدید، سریع‌تر و دقیق‌تر از OFAهایی است که پیش‌تر در پردازنده‌های گرافیکی RTX نسل تورینگ و آمپر در دسترس بودند. ابرنمونه‌برداری ۳٫۵ ابرنمونه‌برداری ۳٫۵ قابلیت «بازسازی پرتو» را اضافه می‌کند، و چندین الگوریتم نویززدا را با یک مدل هوش مصنوعی واحد جایگزین می‌سازد که بر روی داده‌هایی پنج برابر بیشتر از DLSS 3 آموزش دیده است. «بازسازی پرتو» بر روی تمام پردازنده‌های گرافیکی RTX در دسترس است و نخست، بازی‌های دارای رهگیری مسیر («رهگیری کامل پرتو») را هدف قرار داد، از جمله بسته الحاقی شبح آزادی برای بازی سایبرپانک ۲۰۷۷ و همچنین بازی‌های پورتال و اَلن ویک ۲. ابرنمونه‌برداری ۴٫۰ نسل چهارم ابرنمونه‌برداری یادگیری عمیق در کنار سری جی‌فورس آرتی‌ایکس ۵۰ رونمایی شد. ارتقای مقیاس در DLSS 4 از یک مدل جدید بینایی مبتنی بر ترنسفورمر برای بهبود کیفیت تصویر با شبح‌زدگی یا گوستینگ کمتر و پایداری بیشتر تصویر در حرکت، در مقایسه با مدل پیشین شبکه عصبی پیچشی (CNN)، استفاده می‌کند. ابرنمونه‌برداری ۴٫۰ امکان تولید و درون‌یابی تعداد بیشتری فریم را بر اساس یک فریم رندرشدهٔ سنتی فراهم می‌آورد. | ## بخش 3: ابرنمونه‌برداری یادگیری عمیق | این شکل از فریم جنریشن که «تولید چندفریمی» نام دارد، منحصر به سری جی‌فورس آرتی‌ایکس ۵۰ است، در حالی که سری جی‌فورس آرتی‌ایکس ۴۰ به یک فریم درون‌یابی‌شده به ازای هر فریم رندرشدهٔ سنتی محدود است. انویدیا مدعی است که مدل «فریم جنریشن ۴ برابری» در DLSS 4، سی درصد کمتر حافظه ویدئویی مصرف می‌کند و برای مثال، بازی وارهمر ۴۰٬۰۰۰: دارک‌تاید در وضوح 4K با فعال بودن «فریم جنریشن»، ۴۰۰ مگابایت کمتر حافظه مصرف می‌کند. انویدیا مدعی است که ۷۵ بازی در زمان عرضه، قابلیت «تولید چندفریمی» DLSS 4 را یکپارچه‌سازی خواهند کرد، از جمله اَلن ویک ۲، سایبرپانک ۲۰۷۷، ایندیانا جونز و دایره بزرگ و جنگ ستارگان: قانون شکنان. سری جی‌فورس آرتی‌ایکس ۲۰ سری جی‌فورس آرتی‌ایکس ۳۰ سری جی‌فورس آرتی‌ایکس ۴۰ سری جی‌فورس آرتی‌ایکس ۵۰ مدل ترنسفورمر تولید فریم ۲× تولید فریم ۳–۴× ارتقای دستی پشتیبانی DLSS کاربران می‌توانند به‌صورت دستی «کتابخانه‌های پیوند پویا» را در بازی‌ها جایگزین کنند تا از نسخه جدیدتر DLSS پشتیبانی شود. جایگزینی فایل‌های DLL نمی‌تواند پشتیبانی یا ویژگی‌های DLSS را به بازی‌هایی که قبلاً آن را پیاده‌سازی نکرده‌اند اضافه کند، اگرچه برخی مادها می‌توانند پشتیبانی از «فریم جنریشن» را اضافه کنند. هموارسازی لبه ابرنمونه‌برداری به روش هموارسازی لبه خاص خود نیاز دارد و آن را اعمال می‌کند؛ بنابراین، بسته به بازی و تنظیمات کیفیتی مورد استفاده، استفاده از DLSS ممکن است کیفیت تصویر را حتی نسبت به رندر در وضوح اصلی بهبود بخشد. مانند TAA، این فناوری نیز از اطلاعات فریم‌های گذشته برای تولید فریم فعلی استفاده می‌کند. در عوض، پیکسل‌های متفاوتی را در فریم‌های مختلف نمونه‌برداری کرده و از پیکسل‌های نمونه‌برداری‌شده در فریم‌های گذشته برای پر کردن پیکسل‌های نمونه‌برداری‌نشده در فریم فعلی استفاده می‌کند. DLSS از یادگیری ماشین برای ترکیب نمونه‌ها در فریم فعلی و فریم‌های گذشته بهره می‌برد و می‌توان آن را یک پیاده‌سازی پیشرفته و برتر TAA در نظر گرفت که به لطف هسته‌های تنسورِ در دسترس، امکان‌پذیر شده است. انویدیا همچنین هموارسازی لبه یادگیری عمیق (DLAA) را ارائه می‌دهد، که همان هموارسازی لبه مبتنی بر هوش مصنوعی مورد استفاده در DLSS را، اما بدون هیچ‌گونه ارتقای مقیاس یا کاهش مقیاس، فراهم می‌کند. معماری به استثنای نسخه مبتنی بر «هسته سایه‌زن» که در بازی کنترل پیاده‌سازی شد، DLSS تنها بر روی کارت‌های ویدئویی سری جی‌فورس آرتی‌ایکس ۲۰،جی‌فورس آرتی‌ایکس ۳۰، جی‌فورس آرتی‌ایکس ۴۰، جی‌فورس آرتی‌ایکس ۵۰ و کوادرو آرتی‌ایکس در دسترس است و از شتاب‌دهنده‌های هوش مصنوعی اختصاصی به نام هسته‌های تنسور استفاده می‌کند. هسته‌های تنسور از زمان ریزمعماری پردازنده گرافیکی ولتا انویدیا، که نخستین بار در خط محصولات تسلا وی۱۰۰ استفاده شد، در دسترس بوده‌اند. این هسته‌ها برای انجام عملیات جمع-ضرب ذوب‌شده (FMA) استفاده می‌شوند که به‌طور گسترده در محاسبات شبکه عصبی برای اعمال سری بزرگی از ضرب‌ها بر روی وزن‌ها، و به دنبال آن افزودن یک بایاس، به کار می‌روند. هر هسته می‌تواند ۱۰۲۴ بیت عملیات FMA را در هر چرخه کلاک انجام دهد، بنابراین ۱۰۲۴ عملیات INT1 ،۲۵۶ عملیات INT4 ،۱۲۸ عملیات INT8 و ۶۴ عملیات FP16 در هر چرخه کلاک به ازای هر هسته تنسور انجام می‌شود، و اکثر پردازنده‌های گرافیکی تورینگ چند صد هسته تنسور دارند. هسته‌های تنسور از «ابتدایی‌های سطح Warp» در کودا بر روی ۳۲ رشته موازی استفاده می‌کنند تا از معماری موازی خود بهره ببرند. یک «Warp» مجموعه‌ای از ۳۲ رشته است که برای اجرای دستورالعمل یکسان پیکربندی شده‌اند. از ویندوز ۱۰ نسخه ۱۹۰۳، مایکروسافت ویندوزدایرکت‌اکس را به‌عنوان بخشی از دایرکت‌اکس برای پشتیبانی از هسته‌های تنسور فراهم کرد. از این رو، اندرو ادلستن، کارمند انویدیا، در سال ۲۰۱۹ در یک پست وبلاگی در مورد این مشکل اظهار نظر کرد و وعده داد که آن‌ها در حال کار بر روی بهبود این فناوری هستند و توضیح داد که الگوریتم هوش مصنوعی DLSS عمدتاً با مواد تصویری 4K آموزش دیده است. این که استفاده از DLSS منجر به تصاویر به‌خصوص تار در وضوح‌های پایین‌تر، مانند فول اچ‌دی می‌شود، به این دلیل است که الگوریتم، در مقایسه با وضوح‌های بالاتر مانند 4K، اطلاعات تصویری بسیار کمتری برای محاسبه تصویر مناسب در اختیار دارد. استفاده از «فریم جنریشن» در DLSS ممکن است منجر به افزایش «تأخیر ورودی» و همچنین «آرتیفکت‌های بصری» شود. همچنین این انتقاد مطرح شده است که با پیاده‌سازی DLSS در بازی‌هایشان، توسعه‌دهندگان بازی دیگر انگیزه‌ای برای بهینه‌سازی آن‌ها ندارند تا بازی‌ها در وضوح اصلی بر روی سخت‌افزارهای مدرن رایانه شخصی نیز روان اجرا شوند. | ## جمع‌بندی | مدل ارتقای مقیاس مبتنی بر هوش مصنوعی ترنسفورمر که با DLSS 4 معرفی شد، به دلیل بهبود کیفیت تصویر از نظر افزایش پایداری، کاهش شبح‌زدگی، هموارسازی لبه بهتر و سطح بالاتر جزئیات، و همچنین سازگاری عقب‌گرد و مقیاس‌پذیری آموزشی بالاتر در مورد بهبودهای آینده، با تحسین متوسطی روبرو شد.