موضوع مقاله: ترانسفورمر بینایی | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # ترانسفورمر بینایی | مقدمه: از سوی دیگر، شبکه‌های عصبی پیچشی (CNN) معمولاً در سیستم‌های پردازش تصویر استفاده می‌شوند. | ## بخش 1: ترانسفورمر بینایی | ترنسفورمرها روابط بین جفت نشانه های ورودی، مانند کلمات در داده های متنی را از طریق مکانیزمی به نام توجه تجزیه و تحلیل می کنند. با این حال، هزینه محاسباتی روابط محاسباتی برای هر جفت پیکسل در یک تصویر از نظر حافظه و قدرت پردازش بسیار زیاد است. برای رفع این مشکل، ترانسفورمرهایی بینایی روابط بین پیکسل‌ها را در بخش‌های کوچک‌تر تصویر (مثلاً 16×16 پیکسل) با هزینه‌ای قابل توجه محاسبه می‌کند. این یک توکن خاص است که تحت تأثیر همه توکن های دیگر قرار می گیرد و به عنوان تنها ورودی برای سر پرسپترون چندلایه نهایی عمل می کند. رایج‌ترین معماری برای طبقه‌بندی تصویر، تنها از رمزگذار ترنسفورمر برای تبدیل نشانه‌های ورودی استفاده می‌کند. با این حال، برنامه های کاربردی دیگری نیز وجود دارد که در آنها از بخش رمزگشای معماری سنتی ترنسفورمر استفاده می شود. این معماری بر اساس مفهوم مکانیزم های خود توجهی، به سرعت محبوبیت پیدا کرد و به یکی از امیدوارکننده ترین معماری های شبکه عصبی در پرداذش زبان های طبیعی تبدیل شد. هدف این رویکرد جدید پردازش تصاویر بدون تکیه بر عملیات کانولوشنال سنتی است که معمولاً در وظایف بینایی رایانه استفاده می شود. ایده کلیدی پشت ترانسفورمر بینایی این بود که تصاویر ورودی را به مجموعه‌ای از وصله‌ها تقسیم کنند که سپس به بردار تبدیل شدند. این نمایش‌های برداری به‌عنوان «کلمات» در یک ترانسفورماتور معمولی در نظر گرفته می‌شوند و به مدل اجازه می‌دهند تا روابط بین تکه‌های مختلف یک تصویر را ثبت کند. در حالی که مکانیسم های توجه در ترانسفورماتورها در ابتدا برای ثبت روابط بین کلمات در متن طراحی شده بودند، ترانسفورمر هایی بینایی این مفهوم را به قلمرو بینایی کامپیوتر گسترش داد. ترانسفورمر بینایی با استفاده از مکانیسم‌های خودتوجهی، قصد داشت روابط بین مناطق یا تکه‌های مختلف یک تصویر را ثبت کند. در سال 2021، عملکرد یک مدل ترانسفورماتور خالص از شبکه‌های عصبی پیچشی (CNN) در وظایف طبقه‌بندی تصویر پیشی گرفت و پتانسیل معماری‌های ترانسفورماتور را در بینایی کامپیوتر به نمایش گذاشت. این ادغام منجر به کاهش قابل توجه هزینه ها و افزایش دقت شد و سازگاری و هم افزایی بین ترانسفورماتورها و مدل های بینایی کامپیوتری موجود را برجسته کرد. با پیشرفت این زمینه، محققان انواع مختلفی از معماری ترانسفورمر بینایی را برای افزایش کارایی، دقت و کاربرد در حوزه‌های خاص پیشنهاد کردند. ترانسفورماتور سویین با ایجاد تغییراتی در مکانیسم توجه و اتخاذ یک رویکرد چند مرحله‌ای، بهبود عملکرد قابل توجهی را نشان داد. | ## بخش 2: ترانسفورمر بینایی | تایم اسفورمر توجه فضا-زمان را تقسیم بندی می کند تا هم اطلاعات مکانی و هم زمانی را به تصویر بکشد و آن را برای تجزیه و تحلیل فیلم ها و توالی فریم ها مناسب می کند. تأثیر ترانسفورمر بینایی فراتر از محدوده آزمایشگاه‌های تحقیقاتی و به برنامه‌های کاربردی در دنیای واقعی گسترش یافته است. ترانسفورمر بینایی کارایی خود را در پردازش اطلاعات بصری از حسگرها در وسایل نقلیه خودمختار نشان داده‌اند که درک بهتر، تشخیص اشیا و درک صحنه را ممکن می‌سازد. به طور خلاصه، معرفی معماری ترانسفورمر بینایی با اعمال مکانیسم های توجه مبتنی بر ترانسفورماتور بر روی تصاویر، بینایی کامپیوتر را متحول کرد. این پیشرفت منجر به بهبود عملکرد، افزایش کارایی و رویکردهای جدید برای تجزیه و تحلیل داده های بصری شد. این زمینه با تمرکز بر روی پالایش و گسترش قابلیت‌های ترانسفورمر بینایی در حوزه‌ها و کاربردهای مختلف، به تکامل خود ادامه می‌دهد. اجزای اصلی معماری ترانسفورمر بینایی شامل تعبیه پچ، استخراج ویژگی از طریق رمزگذارهای ترانسفورماتور انباشته، و سر طبقه بندی است.ساختار ترانسفورمر بینایی بدین صورت است که: ۱. یک تصویر را به وصله ها تقسیم کنید: تصویر ورودی به وصله های با اندازه ثابت تقسیم می شود. ۳.ایجاد جاسازی های خطی با ابعاد پایین تر: تکه های مسطح شده به صورت خطی در بردارهای با ابعاد پایین تر جاسازی می شوند. افزودن جاسازی های موقعیتی: جاسازی های موقعیتی برای حفظ اطلاعات مکانی به جاسازی های خطی اضافه می شوند. معماری ترانسفورمر بینایی از یک سری بلوک ترانسفورماتور تشکیل شده است که هر بلوک شامل دو لایه فرعی است: یک مکانیسم خودتوجهی چند سر و یک شبکه پیش‌خور از نظر موقعیت . آنها با موفقیت در کارهای مختلف تشخیص تصویر، مانند تشخیص اشیا، تقسیم‌بندی تصویر، طبقه‌بندی تصویر، و تشخیص عمل استفاده شده‌اند. به‌علاوه، ترانسفورمرهای بینایی در مدل‌سازی تولیدی و وظایف چندوجهی، از جمله زمینه‌سازی بصری، پاسخ‌گویی به سؤالات بصری، و استدلال بصری استفاده شده‌اند. برای پیاده‌سازی و آزمایش با معماری‌های ترانسفورمر بینایی، می‌توانید با مدل‌های ترانسفورمر بینایی از پیش آموزش‌دیده شروع کنید و آن‌ها را در وظایف خاص خود تنظیم کنید. هاگینگ فیس پیاده سازی ترانسفورمر بینایی را ارائه می دهد که می توانید برای این منظور از آن استفاده کنید.Vision Transformer (ViT) نقش یادگیری خود نظارتی در ترانسفورمر بینایی یادگیری خود نظارتی نقش بسزایی در پیشرفت حوزه بینایی کامپیوتر از جمله کاربرد آن در ترانسفورماتورهای بینایی داشته است. به طور سنتی، یادگیری نظارت شده به مجموعه داده های برچسب گذاری شده بزرگ نیاز دارد، جایی که هر تصویر به صورت دستی با برچسب کلاس مربوطه حاشیه نویسی می شود. | ## بخش 3: ترانسفورمر بینایی | با این حال، برچسب‌گذاری مجموعه‌های داده در مقیاس بزرگ می‌تواند زمان‌بر، پرهزینه و گاهی غیرعملی به دلیل حجم وسیع داده‌های موجود باشد. یادگیری خود نظارتی یک الگوی یادگیری است که هدف آن بهره برداری از ساختار یا محتوای ذاتی در خود داده های بدون برچسب است. به‌جای تکیه بر برچسب‌های صریح، مدل‌های یادگیری خود نظارتی برای پیش‌بینی ویژگی‌ها یا روابط خاص در داده‌ها بدون حاشیه‌نویسی ارائه‌شده توسط انسان آموزش داده می‌شوند. این به مدل‌ها امکان می‌دهد تا نمایش‌های مفیدی را از مقادیر زیادی از داده‌های بدون برچسب یاد بگیرند، که سپس می‌توانند برای کارهای تحت نظارت خاص تنظیم شوند. با استفاده از حجم عظیمی از داده های تصویر بدون برچسب موجود، یادگیری خود نظارتی به ترانسفورماتورهای بینایی اجازه می دهد تا نمایش های بصری معنی دار و قوی را بیاموزند. این نمایش‌ها ویژگی‌های مختلف سطح پایین و سطح بالای تصاویر، مانند بافت‌ها، اشکال و مفاهیم معنایی را به تصویر می‌کشند. هدف یادگیری متضاد این است که نمونه‌های مشابه را در فضای ویژگی‌های آموخته‌شده نزدیک‌تر کند در حالی که نمونه‌های غیرمشابه را از هم جدا می‌کند. در مورد ترانسفورماتورهای بینایی، از افت کنتراست استفاده می‌شود تا مدل را تشویق کند تا بازنمایی‌هایی را بیاموزد که در نماهای مختلف یک تصویر یکسان هستند. به طور معمول، یادگیری خود نظارتی برای ترانسفورماتورهای بینایی شامل ایجاد چندین نما از یک تصویر ورودی با اعمال افزایش یا تبدیل داده است. سپس این مدل برای پیش‌بینی روابط بین دیدگاه‌ها، مانند پیش‌بینی یک دیدگاه از دیدگاه دیگر، آموزش داده می‌شود. این مرحله پیش‌آموزشی با نظارت شخصی، مقداردهی اولیه قدرتمندی را برای مدل فراهم می‌کند و به آن کمک می‌کند تا بازنمایی‌های بصری غنی را بیاموزد که می‌تواند بر روی داده‌های برچسب‌گذاری‌شده برای کارهای پایین‌دستی خاص، بیشتر تنظیم شود. این به این مدل‌ها اجازه می‌دهد از داده‌های بدون برچسب در مقیاس بزرگ، که اغلب فراوان‌تر از داده‌های برچسب‌دار هستند، یاد بگیرند. این به مقابله با چالش کمبود داده کمک می کند، به ویژه در حوزه هایی که در آن به دست آوردن داده های برچسب دار دشوار یا گران است. یادگیری خود نظارتی همچنین مدل‌ها را قادر می‌سازد تا بازنمایی‌های عمومی و قابل انتقال بیشتری را بیاموزند و عملکرد آنها را در طیف وسیعی از وظایف بهبود بخشند. به طور خلاصه، یادگیری خود نظارتی نقش مهمی در افزایش قابلیت‌های ترانسفورماتورهای بینایی ایفا می‌کند. آنها را قادر می سازد تا بازنمایی های بصری معنی دار را از مقادیر زیادی داده های بدون برچسب یاد بگیرند و پایه محکمی برای تنظیم دقیق بعدی در وظایف نظارت شده فراهم می کند. | ## جمع‌بندی | این رویکرد نتایج چشمگیری را در برنامه های مختلف بینایی کامپیوتری نشان داده است و به یک جزء اساسی در پیشرفت این رشته تبدیل شده است.