شبکه عصبی باقی‌مانده کیست؟ توضیح بده.
شبکه عصبی پس‌مانده (ResNet) یک نوع شبکه عصبی مصنوعی می‌باشد. این شبکه در واقع یک نوع دروازه باز یا بدون دروازه شبکه بزرگراه, که اولین شبکه بسیار عمیق پیشخور با هزاران لایه و بسیار عمیق‌تر از شبکه‌های قبلی است. در این نوع از شبکه عصبی معمولا از لایه های پرشی و میانبر بین لایه‌ها استفاده می‌شود که در پیاده‌سازی، هر لایه پرشی معمولا از دو یا سه لایه به همراه توابع غیرخطی مانند یکسوساز و استفاده می‌شود. مدل‌هایی که دارای چندین لایه پرشی موازی هستند، "شبکه‌های متراکم" نام دارند. در زمینه شبکه‌های عصبی باقی‌مانده، معمولا شبکه‌هایی که لایه پرشی ندارند، "شبکه ساده" توصیف می‌شوند. همانند حالت شبکه‌های عصبی بازگشتی با حافظه طولانی کوتاه-مدت، دو دلیل اصلی برای اضافه کردن لایه‌‌های پرشی وجود دارد: برای جلوگیری از مشکل ناپدید شدن گرادیان‌ها، بنابراین منجر به بهینه‌سازی شبکه‌های عصبی آسان‌تر می‌شود، جایی که مکانیسم‌های دروازه‌ای جریان اطلاعات را در بسیاری از لایه‌ها تسهیل می‌کنند ("بزرگراه‌های اطلاعات")، یا برای کاهش مشکل تخریب (اشباع دقت). که در آن افزودن لایه های بیشتر به یک مدل عمیق مناسب منجر به خطای آموزشی بالاتر می شود. در طول تمرین (training) شبکه، وزن‌ها برای خنثی کردن لایه بالادستی و تقویت لایه‌ای که قبلاً حذف شده بود، سازگار می‌شوند. در ساده‌ترین حالت، فقط وزن‌های اتصال لایه مجاور تطبیق داده می‌شوند، بدون وزن صریح برای لایه بالادست. زمانی که یک لایه غیرخطی منفرد از آن عبور می‌کند، یا زمانی که لایه‌های میانی همگی خطی هستند، بهترین کار را انجام می‌دهد. اگر نه، پس باید یک ماتریس وزن صریح برای اتصال پرشی آموخته شود (یک شبکه بزرگراه باید استفاده شود). پرش به طور مؤثر شبکه را ساده می کند و از لایه های کمتری در مراحل اولیه آموزش استفاده می کند. این امر با کاهش تأثیر گرادیان های در حال از بین رفتن سرعت یادگیری را افزایش می دهد، زیرا لایه های کمتری برای انتشار وجود دارد. سپس شبکه با یادگیری فضای ویژگی، به تدریج لایه های پرش شده را بازیابی می کند. در پایان آموزش، وقتی همه لایه‌ها گسترش می‌یابند، به منیفولد نزدیک‌تر می‌ماند [روشن‌سازی لازم] و بنابراین سریع‌تر یاد می‌گیرد. یک شبکه عصبی بدون قطعات باقیمانده بیشتر فضای ویژگی را بررسی می کند. این باعث آسیب پذیری بیشتر آن در برابر اختلالاتی می شود که باعث خروج آن از منیفولد می شود و نیاز به داده های آموزشی اضافی برای بازیابی دارد. یک شبکه عصبی باقیمانده برای برنده شدن در رقابت ImageNet 2015 استفاده شد و به پر استنادترین شبکه عصبی قرن بیست و یکم تبدیل شد. انتشار به سمت جلو در شبکه.اگر ماتریس وزن formula_1 برای اتصال از لایه formula_2 ام به لایه formula_3 ام و ماتریس formula_4 برای اتصال از لایه formula_5 ام به لایه formula_3 ام درنظر بگیریم، در این صورت حاصل انتشار رو به جلو از میان تابع فعال‌ساز برابر خواهد بود با:formula_7کهانتشار به سمت عقب.در هنگام یادگیری به سمت عقب برای یک مسیر ساده داریم:formula_24و برای یک مسیر پرشی داریم:formula_25که در هردو حالت:انواع معماری شبکه عصبی باقی‌مانده.برای شبکه عصبی باقی‌مانده، معماری‌های با تعداد‌ لایه ‌های مختلف وجود دارد که برای زمانی که نیاز داریم تا مدل پیچیدگی بیشتری داشته باشد و بتواند الگوهای سخت‌تری را یاد بگیرد، می‌توانیم از شبکه‌های با عمق بیشتر استفاده کنیم (اما همچنان در این مدل‌ها نیز با افزایش تعداد لایه‌ها و پارامتر‌ها، خطر مشکل ناپدید شدن گرادیان‌ها و بیش برازش وجود دارد).پیاده‌سازی‌های موجود.در کتابخانه PyTorch، مدل‌های 18 لایه، 34 لایه، 52 لایه 101 و 152 لایه پیاده‌سازی شده‌اند که میتوان از آنها به صورت آماده استفاده کرد و همچنین در کتابخانه TensorFlow نیز معماری‌های 52 لایه، 101 لایه و 152 لایه موجود هستند.