محدودیت های عرض زیاد شبکه های عصبی

شبکه‌های عصبی مصنوعی دسته‌ای از مدل‌های مورد استفاده در یادگیری ماشین هستند و از شبکه‌های عصبی بیولوژیکی الهام گرفته‌اند. آنها جزء اصلی الگوریتم‌های یادگیری عمیق مدرن هستند. محاسبات در شبکه‌های عصبی مصنوعی معمولاً در لایه‌های متوالی نورون‌های مصنوعی سازماندهی می‌شوند. به تعداد نورون‌های یک لایه، عرض لایه می‌گویند. تحلیل نظری شبکه‌های عصبی مصنوعی گاهی اوقات این مورد محدود کننده را در نظر می‌گیرد که عرض لایه بزرگ یا بی‌نهایت می‌شود. این محدودیت، گزاره‌های تحلیلی ساده‌ای را در مورد پیش‌بینی‌های شبکه عصبی، آموزش پویا، تعمیم و زیان سطوح امکان می‌دهد. این محدودیت لایه گسترده نیز مورد توجه عملی است، زیرا شبکه‌های عصبی با عرض محدود اغلب با افزایش عرض لایه عملکرد بهتری دارند.

رویکردهای نظری مبتنی بر محدودیت عرض زیاد 

 فرآیند گاوسی شبکه عصبی (NNGP) مطابق با حد عرض نامحدود شبکه‌های عصبی بیزی و توزیع بیش از توابعی است که توسط شبکه‌های عصبی غیر بیزی پس از مقداردهی اولیه تصادفی تحقق یافته است.
 از همان محاسبات اصولی که برای استخراج هسته NNGP استفاده می شود در انتشار اطلاعات عمیق نیز برای مشخص کردن انتشار اطلاعات در مورد گرادیان ها و ورودی ها از طریق یک شبکه عمیق استفاده می شود.  این مشخصه برای پیش بینی اینکه چگونه آموزش پذیری مدل به معماری و هایپر پارامترهای اولیه بستگی دارد استفاده می شود.

 هسته مماس عصبی، تکامل پیش‌بینی‌های شبکه عصبی را در طول آموزش نزول گرادیان توصیف می‌کند.  در محدوده عرض نامتناهی، NTK معمولاً ثابت می‌شود، و اغلب اجازه می‌دهد تا عبارات فرم بسته برای تابع محاسبه‌شده توسط یک شبکه عصبی گسترده در طول آموزش نزول گرادیان انجام شود.  پویایی آموزش اساساً خطی می شود.

 مطالعه شبکه‌های عصبی با پهنای بی‌نهایت با مقیاس وزن اولیه متفاوت و نرخ‌های یادگیری مناسب، منجر به پویایی‌های آموزشی غیرخطی کیفی متفاوتی نسبت به آنچه که توسط هسته مماس عصبی ثابت توصیف شده است، می‌شود.

 منجنیق پویا آموزش پویا شبکه‌های عصبی را در موردی توصیف می‌کند که لجیت‌ها تا بی‌نهایت واگرا می‌شوند، زیرا عرض لایه تا بی‌نهایت گرفته می‌شود، و ویژگی‌های کیفی آموزش اولیه پویا را توصیف می‌کند.

منابع 

شبکه‌های عصبی مصنوعی
علوم رایانه
یادگیری عمیق
یادگیری ماشینی