الکس نت

**AlexNet** نام یک معماری شبکه عصبی کانولوشن (CNN) است که توسط Alex Krizhevsky با همکاری ایلیا Sutskever و Geoffrey Hinton ، که دکترای کریژفسکی بود، طراحی شد. مشاور در دانشگاه تورنتو &#x5B; *[[ویکی‌پدیا:شیوه‌نامه/تاریخ‌ها و اعداد|<span title="The time period mentioned near this tag is ambiguous. (October 2024)">چه زمانی؟</span>]]* &#x5D; 60 میلیون پارامتر و 650000 نورون داشت. 

نتیجه اولیه مقاله اصلی این بود که عمق مدل برای عملکرد بالای آن ضروری بود، که از نظر محاسباتی گران بود، اما به دلیل استفاده از واحدهای پردازش گرافیکی (GPU) در طول آموزش امکان پذیر شد. 

این سه تیم SuperVision را تشکیل دادند و AlexNet را در چالش تشخیص تصویری در مقیاس بزرگ ImageNet در 30 سپتامبر 2012 ارائه کردند.  این شبکه به خطای 5 برتر 15.3 درصدی دست یافت که بیش از 10.8 درصد بهتر از رتبه دوم بود.

معماری بر تعداد زیادی از کارهای بعدی در یادگیری عمیق ، به ویژه در کاربرد شبکه های عصبی در بینایی کامپیوتر ، تأثیر گذاشت.
بندانگشتی|245x245پیکسل|بلوک دیاگرام AlexNet

### معماری
AlexNet شامل هشت لایه است: پنج لایه اول لایه های کانولوشن هستند، برخی از آنها لایه های max-pooling و سه لایه آخر لایه های کاملاً متصل هستند. شبکه، به جز آخرین لایه، به دو نسخه تقسیم می شود که هر کدام روی یک GPU اجرا می شوند.  کل ساختار را می توان به صورت نوشتاری نوشت

(CNN → RN → MP)² → (CNN³ → MP) → (FC → DO)² → خطی → softmax

اگر

* CNN = لایه کانولوشن (با فعال سازی ReLU)
* RN = عادی سازی پاسخ محلی
* MP = maxpooling
* FC = لایه کاملا متصل (با فعال سازی ReLU)
* خطی = لایه کاملا متصل (بدون فعال سازی)
* DO = ترک تحصیل

از تابع فعال‌سازی ReLU غیراشباع استفاده می‌کرد که بهتر از tanh و sigmoid تمرین می‌کرد. 

از آنجایی که شبکه روی یک پردازنده گرافیکی 3 گیگابایتی Nvidia GTX580 قرار نمی گرفت، به دو نیمه تقسیم شد، یکی در هر GPU.  : بخش 3.2 

### آموزش
مجموعه آموزشی ImageNet 1.2 میلیون تصویر داشت. این برای 90 دوره آموزش داده شد، که پنج تا شش روز بر روی دو پردازنده گرافیکی NVIDIA GTX 580 3GB،  که دارای عملکرد تئوری 1.581 TFLOPS در float32 و قیمت انتشار 500 دلار است، آموزش داده شد. 

این با نزول گرادیان تکانه با اندازه دسته ای 128 نمونه، تکانه 0.9 و کاهش وزن 0.0005 آموزش داده شد. نرخ یادگیری شروع شد 10^{-2} و هر زمان که خطای اعتبارسنجی متوقف می شود، به صورت دستی 10 برابر کاهش می یابد. در طول تمرین سه بار کاهش یافت و به پایان رسید 10^{-5} .

از دو شکل افزایش داده استفاده می‌کرد، که هر دو به‌طور مستقیم روی CPU محاسبه می‌شدند، بنابراین «رایگان محاسباتی»:

* استخراج تکه های تصادفی 224 × 224 (و بازتاب افقی آنها) از تصاویر 256×256 اصلی. این اندازه مجموعه آموزشی را 2048 برابر افزایش می دهد.
* تغییر تصادفی مقدار RGB هر تصویر در امتداد سه جهت اصلی مقادیر RGB پیکسل های آن.

از نرمال‌سازی پاسخ موضعی و منظم‌سازی ترک تحصیل با احتمال افت 0.5 استفاده کرد.

همه وزن ها به صورت گاوسی با میانگین صفر و انحراف معیار 01/0 مقداردهی اولیه شدند . بایاس ها در لایه های کانولوشن 2، 4، 5، و همه لایه های کاملاً متصل، به ثابت 1 مقداردهی اولیه شدند تا از مشکل ReLU در حال مرگ جلوگیری شود.

## تاریخچه

### کار قبلی
AlexNet یک شبکه عصبی کانولوشنال است. در سال 1980، کونیهیکو فوکوشیما یک CNN اولیه به نام نئوگنیترون را پیشنهاد کرد.   توسط یک الگوریتم یادگیری بدون نظارت آموزش داده شد. LeNet-5 ( Yann LeCun et al., 1989)   توسط یادگیری نظارت شده با الگوریتم پس انتشار ، با معماری که اساساً مشابه AlexNet در مقیاس کوچک است، آموزش داده شد. (J. Weng، 1993) حداکثر جمع آوری را اضافه کرد.  

در طول دهه 2000، با بهبود سخت افزار GPU ، برخی از محققین این موارد را برای محاسبات همه منظوره ، از جمله آموزش شبکه عصبی، تطبیق دادند. (K. Chellapilla و همکاران، 2006) یک CNN را بر روی GPU آموزش دادند که 4 برابر سریعتر از یک CPU معادل بود.  یک CNN عمیق (Dan Cireșan *و همکاران* ، 2011) در IDSIA 60 برابر سریعتر از یک پیاده سازی CPU معادل بود.  بین 15 مه 2011 و 10 سپتامبر 2012، CNN آنها برنده چهار مسابقه تصویر شد و SOTA برای پایگاه داده های تصویری متعدد را به دست آورد.    با توجه به مقاله AlexNet،  شبکه قبلی Cireșan "تا حدودی مشابه است." هر دو با CUDA نوشته شده بودند تا روی GPU اجرا شوند.

### بینایی کامپیوتر
در طول دوره 1990-2010، شبکه‌های عصبی بهتر از سایر روش‌های یادگیری ماشین مانند رگرسیون هسته ، ماشین‌های بردار پشتیبانی ، AdaBoost ، تخمین ساخت‌یافته،  و غیره نبودند. به ویژه برای بینایی کامپیوتر، پیشرفت زیادی از مهندسی ویژگی های دستی حاصل شد، مانند ویژگی های SIFT ، ویژگی های SURF ، ویژگی های HoG ، کیسه های کلمات بصری ، و غیره. موقعیتی که پس از AlexNet غالب شد. 

در سال 2011، جفری هینتون شروع به برقراری ارتباط با همکارانش کرد در مورد "چه کاری باید انجام دهم تا شما را متقاعد کنم که شبکه های عصبی آینده هستند؟"، و Jitendra Malik ، یک بدبین به شبکه های عصبی، چالش کلاس های شی بصری PASCAL را توصیه کرد. هینتون گفت مجموعه داده آن بسیار کوچک است، بنابراین مالیک چالش ImageNet را به او توصیه کرد. 

در حالی که AlexNet و LeNet اساساً طراحی و الگوریتم یکسانی دارند، AlexNet بسیار بزرگتر از LeNet است و بر روی مجموعه داده بسیار بزرگتر روی سخت افزار بسیار سریعتر آموزش داده شده است. در طی 20 سال، هم داده ها و هم محاسبات به صورت ارزان در دسترس قرار گرفتند. 

### کارهای بعدی
AlexNet بسیار تأثیرگذار است و در نتیجه کارهای بعدی در استفاده از CNN برای بینایی رایانه و استفاده از GPU برای تسریع یادگیری عمیق انجام شد. طبق گفته Google Scholar تا اواسط سال 2024، مقاله AlexNet بیش از 157000 بار مورد استناد قرار گرفته است. 

در زمان انتشار، هیچ چارچوبی برای آموزش شبکه عصبی مبتنی بر GPU و استنتاج وجود نداشت. پایگاه کد برای AlexNet تحت مجوز BSD منتشر شد و برای چندین سال بعد معمولاً در تحقیقات شبکه های عصبی استفاده می شد.  

در یک جهت، کارهای بعدی با هدف آموزش CNN های عمیق و فزاینده ای انجام شد که به عملکرد بالاتری در ImageNet دست یافتند. در این خط از تحقیقات GoogLeNet (2014)، VGGNet (2014)، شبکه بزرگراه (2015) و ResNet (2015) هستند. جهت دیگر با هدف بازتولید عملکرد AlexNet با هزینه کمتر بود. در این خط از تحقیقات SqueezeNet (2016)، MobileNet (2017)، EfficientNet (2019) هستند.

## مراجع

رده:نرم‌افزارهای یادگیری عمیق
رده:معماری شبکه‌های عصبی
رده:نرم‌افزارهای ۲۰۱۱ (میلادی)
رده:دانشگاه تورنتو