تعلم متعمق
التاريخ

هناك نوعان من الشبكات العصبية الاصطناعية (ANN): الشبكة العصبية للتغذية الأمامية (FNN) أو المدرك المتعدد الطبقات (MLP) والشبكات العصبية المتكررة (RNN). تحتوي الشبكات العصبية المتكررة على دورات في هيكل اتصالها، بينما لا تحتوي الشبكات العصبية للتغذية الأمامية على ذلك. في عشرينيات القرن الماضي، ابتكر فيلهلم لينز وإرنست إيسينغ نموذج إيزينج  الذي هو في الأساس بنية شبكة عصبية متكررة غير متعلمة تتكون من عناصر عتبة تشبه الخلايا العصبية. في عام 1972، جعل شونيتشي أماري هذه البنية قابلةً للتكيف. أعاد جون هوبفيلد نشر شبكته العصبية المتكررة المتعلمة في عام 1982. نشر كاورو ناكانو شبكات عصبية متكررة مبكرةً أخرى في عام 1971. في عام 1948، أنتج آلان تورينج أعمالًا حول "الآلات الذكية" لكنها لم تنشر في حياته،  وأحتوت على "أفكار متعلقة بالتطور الاصطناعي وتعلم الشبكات العصبية المتكررة".
اقترح فرانك روزنبلات (1958)  المدرك، وهو شبكة عصبية للتغذية الأمامية ذات ثلاث طبقات: طبقة إدخال، وطبقة مخفية ذات أوزان عشوائية لم تتعلم، وطبقة إخراج. نشر لاحقًا كتابًا في عام 1962 قدم أيضًا متغيرات وتجارب حاسوبية، بما في ذلك إصدار يحتوي على مدركات ذات أربع طبقات "مع شبكات متكيفة قبل النهائية" حيث تتعلم الطبقتان الأخيرتان الأوزان (هنا ينسب الفضل إلى إتش. دي. بلوك وبي. دبليو. نايت).: يشير الكتاب إلى شبكة سابقة بواسطة آر. دي. جوزيف (1960)  "مكافئة وظيفيًا لتغير" في هذا النظام ذي الأربع طبقات (يذكر الكتاب جوزيف أكثر من 30 مرة). هل ينبغي إذن اعتبار جوزيف منشئ المدركات المتعددة الطبقات المتكيفة المناسبة مع وحدات مخفية متعلمة؟ لسوء الحظ، لم تكن خوارزمية التعلم وظيفية، وسقطت في طي النسيان.
كانت أول خوارزمية تعلم عميق عاملة هي طريقة المجموعة لمعالجة البيانات، وهي طريقة لتدريب الشبكات العصبية العميقة بشكل تعسفي، والتي نشرها أليكسي إيفاخنينكو  ولابا في عام 1965. لقد اعتبروها شكلاً من أشكال الانحدار متعدد الحدود،  أو تعميمًا لمدرك روزنبلات. وصفت ورقة بحثية عام 1971 شبكةً عميقةً ذات ثماني طبقات تم تدريبها بهذه الطريقة،  والتي تستند إلى التدريب طبقةً تلو الأخرى من خلال تحليل الانحدار. يتم تقليم الوحدات المخفية الزائدة باستخدام مجموعة تحقق منفصلة. نظرًا لأن دوال تنشيط العقد هي متعددات حدود كولموغوروف-غابور، فقد كانت هذه أيضًا أول الشبكات العميقة ذات وحدات ضربية أو "بوابات".
نشر شونيتشي أماري أول مدرك متعدد الطبقات للتعلم العميق مدرب بواسطة الانحدار التدريجي العشوائي  في عام 1967. في التجارب الحاسوبية التي أجراها سايتو، الطالب لدى أماري، تعلم مدرك متعدد الطبقات من خمس طبقات ذو طبقتين قابلتين للتعديل تمثيلات داخليةً لتصنيف فئات الأنماط غير القابلة للفصل خطيًا. جعلت التطورات اللاحقة في الأجهزة وضبط المعلمات الفائقة من الانحدار التدريجي العشوائي من طرف إلى طرف تقنية التدريب المهيمنة حاليًا.
في عام 1969، قدم كونيهيكو فوكوشيما دالة تنشيط ReLU (وحدة التقويم الخطية) تابع التفعيل. أصبح المقوم هو دالة التنشيط الأكثر شيوعًا للتعلم العميق.
بدأت بنى التعلم العميق للشبكات العصبية التلافيفية (CNNs) مع طبقات تلافيفية وطبقات للتقليل من العينات مع نيوكونييترون الذي قدمه كونيهيكو فوكوشيما في عام 1979، على الرغم من عدم تدريبه بواسطة الانتشار العكسي.
الانتشار العكسي هو تطبيق فعال لقاعدة السلسلة التي اشتقها غوتفريد فيلهلم لايبنتس في عام 1673  على شبكات العقد القابلة للاشتقاق. تم تقديم مصطلح "أخطاء الانتشار العكسي" في الواقع في عام 1962 بواسطة روزنبلات،  لكنه لم يكن يعرف كيفية تطبيق ذلك، على الرغم من أن هنري جيه كيلي كان لديه مقدمة مستمرة للانتشار العكسي في عام 1960 في سياق نظرية التحكم. نشر الشكل الحديث للانتشار العكسي لأول مرة في أطروحة الماجستير لسيبو ليناينما (1970). أعاد جي. إم. أوستروفسكي وآخرون نشرها في عام 1971. طبق بول ويربوس الانتشار العكسي على الشبكات العصبية في عام 1982  (أطروحة الدكتوراه الخاصة به لعام 1974، التي أعيد طبعها في كتاب عام 1994،  لم تصف الخوارزمية بعد ). في عام 1986، عمم ديفيد إي روميلهارت وآخرون الانتشار العكسي لكنهم لم يستشهدوا بالعمل الأصلي.