تعلم متعمق
التاريخ > الثمانينيات والتسعينيات

تمّ تقديم الشّبكة العصبية ذات التّأخير الزمنيّ (TDNN) في عام 1987 بواسطة ألكسندر وايبل لتطبيق الشّبكات العصبية التلافيفية على التعرّف على الفونيم. استخدمت التّلافيف ومشاركة الوزن والانتشار العكسيّ. في عام 1988، طبّق وي تشانغ شبكةً عصبيةً تلافيفيةً مدرّبةً بالانتشار العكسيّ على التعرّف على الحروف الأبجدية. في عام 1989، ابتكر يان ليكون وآخرون شبكةً عصبيةً تلافيفيةً تسمّى LeNet للتعرّف على الرموز البريدية المكتوبة بخطّ اليد على البريد. استغرق التّدريب 3 أيام. في عام 1990، طبّق وي تشانغ شبكةً عصبيةً تلافيفيةً على أجهزة الحوسبة البصرية. في عام 1991، تمّ تطبيق شبكة عصبية تلافيفية على تجزئة كائن الصّورة الطبية  واكتشاف سرطان الثّدي في صور الثّدي بالأشعّة السّينية. تمّ تطبيق LeNet-5 (في 1998)، وهي شبكة عصبية تلافيفية من 7 مستويات بواسطة يان ليكون وآخرون، تصنّف الأرقام، بواسطة العديد من البنوك للتعرّف على الأرقام المكتوبة بخطّ اليد على الشّيكات المرقمنة في صور بدقّة 32 × 32 بكسل.
تمّ تطوير الشّبكات العصبية المتكرّرة (RNN)  بشكل أكبر في الثمانينيات. يتمّ استخدام التّكرار لمعالجة التّسلسل، وعندما يتمّ فكّ شبكة متكرّرة، فإنّها تشبه رياضيًا طبقةً تغذيةً أماميةً عميقة. وبالتّالي، فإنّ لها خصائص وقضايا متشابهة، وكان لتطوّراتها تأثيرات متبادلة. في الشّبكات العصبية المتكرّرة، كان هناك عملان مؤثّران مبكّران هما شبكة جوردان في 1986،  وشبكة إلمان في 1990،  التي طبّقت الشّبكات العصبية المتكرّرة لدراسة المشكلات في علم النفس المعرفي.
في الثمانينيات، لم يكن الانتشار العكسيّ يعمل بشكل جيّد مع التعلّم العميق ذي مسارات تخصيص الرّصيد الطويلة. للتغلّب على هذه المشكلة، في عام 1991، اقترح يورغن شميدهوبر تسلسلًا هرميًا من الشّبكات العصبية المتكرّرة مدرّبةً مسبقًا مستوىً واحدًا في كلّ مرّة بواسطة التعلّم الذّاتيّ الإشراف حيث تحاول كلّ شبكة عصبية متكرّرة التنبّؤ بإدخالها التّالي، وهو الإدخال التّالي غير المتوقّع للشّبكة العصبية المتكرّرة أدناه. يستخدم هذا "الضّاغط التّاريخيّ العصبيّ" التّشفير التنبّئيّ لتعلّم التّمثيلات الدّاخلية على نطاقات زمنية متعدّدة التنظيم الذّاتيّ. يمكن أن يسهّل هذا بشكل كبير التعلّم العميق في المراحل التّالية. يمكن دمج التسلسل الهرميّ للشّبكات العصبية المتكرّرة في شبكة عصبية متكرّرة واحدة، عن طريق تقطير شبكة تجميع ذات مستوىً أعلى إلى شبكة تشغيل آليّ ذات مستوىً أدنى. في عام 1993، حلّ ضّاغط تاريخيّ عصبيّ مهمّة "تعلّم عميق جدًا" تطلّبت أكثر من 1000 طبقة لاحقة في شبكة عصبية متكرّرة تمّ نشرها بمرور الوقت. يشير الحرف "P" في ChatGPT إلى مثل هذا التّدريب المسبق.
طبّقت أطروحة دبلوم سيب هوشريتر عام 1991  الضّاغط التّاريخيّ العصبيّ،  وحدّدت وحلّلت مشكلة التّدريج المتلاشي. اقترح هوشريتر اتّصالات متبقيةً متكرّرةً لحلّ مشكلة التّدريج المتلاشي. أدّى هذا إلى ظهور ذاكرة المدى الطويل القصيرة (LSTM)، التي نشرت في عام 1995. يمكن لذاكرة المدى الطويل القصيرة تعلّم مهامّ "التعلّم العميق جدًا"  مع مسارات تخصيص رصيد طويلة تتطلّب ذكريات أحداث وقعت قبل آلاف الخطوات الزمنية المنفصلة. لم تكن ذاكرة المدى الطويل القصيرة هي البنية الحديثة بعد، والتي تطلّبت "بوابة نسيان"، تمّ تقديمها في عام 1999،  والتي أصبحت بنية الشّبكة العصبية المتكرّرة القياسية.
في عام 1991، نشر يورغن شميدهوبر أيضًا شبكات عصبيةً متنافسةً تتنافس مع بعضها البعض على شكل لعبة ذات مجموع صفريّ، حيث يكون ربح شبكة واحدة هو خسارة الشّبكة الأخرى. الشّبكة الأولى هي نموذج توليديّ يصوّر توزيع احتمالية على أنماط الإخراج. تتعلّم الشّبكة الثّانية عن طريق الانحدار التّدريجيّ التنبّؤ بردود فعل البيئة على هذه الأنماط. سميّ هذا بـ "الفضول الاصطناعيّ". في عام 2014، تمّ استخدام هذا المبدأ في الشّبكات التوليدية المتنافسة (GANs).
خلال 1985-1995، تمّ تطوير العديد من البنى والطرق بواسطة تيري سيجنوفسكي وبيتر دايان وجيوفري هينتون مستوحاةً من الميكانيكا الإحصائية، مثل آلة بولتزمان،  وآلة بولتزمان المقيّدة،  وآلة هيلمهولتز،  وخوارزمية الاستيقاظ والنّوم. صمّمت هذه للتعلّم غير المراقب لنماذج توليدية عميقة. ومع ذلك كانت هذه أكثر تكلفةً من الناحية الحسابية مقارنةً بالانتشار العكسيّ. كانت خوارزمية تعلّم آلة بولتزمان التي نشرت في عام 1985، شائعةً لفترة وجيزة قبل أن تطغى عليها خوارزمية الانتشار العكسيّ في عام 1986. (ص 112 ). أصبحت شبكة عام 1988 حالةً فنيةً في التنبّؤ ببنية البروتين، وهو تطبيق مبكّر للتعلّم العميق على المعلوماتية الحيوية.
تمّ استكشاف التعلّم الضحل والعميق (على سبيل المثال، الشّبكات المتكرّرة) للشّبكات العصبية الاصطناعية للتعرّف على الكلام لسنوات عديدة. لم تتفوّق هذه الطرق أبدًا على تقنية نموذج الخليط/نظرية ماركوف المخفية (GMM-HMM) الدّاخلية غير الموحّدة المصنوعة يدويًا والقائمة على نماذج توليدية للكلام مدرّبةً بشكل تمييزيّ. تمّ تحليل الصّعوبات الرّئيسية، بما في ذلك تناقص التّدريج [70] وهيكل الارتباط الزمنيّ الضعيف في نماذج التنبّؤ العصبية. من الصّعوبات الإضافية نقص بيانات التّدريب وقدرة الحوسبة المحدودة.
ابتعد معظم باحثي التعرّف على الكلام عن الشّبكات العصبية لمتابعة النّمذجة التّوليدية. كان الاستثناء في معهد ستانفورد للأبحاث في أواخر التسعينيات. بتمويل من وكالة الأمن القومي الأمريكية وداربا، أجرت وكالة الأمن القومي بحثًا في التعرّف على الكلام والمتحدّث. أفاد فريق التعرّف على المتحدّث بقيادة لاري هيك بنجاح كبير مع الشّبكات العصبية العميقة في معالجة الكلام في معيار المعهد الوطني للمعايير والتقانة لعام 1998،  وهو يمثّل أوّل تطبيق صناعيّ رئيسيّ للتعلّم العميق.
تمّ استكشاف مبدأ رفع الميزات "الخام" على التّحسين المصنوع يدويًا بنجاح لأوّل مرّة في بنية المشفّر التّلقائيّ العميق على الطّيف "الخام" أو ميزات بنك المرشّح الخطيّ في أواخر التسعينيات،  مظهرًا تفوّقه على ميزات ميل-سيبسترال التي تحتوي على مراحل تحويل ثابتة من الأطياف. أنتجت الميزات الخام للكلام، الموجات الصوتية، لاحقًا نتائج ممتازةً على نطاق أوسع.