تعلم متعمق التاريخ
كانت ورشة عمل NIPS لعام 2009 حول التعلم العميق للتعرف على الكلام مدفوعةً بقيود النماذج التوليدية العميقة للكلام، واحتمالية أن تصبح الشبكات العصبية العميقة عمليةً بالنظر إلى الأجهزة الأكثر قدرةً ومجموعات البيانات واسعة النطاق. كان يعتقد أن التدريب المسبق للشبكات العصبية العميقة باستخدام نماذج توليدية لشبكات المعتقدات العميقة (DBN) سيتغلب على الصعوبات الرئيسية للشبكات العصبية. ومع ذلك، تم اكتشاف أن استبدال التدريب المسبق بكميات كبيرة من بيانات التدريب للانتشار العكسي المباشر عند استخدام الشبكات العصبية العميقة ذات طبقات الإخراج الكبيرة المعتمدة على السياق أنتج معدلات خطأ أقل بشكل كبير من نموذج خليط غاوسي (GMM) ونموذج ماركوف المخفي (HMM) الأكثر تطورًا، وكذلك من الأنظمة الأكثر تقدمًا القائمة على النموذج التوليدي. كانت طبيعة أخطاء التعرف التي أنتجها النوعان من الأنظمة مختلفةً بشكل كبير،  مما يوفر رؤى فنيةً حول كيفية دمج التعلم العميق في نظام فك تشفير الكلام الحالي عالي الكفاءة في وقت التشغيل الذي نشرته جميع أنظمة التعرف على الكلام الرئيسية.
حفز التحليل في عامي 2009 و2010 - الذي يقارن بين نموذج الخليط ونماذج الكلام التوليدية الأخرى مقابل نماذج الشبكات العصبية العميقة - الاستثمار الصناعي المبكر في التعلم العميق للتعرف على الكلام. تم إجراء هذا التحليل بأداء مقارن (أقل من 1.5% في معدل الخطأ) بين الشبكات العصبية العميقة التمييزية والنماذج التوليدية. في عام 2010، وسع الباحثون التعلم العميق من TIMIT [الإنجليزية] إلى التعرف على الكلام ذي المفردات الكبيرة، من خلال اعتماد طبقات إخراج كبيرة من الشبكة العصبية العميقة بناءً على حالات نظرية ماركوف المخفية المعتمدة على السياق التي تم إنشاؤها بواسطة أشجار القرار.
بدأت ثورة التعلم العميق حول رؤية الحاسوب القائمة على الشبكات العصبية التلافيفية (CNN) ووحدات معالجة الرسومات (GPU).
على الرغم من أن الشبكات العصبية التلافيفية المدربة بواسطة الانتشار العكسي كانت موجودةً منذ عقود وتطبيقات وحدات معالجة الرسومات للشبكات العصبية لسنوات،  بما في ذلك الشبكات العصبية التلافيفية،  كانت هناك حاجة إلى تطبيقات أسرع للشبكات العصبية التلافيفية على وحدات معالجة الرسومات للتقدم في رؤية الحاسوب. في وقت لاحق، مع انتشار التعلم العميق، تم تطوير أجهزة متخصصة وتحسينات للخوارزميات خصيصًا للتعلم العميق.
كان التقدم الرئيسي لثورة التعلم العميق هو التقدم في الأجهزة، وخاصةً وحدات معالجة الرسومات. يعود تاريخ بعض الأعمال المبكرة إلى عام 2004. في عام 2009 أفاد راينا ومادهافان وأندرو نج عن شبكة معتقدات عميقة بعمق 100 مليون مدربة على 30 وحدة معالجة رسومات من إنفيديا من فئة (بالإنجليزية: GeForce GTX 280)‏، وهو عرض مبكر للتعلم العميق القائم على وحدة معالجة الرسومات. أفادوا بما يصل إلى 70 مرةً أسرع في التدريب.
في عام 2011، حققت شبكة عصبية تلافيفية تسمى دانت (بالإنجليزية: DanNet)‏  بواسطة دان سيريسان ويولي ماير وجوناثان ماسكي ولوكا ماريا غامبارديلا ويورغن شميدهوبر لأول مرة أداءً بشريًا خارقًا في مسابقة التعرف على الأنماط المرئية، متفوقةً على الطرق التقليدية بعامل 3. ثم فازت في المزيد من المسابقات. كما أظهروا كيف أدى التجميع الأقصى [الإنجليزية] للشبكات العصبية التلافيفية على وحدة معالجة الرسومات إلى تحسين الأداء بشكل كبير.
في عام 2012، أنشأ أندرو نج وجيف دين شبكةً عصبيةً للتغذية الأمامية تعلمت التعرف على مفاهيم ذات مستوىً أعلى، مثل القطط، فقط من مشاهدة الصور غير المعلمة المأخوذة من مقاطع فيديو يوتيوب.
في أكتوبر 2012، فاز ألكسنت بواسطة أليكس كريجفسكي، وإيليا سوتسكيفر، وجيفري هينتون  بمسابقة "إيميج نت" بهامش كبير على طرق التعلم الآلي الضحلة. تضمنت التحسينات التزايدية الإضافية شبكة VGG-16 بواسطة كارين سيمونيان وأندرو زيسرمان  وشبكة جوجل العصبية انسبشن 3 [الإنجليزية].
ثم امتد النجاح في تصنيف الصور إلى مهمة إنشاء أوصاف (تسميات) للصور الأكثر تحديًا، غالبًا كمزيج من الشبكات العصبية التلافيفية وذاكرة المدى الطويل القصيرة.
في عام 2014، كانت حالة الفن هي تدريب "شبكة عصبية عميقة جدًا" مع 20 إلى 30 طبقة. أدى تكديس العديد من الطبقات إلى انخفاض حاد في دقة التدريب،  والمعروفة باسم مشكلة "التدهور". في عام 2015 تم تطوير تقنيتين لتدريب الشبكات العميقة جدًا وهما شبكة الطرق السريعة [الإنجليزية] في مايو 2015، والشبكة العصبية المتبقية (ResNet)  في ديسمبر 2015.
في نفس الوقت تقريبًا، بدأ التعلم العميق يؤثر على مجال الفن. من بين الأمثلة المبكرة ديب دريم (2015)، والنقل الأسلوبي العصبي [الإنجليزية] (2015)،  وكلاهما كان قائمًا على الشبكات العصبية المدربة مسبقًا لتصنيف الصور، مثل VGG-19.
أصبحت الشبكة التوليدية المتنافسة (GAN) بواسطة (إيان جودفيلو وآخرون، 2014)  (بناءً على مبدأ الفضول الاصطناعي ليورغن شميدهوبر ) حالةً فنيةً في النمذجة التوليدية خلال الفترة 2014-2018. تم تحقيق جودة صورة ممتازة بواسطة StyleGAN من إنفيديا (2018)  استنادًا إلى شبكة خصومية توليدية بواسطة تيرو كاراس وآخرون. هنا ينمو مولد الشبكة التوليدية المتنافسة من نطاق صغير إلى نطاق كبير بطريقة هرمية. حقق توليد الصور بهذه الشبكة نجاحًا شائعًا، وأثار مناقشات حول التزييف العميق. طغت نماذج الانتشار (2015)  على الشبكات التوليدية المتنافسة في النمذجة التوليدية منذ ذلك الحين، مع أنظمة مثل دال-إي 2 (2022) وستيبل ديفيوجن (2022).
في عام 2015، تحسن التعرف على الكلام من غوغل بنسبة 49% بواسطة نموذج قائم على LSTM، وجعلوه متاحًا من خلال بحث غوغل الصوتي على الهواتف الذكية.
يعد التعلم العميق جزءًا من أحدث الأنظمة في مختلف التخصصات، وخاصةً الرؤية حاسوبية والتعرف التلقائي على الكلام (ASR). تحسنت النتائج على مجموعات التقييم المستخدمة بشكل شائع مثل TIMIT (التعرف الكلام) وMNIST (رؤية حاسوبية)، بالإضافة إلى مجموعة من مهام التعرف على الكلام ذات المفردات الكبيرة بثباتة. تم استبدال الشبكات العصبية التلافيفية بالذاكرة القصيرة المدى المطولة. لكنها أكثر نجاحًا في رؤية الحاسوب.
حصل يوشوا بنجيو، وجيفري هينتون، ويان ليكون على جائزة تورينج لعام 2018 لـ "الإنجازات المفاهيمية والهندسية التي جعلت الشبكات العصبية العميقة مكونًا أساسيًا في الحوسبة."