تعلم متعمق
التاريخ > ثورة التعلم العميق

بدأت ثورة التعلم العميق حول رؤية الحاسوب القائمة على الشبكات العصبية التلافيفية (CNN) ووحدات معالجة الرسومات (GPU).
على الرغم من أن الشبكات العصبية التلافيفية المدربة بواسطة الانتشار العكسي كانت موجودةً منذ عقود وتطبيقات وحدات معالجة الرسومات للشبكات العصبية لسنوات،  بما في ذلك الشبكات العصبية التلافيفية،  كانت هناك حاجة إلى تطبيقات أسرع للشبكات العصبية التلافيفية على وحدات معالجة الرسومات للتقدم في رؤية الحاسوب. في وقت لاحق، مع انتشار التعلم العميق، تم تطوير أجهزة متخصصة وتحسينات للخوارزميات خصيصًا للتعلم العميق.
كان التقدم الرئيسي لثورة التعلم العميق هو التقدم في الأجهزة، وخاصةً وحدات معالجة الرسومات. يعود تاريخ بعض الأعمال المبكرة إلى عام 2004. في عام 2009 أفاد راينا ومادهافان وأندرو نج عن شبكة معتقدات عميقة بعمق 100 مليون مدربة على 30 وحدة معالجة رسومات من إنفيديا من فئة (بالإنجليزية: GeForce GTX 280)‏، وهو عرض مبكر للتعلم العميق القائم على وحدة معالجة الرسومات. أفادوا بما يصل إلى 70 مرةً أسرع في التدريب.
في عام 2011، حققت شبكة عصبية تلافيفية تسمى دانت (بالإنجليزية: DanNet)‏  بواسطة دان سيريسان ويولي ماير وجوناثان ماسكي ولوكا ماريا غامبارديلا ويورغن شميدهوبر لأول مرة أداءً بشريًا خارقًا في مسابقة التعرف على الأنماط المرئية، متفوقةً على الطرق التقليدية بعامل 3. ثم فازت في المزيد من المسابقات. كما أظهروا كيف أدى التجميع الأقصى  للشبكات العصبية التلافيفية على وحدة معالجة الرسومات إلى تحسين الأداء بشكل كبير.
في عام 2012، أنشأ أندرو نج وجيف دين شبكةً عصبيةً للتغذية الأمامية تعلمت التعرف على مفاهيم ذات مستوىً أعلى، مثل القطط، فقط من مشاهدة الصور غير المعلمة المأخوذة من مقاطع فيديو يوتيوب.
في أكتوبر 2012، فاز ألكسنت بواسطة أليكس كريجفسكي، وإيليا سوتسكيفر، وجيفري هينتون  بمسابقة "إيميج نت" بهامش كبير على طرق التعلم الآلي الضحلة. تضمنت التحسينات التزايدية الإضافية شبكة VGG-16 بواسطة كارين سيمونيان وأندرو زيسرمان  وشبكة جوجل العصبية انسبشن 3 .
ثم امتد النجاح في تصنيف الصور إلى مهمة إنشاء أوصاف (تسميات) للصور الأكثر تحديًا، غالبًا كمزيج من الشبكات العصبية التلافيفية وذاكرة المدى الطويل القصيرة.
في عام 2014، كانت حالة الفن هي تدريب "شبكة عصبية عميقة جدًا" مع 20 إلى 30 طبقة. أدى تكديس العديد من الطبقات إلى انخفاض حاد في دقة التدريب،  والمعروفة باسم مشكلة "التدهور". في عام 2015 تم تطوير تقنيتين لتدريب الشبكات العميقة جدًا وهما شبكة الطرق السريعة  في مايو 2015، والشبكة العصبية المتبقية (ResNet)  في ديسمبر 2015.
في نفس الوقت تقريبًا، بدأ التعلم العميق يؤثر على مجال الفن. من بين الأمثلة المبكرة ديب دريم (2015)، والنقل الأسلوبي العصبي  (2015)،  وكلاهما كان قائمًا على الشبكات العصبية المدربة مسبقًا لتصنيف الصور، مثل VGG-19.
أصبحت الشبكة التوليدية المتنافسة (GAN) بواسطة (إيان جودفيلو وآخرون، 2014)  (بناءً على مبدأ الفضول الاصطناعي ليورغن شميدهوبر ) حالةً فنيةً في النمذجة التوليدية خلال الفترة 2014-2018. تم تحقيق جودة صورة ممتازة بواسطة StyleGAN من إنفيديا (2018)  استنادًا إلى شبكة خصومية توليدية بواسطة تيرو كاراس وآخرون. هنا ينمو مولد الشبكة التوليدية المتنافسة من نطاق صغير إلى نطاق كبير بطريقة هرمية. حقق توليد الصور بهذه الشبكة نجاحًا شائعًا، وأثار مناقشات حول التزييف العميق. طغت نماذج الانتشار (2015)  على الشبكات التوليدية المتنافسة في النمذجة التوليدية منذ ذلك الحين، مع أنظمة مثل دال-إي 2 (2022) وستيبل ديفيوجن (2022).
في عام 2015، تحسن التعرف على الكلام من غوغل بنسبة 49% بواسطة نموذج قائم على LSTM، وجعلوه متاحًا من خلال بحث غوغل الصوتي على الهواتف الذكية.
يعد التعلم العميق جزءًا من أحدث الأنظمة في مختلف التخصصات، وخاصةً الرؤية حاسوبية والتعرف التلقائي على الكلام (ASR). تحسنت النتائج على مجموعات التقييم المستخدمة بشكل شائع مثل TIMIT (التعرف الكلام) وMNIST (رؤية حاسوبية)، بالإضافة إلى مجموعة من مهام التعرف على الكلام ذات المفردات الكبيرة بثباتة. تم استبدال الشبكات العصبية التلافيفية بالذاكرة القصيرة المدى المطولة. لكنها أكثر نجاحًا في رؤية الحاسوب.
حصل يوشوا بنجيو، وجيفري هينتون، ويان ليكون على جائزة تورينج لعام 2018 لـ "الإنجازات المفاهيمية والهندسية التي جعلت الشبكات العصبية العميقة مكونًا أساسيًا في الحوسبة."