تعلم عميق

التعلّم العميق أو التعلم الآلي العميق هو مجال بحث جديد يتناول إيجاد نظريات وخوارزميات تتيح للآلة أن تتعلم بنفسها بمحاكاة الخلايا العصبية في جسم الإنسان. وأحد فروع العلوم التي تتناول علوم الذكاء الاصطناعي. يعد من فرع من فروع علوم التعلم الآلي، تركز معظم أبحاث التعلم العميق على إيجاد أساليب استنباط درجة عالية من المتجردات بتحليل مجموعة بيانات ضخمة،  باستخدام متحولات خطية وغير خطية.Deep Machine Learning – A New Frontier in Artificial Intelligence Research – a survey paper by Itamar Arel, Derek C. Rose, and Thomas P. Karnowski. IEEE Computational Intelligence Magazine, 2013 تُشير صفة "عميق" إلى استخدام طبقاتٍ مُتعددةٍ (تتراوح من ثلاث طبقاتٍ إلى عدة مئاتٍ أو آلاف) في الشبكة. يُمكن أن تكون الأساليب المُستخدمة إما مُراقبةً أو شبه مُراقبةٍ أو غير مُراقبة.

تشمل بعض بنى شبكات التعلم العميق الشائعة الشبكات المُتصلة بالكامل، وشبكات المعتقدات العميقة، والشبكات العصبية الالتفافية، والشبكات العصبية المُتكررة، والشبكات التوليدية التنافسية، والمُحولات، وحقول الإشعاع العصبي. طُبقت هذه البنى على مجالاتٍ تشمل الرؤية الحاسوبية، والتعرف على الكلام، ومعالجة اللغة الطبيعية، والترجمة الآلية، والمعلوماتية الحيوية، وتصميم الأدوية، وتحليل الصور الطبية، وعلم المناخ، وفحص المواد، وبرامج ألعاب الطاولة، حيث أنتجت نتائج مُقارنةً بِأداء الخبراء البشرِ، وفي بعض الحالات تتجاوزُه.

استُلهِمَت الأشكال المُبكرة من الشبكات العصبية من مُعالجة المعلومات وعُقَد الاتصال المُوزعة في الأنظمة البيولوجية، وخاصةً الدماغ البشري. ومع ذلك، لا تهدف الشبكات العصبية الحالية إلى نمذجة وظيفة الدماغ لِلكائنات الحية، ويُنظر إليها عمومًا على أنها نماذج ذات جودةٍ مُنخفضةٍ لِهذا الغرض.

 الفكرة الاساسية 
يمكن توصيف أي كائن بطرق عديدة متنوعة. مثلا، يمكن توصيف صورة ما على اساس متجهي لدرجة الضياء في كل وحدة بكسل أو بطريقة متجردة على اساس مجموع الحواف والمناطق التي تشكل الصورة. العديد من الأساليب الأخرى يمكن استعمالها لتوصيف هذه الصورة. وتشير الدراسات ان بعض هذه الاساليب هي أفضل من غيرها في تبسيط تعلم الآلة (مثل ملاحظة الوجه أو ملاحظة التعابير). ومن الاهداف المتوقعة في دراسة التعلم العميق هو استبدال ميزات التعلم الالي التي تحدد بشريا بميزات تنتجها الآلة نفسها بخوارزميات فعالة في استنباط الميزات بصورة ألية أو نصف آلية.

تعتمد ابحاث التعلم العميق على الاكتشافات في علوم الاعصاب كثيرًا وخاصة في مجال فهم العمليات الترميزة التي يقوم بها النظام العصبي في تحديد العلاقات المختلفة بين المحفزات والنشاطات الدماغية.
 نظرة عامة 

تستند مُعظم نماذج التعلم العميق الحديثة إلى شبكات عصبية مُتعددة الطبقات مثل الشبكات العصبية التلافيفية والمُحولات، على الرغم من أنها قد تتضمن أيضًا صيغًا اقتراحيةً أو مُتغيرات كامنةً مُنظمةً في طبقات في نماذج توليدية عميقة مثل العُقَد في شبكات الاعتقاد العميق وآلات بولتزمان العميقة.

يُشير التعلم العميق إلى فئة من خوارزميات التعلم الآلي حيث يستخدم تسلسل هرمي من الطبقات لِتحويل بيانات الإدخال إلى تمثيل أكثر تجريدًا وتركيبًا. على سبيل المثال، في نموذج التعرف على الصور، قد يكون الإدخال الخام صورة (مُمثلةٌ كمُوتر من البكسلات). قد تُحاول طبقة التمثيل الأولى تحديد الأشكال الأساسية مثل الخطوط والدوائر، وقد تُؤلف طبقة التمثيل الثانية ترتيبات الحواف وتُشفرها، وقد تُشفر طبقة التمثيل الثالثة أنفًا وعينين، وقد تُدرك طبقة التمثيل الرابعة أن الصورة تحتوي على وجه.

الأهم من ذلك، أن عملية التعلم العميق يُمكنُها تعلم الميزات التي يجب وضعُها على النحو الأمثل في أي مستوى بمفردها. قبل التعلم العميق، غالبًا ما كانت تقنيات التعلم الآلي تنطوي على هندسة ميزات يدوية لِتحويل البيانات إلى تمثيل أكثر مُلاءمةً لِخوارزمية التصنيف لِلعمل عليها. في نهج التعلم العميق، لا تصمم الميزات يدويًا، ويَكتشف النموذج تمثيلات الميزات المُفيدة من البيانات تلقائيًا. هذا لا يُلغي الحاجة إلى الضبط اليدوي؛ على سبيل المثال، يُمكن أن تُوفر أعدادٌ مُتفاوتةٌ من الطبقات وأحجام الطبقات درجات مُختلفةً من التجريد.

تُشير كلمة "عميق" في "التعلم العميق" إلى عدد الطبقات التي تحول البيانات بها. بِشكل أكثر دقةً، تتمتع أنظمة التعلم العميق بِعمق كبير في مسار تخصيص الرصيد (CAP). مسار تخصيص الرصيد هو سلسلة التحولات من الإدخال إلى الإخراج. يصف مسار تخصيص الرصيد الاتصالات السببية المُحتملة بين الإدخال والإخراج. لِشَبكة عصبية للتغذية الأمامية، فإن عمق مسارات تخصيص الرصيد هو عمق الشبكة وهو عدد الطبقات المخفية زائد واحد (حيث تحدد معلمات طبقة الإخراج أيضًا). بالنسبة لِلشبكات العصبية المُتكررة، التي قد ينتشر فيها إشارةٌ عبر طبقة أكثر من مرة، فإن عمق مسار تخصيص الرصيد غير محدود مُحتملًا.

لا يوجد حدٌ مُتفقٌ عليه عالميًا للعمق يفصل التعلم الضحل عن التعلم العميق، لكن مُعظم الباحثين يتفقون على أن التعلم العميق ينطوي على عمق مسار تخصيص الرصيد أعلى من اثنين. لقد ثبت أن مسار تخصيص الرصيد ذي العمق اثنين هو مُقربٌ شاملٌ بِمعنى أنه يُمكنُه مُحاكاة أي دالة. بعد ذلك، لا تُضيف المزيد من الطبقات إلى قدرة مُقرب الدالة لِلشبكة. النماذج العميقة (مسار تخصيص الرصيد > اثنين) قادرةٌ على استخراج ميزات أفضل من النماذج الضحلة، وبالتالي، تُساعد الطبقات الإضافية في تعلم الميزات بفعالية.

يُمكن بناء بنى التعلم العميق باستخدام خوارزمية طبقة تلو الأخرى. يُساعد التعلم العميق على فك تشابك هذه التجريدات واختيار الميزات التي تُحسن الأداء.

يُمكن تطبيق خوارزميات التعلم العميق على مهام التعلم غير المُراقب. تُعد هذه فائدةً مهمةً لأن البيانات غير المُعلمة أكثر وفرةً من البيانات المُعلمة. من أمثلة البُنى العميقة التي يُمكن تدريبُها بطريقة غير مُراقبة شبكات الاعتقاد العميق.

قدم مُصطلح التعلم العميق إلى مجتمع التعلم الآلي برينا ديختر في عام 1986،  وإلى الشبكات العصبية الاصطناعية بإيغور آيزنبرغ وزملائه في عام 2000، في سياق الخلايا العصبية ذات عتبة القيمة المنطقية.Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795–1802, ACM Press, New York, NY, USA, 2005. على الرغم من أن تاريخ ظهورِه يبدو أكثر تعقيدًا.

 التفسيرات 

تفسر الشبكات العصبية العميقة عمومًا من حيث مبرهنة التقريب العام  أو استدلال بايزي.

تتعلق نظرية التقريب الشاملة الكلاسيكية بقدرة الشبكات العصبية للتغذية الأمامية ذات طبقة واحدة مخفية ذات حجم محدود على تقريب الدوال المستمرة. في عام 1989، نشر جورج سيبيكو أول دليل لدوال التنشيط السينية،  وعمم على بنى متعددة الطبقات للتغذية الأمامية في عام 1991 بكورت هورنيك. أظهر العمل الأخير أيضًا أن التقريب الشامل ينطبق أيضًا على دوال التنشيط غير المحدودة مثل وحدة كونييهيكو فوكوشيما الخطية المصححة.

تتعلق نظرية التقريب الشاملة للشبكات العصبية العميقة بقدرة الشبكات ذات العرض المحدد ولكن يسمح للعمق بالنمو. أثبت لو وآخرون  أنه إذا كان عرض شبكة عصبية عميقة ذات تنشيط وحدة خطية مصححة أكبر بصرامة من بعد الإدخال، فإن الشبكة يمكنها تقريب أي دالة قابلة للتكامل للوبيغ؛ إذا كان العرض أصغر من أو يساوي العرض بعد الإدخال، فإن الشبكة العصبية العميقة ليست مقربًا شاملًا.

يشتق التفسير الاحتمالي،  من مجال التعلم الآلي. ويتميز بالاستدلال،  بالإضافة إلى مفاهيم التحسين للتدريب والاختبار، والمتعلقة بالتأقلم والتعميم على التوالي. ويأخذ التفسير الاحتمالي في الاعتبار اللاخطية التنشيطية كدالة توزيع تراكمية. أدى التفسير الاحتمالي إلى إدخال التسرب كمنظم في الشبكات العصبية. قدم التفسير الاحتمالي باحثون مثل هوبفيلد وويدرو وناريندرا، وعُمّم في دراسات استقصائية مثل تلك التي أجراها كريستوفر بيشوب.

 التاريخ 

من الشبكات العصبية الاصطناعية (ANN) نوعان: الشبكة العصبية للتغذية الأمامية (FNN) أو المدرك المتعدد الطبقات (MLP) والشبكات العصبية المتكررة (RNN). تحتوي الشبكات العصبية المتكررة على دورات في هيكل اتصالها، بينما لا تحتوي الشبكات العصبية للتغذية الأمامية على ذلك. في عشرينيات القرن الماضي، ابتكر فيلهلم لينز وإرنست إيسينغ نموذج إيزينج  الذي هو في الأساس بنية شبكة عصبية متكررة غير متعلمة تتكون من عناصر عتبة تشبه الخلايا العصبية. في عام 1972، جعل شونيتشي أماري هذه البنية قابلةً للتكيف. أعاد جون هوبفيلد نشر شبكته العصبية المتكررة المتعلمة في عام 1982. نشر كاورو ناكانو شبكات عصبية متكررة مبكرةً أخرى في عام 1971. في عام 1948، أنتج آلان تورينج أعمالًا حول "الآلات الذكية" لكنها لم تنشر في حياته،  وأحتوت على "أفكار متعلقة بالتطور الاصطناعي وتعلم الشبكات العصبية المتكررة".

اقترح فرانك روزنبلات (1958)  المدرك، وهو شبكة عصبية للتغذية الأمامية ذات ثلاث طبقات: طبقة إدخال، وطبقة مخفية ذات أوزان عشوائية لم تتعلم، وطبقة إخراج. نشر لاحقًا كتابًا في عام 1962 قدم أيضًا متغيرات وتجارب حاسوبية، ومنها إصدار يحتوي على مدركات ذات أربع طبقات "مع شبكات متكيفة قبل النهائية" حيث تتعلم الطبقتان الأخيرتان الأوزان (هنا ينسب الفضل إلى إتش. دي. بلوك وبي. دبليو. نايت).: يشير الكتاب إلى شبكة سابقة بآر. دي. جوزيف (1960)  "مكافئة وظيفيًا لتغير" في هذا النظام ذي الأربع طبقات (يذكر الكتاب جوزيف أكثر من 30 مرة). هل ينبغي إذن اعتبار جوزيف منشئ المدركات المتعددة الطبقات المتكيفة المناسبة مع وحدات مخفية متعلمة؟ لسوء الحظ، لم تكن خوارزمية التعلم وظيفية، وسقطت في طي النسيان.

كانت أول خوارزمية تعلم عميق عاملة هي طريقة المجموعة لمعالجة البيانات، وهي طريقة لتدريب الشبكات العصبية العميقة تعسفًا، والتي نشرها  ولابا في عام 1965. لقد اعتبروها شكلاً من أشكال الانحدار متعدد الحدود،  أو تعميمًا لمدرك روزنبلات. وصفت ورقة بحثية عام 1971 شبكةً عميقةً ذات ثماني طبقات دُربت بهذه الطريقة،  والتي تستند إلى التدريب طبقةً تلو الأخرى بتحليل الانحدار. تُلقم الوحدات المخفية الزائدة بمجموعة تحقق منفصلة. نظرًا لأن دوال تنشيط العقد هي متعددات حدود كولموغوروف-غابور، فقد كانت هذه أيضًا أول الشبكات العميقة ذات وحدات ضربية أو "بوابات".

نشر شونيتشي أماري أول مدرك متعدد الطبقات للتعلم العميق مدرب بالانحدار التدريجي العشوائي  في عام 1967. في التجارب الحاسوبية التي أجراها سايتو، الطالب لدى أماري، تعلم مدرك متعدد الطبقات من خمس طبقات ذو طبقتين قابلتين للتعديل تمثيلات داخليةً لتصنيف فئات الأنماط غير القابلة للفصل خطيًا. جعلت التطورات اللاحقة في الأجهزة وضبط المعلمات الفائقة من الانحدار التدريجي العشوائي من طرف إلى طرف تقنية التدريب المهيمنة حاليًا.

في عام 1969، قدم كونيهيكو فوكوشيما دالة تنشيط ReLU (وحدة التقويم الخطية) تابع التفعيل. أصبح المقوم هو دالة التنشيط الأكثر شيوعًا للتعلم العميق.

بدأت بنى التعلم العميق للشبكات العصبية التلافيفية (CNNs) مع طبقات تلافيفية وطبقات للتقليل من العينات مع نيوكونييترون الذي قدمه كونيهيكو فوكوشيما في عام 1979، على الرغم من عدم تدريبه بالانتشار العكسي.

الانتشار العكسي هو تطبيق فعال لقاعدة السلسلة التي اشتقها غوتفريد فيلهلم لايبنتس في عام 1673  على شبكات العقد القابلة للاشتقاق. قدم مصطلح "أخطاء الانتشار العكسي" في الواقع في عام 1962 بروزنبلات،  لكنه لم يكن يعرف كيفية تطبيق ذلك، على الرغم من أن هنري جيه كيلي كان لديه مقدمة مستمرة للانتشار العكسي في عام 1960 في سياق نظرية التحكم. نشر الشكل الحديث للانتشار العكسي أول مرة في أطروحة الماجستير لسيبو ليناينما (1970). أعاد جي. إم. أوستروفسكي وآخرون نشرها في عام 1971.Ostrovski, G.M., Volin,Y.M., and Boris, W.W. (1971). On the computation of derivatives. Wiss. Z. Tech. Hochschule for Chemistry, 13:382–384. طبق بول ويربوس الانتشار العكسي على الشبكات العصبية في عام 1982  (أطروحة الدكتوراه الخاصة به لعام 1974، التي أعيد طبعها في كتاب عام 1994،  لم تصف الخوارزمية بعد ). في عام 1986، عمم ديفيد إي روميلهارت وآخرون الانتشار العكسي لكنهم لم يستشهدوا بالعمل الأصلي.

 الثمانينيات والتسعينيات 

قدم الشّبكة العصبية ذات التّأخير الزمنيّ (TDNN) في عام 1987 ألكسندر وايبل لتطبيق الشّبكات العصبية التلافيفية على التعرّف على الفونيم. استخدمت التّلافيف ومشاركة الوزن والانتشار العكسيّ.Alexander Waibel et al., Phoneme Recognition Using Time-Delay Neural Networks IEEE Transactions on Acoustics, Speech, and Signal Processing, Volume 37, No. 3, pp. 328. – 339 March 1989.  في عام 1988، طبّق وي تشانغ شبكةً عصبيةً تلافيفيةً مدرّبةً بالانتشار العكسيّ على التعرّف على الحروف الأبجدية. في عام 1989، ابتكر يان ليكون وآخرون شبكةً عصبيةً تلافيفيةً تسمّى LeNet للتعرّف على الرموز البريدية المكتوبة بخطّ اليد على البريد. استغرق التّدريب 3 أيام.LeCun et al., "Backpropagation Applied to Handwritten Zip Code Recognition", Neural Computation, 1, pp. 541–551, 1989. في عام 1990، طبّق وي تشانغ شبكةً عصبيةً تلافيفيةً على أجهزة الحوسبة البصرية. في عام 1991، طبقت شبكة عصبية تلافيفية على تجزئة كائن الصّورة الطبية  واكتشاف سرطان الثّدي في صور الثّدي بالأشعّة السّينية. طبقت LeNet-5 (في 1998)، وهي شبكة عصبية تلافيفية من 7 مستويات بيان ليكون وآخرون، تصنّف الأرقام، بالعديد من البنوك للتعرّف على الأرقام المكتوبة بخطّ اليد على الشّيكات المرقمنة في صور بدقّة 32 × 32 بكسل.

طورت الشّبكات العصبية المتكرّرة (RNN)  أكثر في الثمانينيات. يستخدم التّكرار لمعالجة التّسلسل، وعندما تفك شبكة متكرّرة، فإنّها تشبه رياضيًا طبقةً تغذيةً أماميةً عميقة. وبالتّالي، فإنّ لها خصائص وقضايا متشابهة، وكان لتطوّراتها تأثيرات متبادلة. كان في الشّبكات العصبية المتكرّرة عملان مؤثّران مبكّران هما شبكة جوردان في 1986،  وشبكة إلمان في 1990،  التي طبّقت الشّبكات العصبية المتكرّرة لدراسة المشكلات في علم النفس المعرفي.

في الثمانينيات، لم يكن الانتشار العكسيّ يعمل جيّدًا مع التعلّم العميق ذي مسارات تخصيص الرّصيد الطويلة. للتغلّب على هذه المشكلة، في عام 1991، اقترح يورغن شميدهوبر تسلسلًا هرميًا من الشّبكات العصبية المتكرّرة مدرّبةً مسبقًا مستوىً واحدًا في كلّ مرّة بالتعلّم الذّاتيّ الإشراف حيث تحاول كلّ شبكة عصبية متكرّرة التنبّؤ بإدخالها التّالي، وهو الإدخال التّالي غير المتوقّع للشّبكة العصبية المتكرّرة أدناه. يستخدم هذا "الضّاغط التّاريخيّ العصبيّ" التّشفير التنبّئيّ لتعلّم التّمثيلات الدّاخلية على نطاقات زمنية متعدّدة التنظيم الذّاتيّ. يمكن أن يسهّل هذا كثيرًا التعلّم العميق في المراحل التّالية. يمكن دمج التسلسل الهرميّ للشّبكات العصبية المتكرّرة في شبكة عصبية متكرّرة واحدة، بتقطير شبكة تجميع ذات مستوىً أعلى إلى شبكة تشغيل آليّ ذات مستوىً أدنى. في عام 1993، حلّ ضّاغط تاريخيّ عصبيّ مهمّة "تعلّم عميق جدًا" تطلّبت أكثر من 1000 طبقة لاحقة في شبكة عصبية متكرّرة نشرت بمرور الوقت. Page 150 ff demonstrates credit assignment across the equivalent of 1,200 layers in an unfolded RNN. يشير الحرف "P" في ChatGPT إلى مثل هذا التّدريب المسبق.

طبّقت أطروحة دبلوم سيب هوشريتر عام 1991  الضّاغط التّاريخيّ العصبيّ،  وحدّدت وحلّلت مشكلة التّدريج المتلاشي. اقترح هوشريتر اتّصالات متبقيةً متكرّرةً لحلّ مشكلة التّدريج المتلاشي. أدّى هذا إلى ظهور ذاكرة المدى الطويل القصيرة (LSTM)، التي نشرت في عام 1995. يمكن لذاكرة المدى الطويل القصيرة تعلّم مهامّ "التعلّم العميق جدًا"  مع مسارات تخصيص رصيد طويلة تتطلّب ذكريات أحداث وقعت قبل آلاف الخطوات الزمنية المنفصلة. لم تكن ذاكرة المدى الطويل القصيرة هي البنية الحديثة بعد، والتي تطلّبت "بوابة نسيان"، قدمت في عام 1999،  والتي أصبحت بنية الشّبكة العصبية المتكرّرة القياسية.

في عام 1991، نشر يورغن شميدهوبر أيضًا شبكات عصبيةً متنافسةً تتنافس مع بعضها البعض على شكل لعبة ذات مجموع صفريّ، حيث يكون ربح شبكة واحدة هو خسارة الشّبكة الأخرى. الشّبكة الأولى هي نموذج توليديّ يصوّر توزيع احتمالية على أنماط الإخراج. تتعلّم الشّبكة الثّانية بالانحدار التّدريجيّ التنبّؤ بردود فعل البيئة على هذه الأنماط. سميّ هذا بـ "الفضول الاصطناعيّ". في عام 2014، استخدم هذا المبدأ في الشّبكات التوليدية المتنافسة (GANs).

خلال 1985-1995، طورت العديد من البنى والطرق بتيري سيجنوفسكي وبيتر دايان وجيوفري هينتون مستوحاةً من الميكانيكا الإحصائية، مثل آلة بولتزمان،  وآلة بولتزمان المقيّدة،  وآلة هيلمهولتز،   وخوارزمية الاستيقاظ والنّوم. صمّمت هذه للتعلّم غير المراقب لنماذج توليدية عميقة. ومع ذلك كانت هذه أكثر تكلفةً من الناحية الحسابية مقارنةً بالانتشار العكسيّ. كانت خوارزمية تعلّم آلة بولتزمان التي نشرت في عام 1985، شائعةً لفترة وجيزة قبل أن تطغى عليها خوارزمية الانتشار العكسيّ في عام 1986. (ص 112 ). أصبحت شبكة عام 1988 حالةً فنيةً في التنبّؤ ببنية البروتين، وهو تطبيق مبكّر للتعلّم العميق على المعلوماتية الحيوية.

اكتشف التعلّم الضحل والعميق (على سبيل المثال، الشّبكات المتكرّرة) للشّبكات العصبية الاصطناعية للتعرّف على الكلام لسنوات عديدة. لم تتفوّق هذه الطرق أبدًا على تقنية نموذج الخليط/نظرية ماركوف المخفية (GMM-HMM) الدّاخلية غير الموحّدة المصنوعة يدويًا والقائمة على نماذج توليدية للكلام مدرّبةً تمييزيًّا. جرى تحليل الصّعوبات الرّئيسية، ومنها تناقص التّدريج [70] وهيكل الارتباط الزمنيّ الضعيف في نماذج التنبّؤ العصبية. من الصّعوبات الإضافية نقص بيانات التّدريب وقدرة الحوسبة المحدودة.

ابتعد معظم باحثي التعرّف على الكلام عن الشّبكات العصبية لمتابعة النّمذجة التّوليدية. كان الاستثناء في معهد ستانفورد للأبحاث في أواخر التسعينيات. بتمويل من وكالة الأمن القومي الأمريكية وداربا، أجرت وكالة الأمن القومي بحثًا في التعرّف على الكلام والمتحدّث. أفاد فريق التعرّف على المتحدّث بقيادة لاري هيك بنجاح كبير مع الشّبكات العصبية العميقة في معالجة الكلام في معيار المعهد الوطني للمعايير والتقانة لعام 1998،  وهو يمثّل أوّل تطبيق صناعيّ رئيسيّ للتعلّم العميق.L.P Heck and R. Teunen. "Secure and Convenient Transactions with Nuance Verifier". Nuance Users Conference, April 1998.

استكشف مبدأ رفع الميزات "الخام" على التّحسين المصنوع يدويًا بنجاح لأوّل مرّة في بنية المشفّر التّلقائيّ العميق على الطّيف "الخام" أو ميزات بنك المرشّح الخطيّ في أواخر التسعينيات،  مظهرًا تفوّقه على ميزات ميل-سيبسترال التي تحتوي على مراحل تحويل ثابتة من الأطياف. أنتجت الميزات الخام للكلام، الموجات الصوتية، لاحقًا نتائج ممتازةً على نطاق أوسع.

 العقد الأول من القرن الحادي والعشرين 

دخلت الشبكات العصبية في حالة ركود، وأصبحت النماذج الأبسط التي تستخدم ميزات يدوية الصنع مخصصةً للمهام مثل مرشحات غابور وآلات متجهات الدعم (SVMs) هي الخيارات المفضلة في التسعينيات والعقد الأول من القرن الحادي والعشرين، بسبب التكلفة الحسابية للشبكات العصبية الاصطناعية ونقص فهم كيفية توصيل الدماغ لشبكاته البيولوجية. 

في عام 2003، أصبحت ذاكرة المدى الطويل القصيرة قادرةً على منافسة معرفات الكلام التقليدية في مهام معينة. في عام 2006 جمع  وسانتياغو فرنانديز وفاوستينو غوميز وشميدهوبر بينها وبين التصنيف الزمني للاتصال (CTC)  في مجموعات من ذواكر المدى الطويل القصيرة. في عام 2009، أصبحت أول شبكة عصبية متكررة تفوز في مسابقة التعرف على الأنماط، في التعرف على خط اليد المتصل. تعرف على خط اليد

في عام 2006، طورت شبكة الاعتقاد العميق للنمذجة التوليدية بمنشورات لجيفري هينتون ورسلان سالاخوتدينوف وأوسيندرو وته. تدرب بتدريب آلة بولتزمان المقيدة، ثم تجميدها وتدريب آلة أخرى فوق الأولى، وهكذا، ثم ضبطها اختياريًا باستخدام الانتشار العكسي المراقب. يمكنها نمذجة توزيعات احتمالات عالية الأبعاد، مثل توزيع "صور ذاكرة المدى الطويل القصيرة"، لكن التقارب كان بطيئًا.

بدأ تأثير التعلم العميق في الصناعة في أوائل العقد الأول من القرن الحادي والعشرين، عندما عالجت الشبكات العصبية التلافيفية بالفعل ما يقدر بـ 10% إلى 20% من جميع الشيكات المكتوبة في الولايات المتحدة، وفقًا ليان ليكون. بدأت التطبيقات الصناعية للتعلم العميق على التعرف على الكلام على نطاق واسع حوالي عام 2010.

كانت ورشة عمل NIPS لعام 2009 حول التعلم العميق للتعرف على الكلام مدفوعةً بقيود النماذج التوليدية العميقة للكلام، واحتمالية أن تصبح الشبكات العصبية العميقة عمليةً بالنظر إلى الأجهزة الأكثر قدرةً ومجموعات البيانات واسعة النطاق. كان يعتقد أن التدريب المسبق للشبكات العصبية العميقة باستخدام نماذج توليدية لشبكات المعتقدات العميقة (DBN) سيتغلب على الصعوبات الرئيسية للشبكات العصبية. ومع ذلك، اكتشف أن استبدال التدريب المسبق بكميات كبيرة من بيانات التدريب للانتشار العكسي المباشر عند استخدام الشبكات العصبية العميقة ذات طبقات الإخراج الكبيرة المعتمدة على السياق أنتج معدلات خطأ أقل كثيرًا من نموذج خليط غاوسي (GMM) ونموذج ماركوف المخفي (HMM) الأكثر تطورًا، وكذلك من الأنظمة الأكثر تقدمًا القائمة على النموذج التوليدي. كانت طبيعة أخطاء التعرف التي أنتجها النوعان من الأنظمة مختلفةً كثيرًا،  مما يوفر رؤى فنيةً حول كيفية دمج التعلم العميق في نظام فك تشفير الكلام الحالي عالي الكفاءة في وقت التشغيل الذي نشرته جميع أنظمة التعرف على الكلام الرئيسية.

حفز التحليل في عامي 2009 و2010 - الذي يقارن بين نموذج الخليط ونماذج الكلام التوليدية الأخرى مقابل نماذج الشبكات العصبية العميقة - الاستثمار الصناعي المبكر في التعلم العميق للتعرف على الكلام. أجري هذا التحليل بأداء مقارن (أقل من 1.5% في معدل الخطأ) بين الشبكات العصبية العميقة التمييزية والنماذج التوليدية. في عام 2010، وسع الباحثون التعلم العميق من  إلى التعرف على الكلام ذي المفردات الكبيرة، باعتماد طبقات إخراج كبيرة من الشبكة العصبية العميقة بناءً على حالات نظرية ماركوف المخفية المعتمدة على السياق التي أنشئت بأشجار القرار.

 ثورة التعلم العميق 
بدأت ثورة التعلم العميق حول رؤية الحاسوب القائمة على الشبكات العصبية التلافيفية (CNN) ووحدات معالجة الرسومات (GPU).

على الرغم من أن الشبكات العصبية التلافيفية المدربة بالانتشار العكسي كانت موجودةً منذ عقود وتطبيقات وحدات معالجة الرسومات للشبكات العصبية لسنوات،  ومنها الشبكات العصبية التلافيفية،  كانت الحاجة إلى تطبيقات أسرع للشبكات العصبية التلافيفية على وحدات معالجة الرسومات للتقدم في رؤية الحاسوب. في وقت لاحق، مع انتشار التعلم العميق، طورت أجهزة متخصصة وتحسينات للخوارزميات خصيصًا للتعلم العميق.

كان التقدم الرئيسي لثورة التعلم العميق هو التقدم في الأجهزة، وخاصةً وحدات معالجة الرسومات. يعود تاريخ بعض الأعمال المبكرة إلى عام 2004. في عام 2009 أفاد راينا ومادهافان وأندرو نج عن شبكة معتقدات عميقة بعمق 100 مليون مدربة على 30 وحدة معالجة رسومات من إنفيديا من فئة ، وهو عرض مبكر للتعلم العميق القائم على وحدة معالجة الرسومات. أفادوا بما يصل إلى 70 مرةً أسرع في التدريب.

في عام 2011، حققت شبكة عصبية تلافيفية تسمى دانت   بدان سيريسان ويولي ماير وجوناثان ماسكي ولوكا ماريا غامبارديلا ويورغن شميدهوبر أول مرة أداءً بشريًا خارقًا في مسابقة التعرف على الأنماط المرئية، متفوقةً على الطرق التقليدية بعامل 3. ثم فازت في المزيد من المسابقات. كما أظهروا كيف أدى  للشبكات العصبية التلافيفية على وحدة معالجة الرسومات إلى تحسين الأداء كثيرًا.

في عام 2012، أنشأ أندرو نج وجيف دين شبكةً عصبيةً للتغذية الأمامية تعلمت التعرف على مفاهيم ذات مستوىً أعلى، مثل القطط، فقط من مشاهدة الصور غير المعلمة المأخوذة من مقاطع فيديو يوتيوب.

في أكتوبر 2012، فاز ألكسنت بأليكس كريجفسكي، وإيليا سوتسكيفر، وجيفري هينتون  بمسابقة "إيميج نت" بهامش كبير على طرق التعلم الآلي الضحلة. تضمنت التحسينات التزايدية الإضافية شبكة VGG-16 بكارين سيمونيان وأندرو زيسرمان  وشبكة جوجل العصبية .

ثم امتد النجاح في تصنيف الصور إلى مهمة إنشاء أوصاف (تسميات) للصور الأكثر تحديًا، غالبًا كمزيج من الشبكات العصبية التلافيفية وذاكرة المدى الطويل القصيرة....

في عام 2014، كانت حالة الفن هي تدريب "شبكة عصبية عميقة جدًا" مع 20 إلى 30 طبقة. أدى تكديس العديد من الطبقات إلى انخفاض حاد في دقة التدريب،  والمعروفة باسم مشكلة "التدهور". في عام 2015 طورت تقنيتين لتدريب الشبكات العميقة جدًا وهما  في مايو 2015، والشبكة العصبية المتبقية (ResNet)  في ديسمبر 2015.

في نفس الوقت تقريبًا، بدأ التعلم العميق يؤثر على مجال الفن. من بين الأمثلة المبكرة ديب دريم (2015)، و (2015)،  وكلاهما كان قائمًا على الشبكات العصبية المدربة مسبقًا لتصنيف الصور، مثل VGG-19.

أصبحت الشبكة التوليدية المتنافسة (GAN) ب(إيان جودفيلو وآخرون، 2014)  (بناءً على مبدأ الفضول الاصطناعي ليورغن شميدهوبر ) حالةً فنيةً في النمذجة التوليدية خلال الفترة 2014-2018. حُصل جودة صورة ممتازة بStyleGAN من إنفيديا (2018)  استنادًا إلى شبكة خصومية توليدية بتيرو كاراس وآخرون. هنا ينمو مولد الشبكة التوليدية المتنافسة من نطاق صغير إلى نطاق كبير بطريقة هرمية. حقق توليد الصور بهذه الشبكة نجاحًا شائعًا، وأثار مناقشات حول التزييف العميق. طغت نماذج الانتشار (2015)  على الشبكات التوليدية المتنافسة في النمذجة التوليدية منذ ذلك الحين، مع أنظمة مثل دال-إي 2 (2022) وستيبل ديفيوجن (2022).

في عام 2015، تحسن التعرف على الكلام من غوغل بنسبة 49% بنموذج قائم على LSTM، وجعلوه متاحًا ببحث غوغل الصوتي على الهواتف الذكية.Google Research Blog. The neural networks behind Google Voice transcription. August 11, 2015. By Françoise Beaufays http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html 

يعد التعلم العميق جزءًا من أحدث الأنظمة في مختلف التخصصات، وخاصةً الرؤية حاسوبية والتعرف التلقائي على الكلام (ASR). تحسنت النتائج على مجموعات التقييم شائعة الاستخدام مثل TIMIT (التعرف الكلام) وMNIST (رؤية حاسوبية)، بالإضافة إلى مجموعة من مهام التعرف على الكلام ذات المفردات الكبيرة بثباتة. استبدلت الذاكرة القصيرة المدى المطولة الشبكاتِ العصبية التلافيفية. لكنها أكثر نجاحًا في رؤية الحاسوب.

حصل يوشوا بنجيو، وجيفري هينتون، ويان ليكون على جائزة تورينج لعام 2018 لـ "الإنجازات المفاهيمية والهندسية التي جعلت الشبكات العصبية العميقة مكونًا أساسيًا في الحوسبة." 

 الشبكات العصبية 

تعد الشبكات العصبية الاصطناعية (ANNs) أو الأنظمة المتصلة أنظمة حوسبة مستوحاةً من الشبكات العصبية البيولوجية التي تشكل أدمغة الحيوانات. تتعلم هذه الأنظمة (تحسن قدرتها تدريجيًا) على أداء المهام بمراعاة الأمثلة، عمومًا دون برمجة مخصصة للمهام. على سبيل المثال، في التعرف على الصور، قد تتعلم تحديد الصور التي تحتوي على قطط بتحليل صور أمثلة صنفت يدويًا بأنها "قطة" أو "ليست قطة" واستخدام النتائج التحليلية للتعرف على القطط في الصور الأخرى. لقد وجدت معظم استخدامها في التطبيقات التي يصعب التعبير عنها باستخدام خوارزمية حاسوب تقليدية باستخدام البرمجة القائمة على القواعد.

تعتمد الشبكة العصبية الاصطناعية على مجموعة من الوحدات المتصلة تسمى الخلايا العصبية الاصطناعية، (مماثلة للخلايا العصبية البيولوجية في الدماغ البيولوجي). يمكن أن يرسل كل اتصال (مشبك) بين الخلايا العصبية إشارةً إلى خلية عصبية أخرى. يمكن للخلية العصبية المستقبلة (بعد المشبكية) معالجة الإشارة (الإشارات) ثم إرسال إشارة إلى الخلايا العصبية التالية المتصلة بها. قد يكون للخلايا العصبية حالة، يمثلها عمومًا أعداد حقيقية، عادةً ما بين 0 و1. قد يكون للخلايا العصبية والمشابك أيضًا وزن يتغير مع تقدم التعلم، مما قد يزيد أو يقلل من قوة الإشارة التي ترسلها إلى أسفل التيار.

عادةً ما تنظم الخلايا العصبية في طبقات. قد تجري طبقات مختلفة أنواعًا مختلفةً من التحويلات على مدخلاتها. تنتقل الإشارات من الطبقة الأولى (الإدخال) إلى الطبقة الأخيرة (الإخراج)، ربما بعد اجتياز الطبقات عدة مرات.

كان الهدف الأصلي من نهج الشبكة العصبية هو حل المشكلات بنفس الطريقة التي يعمل بها الدماغ البشري. بمرور الوقت، ركز الاهتمام على مطابقة قدرات عقلية محددة، مما أدى إلى انحرافات عن علم الأحياء مثل الانتشار العكسي أو الانتشار الخلفي، أو تمرير المعلومات في الاتجاه المعاكس وتعديل الشبكة لتعكس تلك المعلومات. 

استخدمت الشبكات العصبية في مجموعة متنوعة من المهام، ومنها رؤية الحاسوب والتعرف على الكلام، والترجمة الآلية، وتصفية الشبكات الاجتماعية، ولعب ألعاب الطاولة، وألعاب الفيديو، والتشخيص الطبي.

اعتبارًا من عام 2017، تحتوي الشبكات العصبية عادةً على عدد قليل من الآلاف إلى عدد قليل من ملايين الوحدات وملايين الاتصالات. على الرغم من أن هذا العدد أقل بعدة مراتب من عدد الخلايا العصبية في الدماغ البشري، فإن هذه الشبكات يمكنها أداء العديد من المهام على مستوىً يتجاوز مستوى البشر (على سبيل المثال، التعرف على الوجوه، أو لعب "غو").

 الشبكات العصبية العميقة 
الشبكة العصبية العميقة (DNN) هي نموذج حاسوبي مستوحى من بنية الدماغ، يتألف من طبقات متعددة من الوحدات الحسابية المترابطة، تمتد بين طبقة الإدخال وطبقة الإخراج. ورغم تعدد أنواع هذه الشبكات، إلا أنها تتشارك في مكونات أساسية مشتركة، كالخلايا العصبية الاصطناعية والوصلات بينها، والأوزان والانحيازات التي تحدد قوة هذه الوصلات، فضلًا عن الدوال التي تنظم عملية الحساب.

على سبيل المثال، يمكن تدريب شبكة عصبية عميقة على تمييز سلالات الكلاب، بحيث عند عرض صورة لكلب عليها، تقوم بحساب الاحتمال النسبي لانتماء هذا الكلب إلى سلالة معينة. ويمكن للمستخدم تعديل هذه الاحتمالات بوضع عتبات محددة، ليحصل في النهاية على تسمية مقترحة للسلالة. كل عملية حسابية من هذه العمليات تعتبر طبقة في الشبكة، ولهذا سميت هذه الشبكات بـ"العميقة" نظرًا لاحتوائها على عدد كبير من هذه الطبقات.

تستطيع الشبكات العصبية العميقة أن تُمَثِّل علاقات غير خطية معقدة. تولد بنى هذه الشبكات نماذج تركيبية تُعَبَّر فيها عن الكائن على أنه تركيب متعدد الطبقات من عناصر بدائية. تتيح الطبقات الإضافية تكوين ميزات من الطبقات الأدنى، مما يُمكّن من نمذجة بيانات معقدة بوحدات أقل من الشبكة الضحلة ذات الأداء المماثل. على سبيل المثال، ثبت أن كثيرات الحدود المتعددة المتغيرات المفرقة تُقَرَّب تقريبًا أسهل بكثير باستخدام الشبكات العصبية العميقة مقارنة بالشبكات الضحلة.

تشتمل البنى العميقة على العديد من المتغيرات لعدد قليل من الأساليب الأساسية. وقد حققت كل بنية نجاحًا في مجالات محددة. وليس من الممكن دائمًا مقارنة أداء بنى متعددة إلا إذا قُيِّمت على نفس مجموعات البيانات.

تُعَدّ الشبكات العصبية العميقة، في الغالب، شبكاتَ تغذية أمامية تسير فيها البيانات في اتجاه واحد، من طبقة الإدخال إلى طبقة الإخراج، دون رجوع. في البداية، تُنشئ هذه الشبكة خريطةً من العُقد العصبية الاصطناعية وتُعيّن قيمًا عدديةً عشوائية، أو ما يُسمى "أوزانًا"، للعلاقات فيما بينها. تُضرب هذه الأوزان في قيم المدخلات، وينتج عن ذلك قيمٌ تتراوح بين الصفر والواحد. إذا لم تستطع الشبكة تمييز نمطٍ معين بدقة، تقوم الخوارزمية بتعديل هذه الأوزان. بهذه الطريقة تستطيع الخوارزمية تعزيز تأثير بعض المعلمات، حتى تصل إلى المعالجة الرياضية الصحيحة للبيانات بالكامل.

تُستخدَم الشبكات العصبية المتكررة التي تتدفق فيها البيانات في اتجاهات متعددة، في تطبيقات نمذجة اللغات. وتُعد شبكات الذاكرة قصيرة المدى طويلة الأجل ذات كفاءة بالغة في هذا السياق.

أما الشبكات العصبية التلافيفية (CNNs) فتُستخدم على نطاق واسع في مجال الرؤية الحاسوبية. كما وظفت في نمذجة الإشارات الصوتية لتحقيق التعرف التلقائي على الكلام.

 التحديات 
كما هو الحال في الشبكات العصبية الاصطناعية، يمكن أن تنشأ العديد من المشكلات في الشبكات العصبية العميقة المدربة بطريقة بسيطة. من بين هذه المشكلات الشائعة الإفراط في التعميم ووقت الحساب الكبير.

تميل الشبكات العصبية العميقة إلى الإفراط في التعميم بسبب الطبقات المجردة الإضافية التي تسمح لها بنمذجة العلاقات النادرة في بيانات التدريب. يمكن تطبيق أساليب التنظيم مثل تقليم وحدة إيفاخنينكو،  أو اضمحلال الأوزان أو التناثر أثناء التدريب للحد من الإفراط في التعميم. بدلًا من ذلك، يتجاهل تنظيم التسرب وحدات عشوائية من الطبقات المخفية أثناء التدريب. يساعد ذلك في استبعاد العلاقات النادرة. أخيرًا، يمكن زيادة البيانات بأساليب مثل القص وال دوران لزيادة حجم مجموعات التدريب الأصغر وتقليل فرص الإفراط في التعميم.

يجب على الشبكات العصبية العميقة أن تأخذ في الاعتبار العديد من معلمات التدريب، مثل الحجم (عدد الطبقات وعدد الوحدات في كل طبقة)، ومعدل التعلم والأوزان الأولية. قد يكون مسح فضاء المعلمات للحصول على المعلمات المثالية غير ممكن بسبب التكلفة من حيث الوقت والموارد الحسابية. تسارع العديد من الحيل الحسابية، مثل التجميع (حساب التدرج على عدة أمثلة تدريب في وقت واحد بدلًا من الأمثلة الفردية)، عملية التدريب. وقد أدت القدرات الحسابية الكبيرة للبنى متعددة النوى (مثل وحدات معالجة الرسومات) إلى تسريع كبير في التدريب، نظرًا لملاءمة هذه البنى الحسابية لحسابات المصفوفات والمتجهات.

بدلًا من ذلك، قد يبحث المهندسون عن أنواع أخرى من الشبكات العصبية ذات خوارزميات تدريب أبسط وأكثر تقارباً. تعتبر أجهزة التحكم في المفاصل القائمة على نموذج المخيخ (CMAC) أحد هذه الأنواع من الشبكات العصبية. لا تتطلب معدلات تعلم أو أوزانًا أولية عشوائية. يمكن ضمان تقارب عملية التدريب في خطوة واحدة مع دفعة جديدة من البيانات، وتكون التعقيدات الحسابية لخوارزمية التدريب خطية بالنسبة لعدد الخلايا العصبية المشاركة.Ting Qin, et al. "A learning algorithm of CMAC based on RLS". Neural Processing Letters 19.1 (2004): 49-61.

 الأجهزة 
شهدت الأعوام منذ 2010 تطورات متسارعة في خوارزميات التعلم الآلي وأجهزة الحاسوب، مما أفضى إلى أساليب أكثر كفاءة لتدريب الشبكات العصبية العميقة التي تتكون من طبقات متعددة من الوحدات المخفية غير الخطية وطبقة إخراجية ضخمة. وبحلول عام 2019، حلت وحدات معالجة الرسومات، غالبًا مع تحسينات مخصصة للذكاء الاصطناعي، محل وحدات المعالجة المركزية كأداة أساسية للتدريب واسع النطاق للذكاء الاصطناعي السحابي التجاري. وقدّرت أوبن أيه آي الزيادة في مقدار الحساب المطلوب في أكبر مشاريع التعلم العميق، من ألكسنت (2012) إلى ألفا زيرو (2017)، بحوالي 300 ألف ضعف، مع اتجاه لمضاعفة هذا الوقت كل 3.4 أشهر.

صُممت دوائر إلكترونية خاصة، تُعرف بمعالجات التعلم العميق، لتسريع خوارزميات التعلم العميق. وتتضمن هذه المعالجات وحدات معالجة عصبية في هواتف هواوي المحمولة، وخوادم الحوسبة السحابية مثل وحدات معالجة الموترات في منصة غوغل السحابية. كما قامت شركة سيريبراس سيستمز ببناء نظام متخصص لمعالجة نماذج التعلم العميق الكبيرة، استنادًا إلى أكبر معالج في الصناعة.

تُعد أشباه الموصلات الرقيقة واعدة لتطوير أجهزة تعلم عميق موفرة للطاقة، حيث تستخدم الهيكل الأساسي نفسه للعمليات المنطقية وتخزين البيانات. وفي عام 2020، نشر ماريغا وآخرون تجاربهم مع مادة قناة نشطة ذات مساحة كبيرة لتطوير أجهزة ودوائر منطقية في الذاكرة تعتمد على ترانزستورات تأثير المجال ذات البوابة العائمة.

وفي عام 2021 اقترح جيه فيلدمان وآخرون مسرعًا مدمجًا للأجهزة الضوئية للمعالجة التلافيفية المتوازية. ويحدد المؤلفون ميزتين رئيسيتين للفوتونات المدمجة مقارنة بنظيراتها الإلكترونية: نقل بيانات متواز بشكل هائل بتعدد إرسال الطول الموجي بالتزامن مع أمشاط التردد، وسرعات تعديل بيانات عالية للغاية. ويمكن لنظامهم تنفيذ تريليونات عمليات الضرب والتجميع في الثانية، مما يشير إلى إمكانات الفوتونات المدمجة في تطبيقات الذكاء الاصطناعي الغنية بالبيانات.

 التطبيقات 

 التعرف التلقائي على الكلام 

يُعدُّ التعرف التلقائي على الكلام أوسع نطاقٍ تحقق فيه التعلم العميق نجاحًا مبهرًا. لقد أظهرت شبكات الذاكرة الطويلة قصيرة المدى قدرةً على تعلم مهامّ "التعلم العميق جدًّا" ، والتي تتضمن فترات زمنية مطولة تمتد لعدة ثوانٍ وتحوي أحداث كلامية متباعدة بآلاف الخطوات الزمنية المتسلسلة، حيث تقابل الخطوة الزمنية الواحدة حوالي 10 مللي ثانية. وقد أظهرت شبكات الذاكرة الطويلة قصيرة المدى ذات بوابات النسيان  قدرةً على منافسة أنظمة التعرف على الكلام التقليدية في مهامّ محددة.

ارتكز النجاح الأولي في مجال التعرف على الكلام على مهامّ التعرف على نطاقٍ صغير، مثل قاعدة بيانات "TIMIT". تحتوي هذه المجموعة البياناتية على 630 متحدثًا يمثلون ثماني لهجات رئيسية للغة الإنجليزية الأمريكية، حيث يقرأ كل متحدث عشر جمل. وقد أتاح حجمها الصغير إمكانية تجربة العديد من التهيئات. والأهم من ذلك، أن مهمتها تتعلق بالتعرف على تسلسل الصوتيات، الأمر الذي يسمح، على عكس التعرف على تسلسل الكلمات، باستخدام نماذج لغة ثنائية بسيطة على مستوى الصوتيات. وقد سمح هذا بتحليل قوة جوانب النمذجة الصوتية في التعرف على الكلام تعرفًا أيسر. وقد تم تلخيص معدلات الخطأ، ومنها هذه النتائج الأولية التي قيست كنسبة مئوية لمعدلات خطأ الصوتيات (PER)، منذ عام 1991.

 الطريقة  معدل الخطأ (%) الشبكة العصبية التكرارية (RNN) بتخصيص عشوائي  26.1 النموذج ثلاثي الفونيمات بايز (GMM-HMM)  25.6 نموذج المسار المخفي (مولد)  24.8 الشبكة العصبية العميقة (DNN) أحادية الفونيم بتخصيص عشوائي  23.4 الشبكة العصبية العميقة بربط الشبكة الاعتقادية العميقة (DBN-DNN) أحادية الفونيم  22.4 النموذج ثلاثي الفونيمات GMM-HMM بتدريب بي أم أم آي  21.7 الشبكة العصبية العميقة بربط الشبكة الاعتقادية العميقة (DBN-DNN) على FBANK  20.7 الشبكة العصبية العميقة الالتفافية  20.0 الشبكة العصبية العميقة الالتفافية مع تجميع غير متجانس  18.7 مزيج الشبكات العصبية العميقة/الالتفافية/التكرارية (DNN/CNN/RNN)  18.3 شبكة الذاكرة طويلة الأجل ثنائية الاتجاه (LSTM)  17.8 شبكة ماكس أوت العميقة التلافيفية الهرمية  16.5

أدى بروز الشبكات العصبية العميقة في مجالات التعرف على المتحدث في أواخر التسعينات، والتعرف على الكلام حول عامي 2009 و2011، والذاكرة القصيرة المدى المطولة في الفترة الممتدة بين عامي 2003 و2007 إلى تسريع التقدم في ثمانية مجالات رئيسية:

 التوسع والتدريب السريع وفك التشفير للشبكات العصبية العميقة: حيث شهد هذا المجال تطورات متسارعة في بناء وتدريب وتشغيل هذه الشبكات.
 التدريب التمييزي للتسلسلات: رُكّز على تطوير خوارزميات تدريب قادرة على التمييز بين التسلسلات المختلفة بدقة عالية.
 معالجة الميزات بنماذج عميقة مع فهم عميق للآليات الأساسية: طورت نماذج قادرة على استخراج ميزات ذات دلالة عالية من البيانات، مع فهم أعمق للعمليات التي تحدث داخل هذه النماذج.
 تكيف الشبكات العصبية العميقة والنماذج العميقة ذات الصلة: طورت تقنيات لتكييف هذه النماذج لتناسب مختلف المهام والبيانات.
 التعلم متعدد المهام والتعلم الانتقالي بالشبكات العصبية العميقة والنماذج العميقة ذات الصلة: اكتُشفت قدرة هذه النماذج على تعلم مهام متعددة في آن واحد، ونقل المعرفة المكتسبة من مهمة إلى أخرى.
 الشبكات العصبية التلافيفية وكيفية تصميمها للاستفادة المثلى من معرفة مجال الكلام: رُكّز على تصميم هذه الشبكات بحيث تستفيد من المعرفة المتراكمة في مجال معالجة الإشارات الصوتية.
 الشبكة العصبية المتكررة ومتغيرات الذاكرة القصيرة المدى المطولة الغنية بها: طورت نماذج متكررة قادرة على معالجة البيانات التسلسلية مع قدرة أكبر على حفظ المعلومات.
 أنواع أخرى من النماذج العميقة ومنها النماذج القائمة على الموترات والنماذج المدمجة التوليدية/التمييزية العميقة: اكتُشفت نماذج جديدة ذات بنى معقدة أكثر، مثل النماذج القائمة على الموترات والنماذج المدمجة التي تجمع بين القدرات التوليدية والتمييزية.

تعتمد جميع أنظمة التعرف على الكلام التجارية الرئيسية على التعلم العميق مثل كورتانا وإكس بوكس، ومترجم سكايب، وأمازون أليكسا، وجوجل ناو، وسيري، وبايدو، وآي فلايتك للبحث الصوتي، ومجموعة من منتجات نيوانس للكلام وغيرها.

 التعرف على الصور 

تصغير|يشرح ريتشارد جرين كيفية استخدام التعلم العميق مع مركبة تعمل عن بُعد تحت الماء في تربية بلح البحر
تُعد قاعدة بيانات MNIST مجموعة بيانات مرجعية شائعة لتقييم خوارزميات تصنيف الصور. تتألف من أرقام مكتوبة بخط اليد، وتضم 60 ألف عينة تدريبية و10 ألف عينة اختبارية، شأنها شأن قاعدة بيانات TIMIT فإن حجمها المتواضع يتيح للمستخدمين تجربة إعدادات متنوعة. وتتوفر قائمة شاملة بالنتائج التي تحققت على هذه المجموعة.

بات التعرف على الصور القائم على التعلم العميق يتفوق على القدرات البشرية، إذ يُنتج نتائج أدق من نظرائه البشر. وقد تحقق هذا الإنجاز أول مرة في عام 2011 في مجال التعرف على إشارات المرور، ثم تبعه في عام 2014 في مجال التعرف على الوجوه البشرية.

تفسر المركبات المدربة على التعلم العميق الآن مشاهدات الكاميرا بزاوية 360 درجة. ومن الأمثلة الأخرى على تطبيقات التعلم العميق في هذا المجال، تحليل تشوهات الوجه الجديد (FDNA) الذي يُستخدم في تحليل الحالات الشاذة الوراثية المرتبطة بقاعدة بيانات واسعة من المتلازمات الوراثية.

 معالجة الفنون البصرية 
تصغير|164x164px|معالجة الفنون البصرية لجيمي ويلز في فرنسا، مع تطبيق أسلوب لوحة "الصرخة" لمونش باستخدام نقل الأسلوب العصبي
إن التقدم المحرز في مجال التعرف على الصور مرتبط ارتباطًا وثيقًا بالاستخدام المتزايد لتقنيات التعلم العميق في شتى مهام الفنون البصرية. وقد أثبتت الشبكات العصبية العميقة كفاءتها في مجالات عدة، منها على سبيل المثال لا الحصر:

 تحديد الفترة الزمنية لأسلوب لوحة ما: حيث باتت قادرة على تحديد الفترة الفنية التي تنتمي إليها لوحة معينة بدقة متزايدة.
 النقل الأسلوبي العصبي: يتمثل هذا في قدرتها على انتقاء الأسلوب الفني لعمل فني محدد وتطبيقه بطريقةٍ مرضيةٍ بصريًا على صورة أو مقطع فيديو عشوائي.
 توليد صور مذهلة: وذلك بإنشاء صور بصرية مبهرة انطلاقًا من مدخلات عشوائية.

 معالجة اللغة الطبيعية 

استُخدمت الشبكات العصبية لبناء نماذج لغوية منذ مطلع القرن الحادي والعشرين. وقد ساهمت الذاكرة القصيرة المدى المطولة (LSTM) في تطوير الترجمة الآلية ونماذج اللغة تطويرًا ملحوظ.

ومن التقنيات الأخرى البارزة في هذا المجال التعيين السلبي والتضمين الكلمي. ويمكن اعتبار التضمين الكلمي، كما في نموذج word2vec، بمثابة طبقة تمثيل في بنية التعلم العميق تحول كلمة مفردة إلى تمثيل نقطوي في فضاء متجه يعبر عن علاقتها بالكلمات الأخرى ضمن مجموعة البيانات. ويتيح استخدام التضمين الكلمي كطبقة إدخال في الشبكات العصبية المتكررة (RNN) تحليل الجمل والعبارات اعتمادًا على قواعد متجه تركيبية فعالة. ويمكن النظر إلى هذه القواعد بمثابة قواعد نحوية احتمالية خالية من السياق (PCFG) تنفذها الشبكات العصبية المتكررة. كما يمكن للمشفرات التلقائية المتكررة المبنية على التضمينات الكلمية تقييم تشابه الجمل واكتشاف عمليات إعادة الصياغة.

وتوفر بنى الشبكات العصبية العميقة نتائج أفضل في مجالات التحليل التركيبي،  وتحليل المشاعر،  واسترجاع المعلومات،  وفهم اللغة المنطوقة،  والترجمة الآلية،  وربط الكيان السياقي،  والتعرف على أسلوب الكتابة،  والتعرف على الكيان المسمى (تصنيف الرموز المميزة)،  وتصنيف النصوص وغيرها.

ويعتمد مترجم جوجل (GT) على شبكة ذاكرة قصيرة المدى طويلة (LSTM) كبيرة الحجم تعمل من طرف إلى طرف. وتستخدم ترجمة جوجل العصبية الآلية (GNMT) أسلوبًا في الترجمة الآلية يعتمد على الأمثلة حيث "يتعلم النظام من ملايين الأمثلة". ويقوم بترجمة "الجمل كاملة في وقت واحد، بدلًا من القطع". ويدعم مترجم جوجل أكثر من مائة لغة. وتشفر الشبكة "دلالات الجملة بدلًا من مجرد حفظ الترجمات من عبارة إلى عبارة". ويستخدم مترجم جوجل اللغة الإنجليزية كلغة وسيطة بين معظم أزواج اللغات.

 اكتشاف الأدوية والسموم 

تفشل نسبة كبيرة من المركبات الدوائية المرشحة في الحصول على الموافقة التنظيمية. تُعزى هذه الإخفاقات إلى قصور في الفعالية الدوائية (أي التأثير على الهدف المقصود)، أو ظهور تفاعلات جانبية غير مرغوب فيها (أي تأثيرات خارج الهدف)، أو حدوث سمية غير متوقعة. وقد سعى الباحثون إلى استكشاف إمكانية استخدام تقنيات التعلم العميق للتنبؤ بالأهداف الجزيئية الحيوية،  والأهداف غير المقصودة، والتأثيرات السامة للمركبات الكيميائية الموجودة في الأغذية والمنتجات المنزلية والأدوية."Toxicology in the 21st century Data Challenge"

يعد نظام "أتوم نت" مثالًا بارزًا على أنظمة التعلم العميق المصممة لتطوير الأدوية بعقلانية بناءً على بنية الجزيء. وقد وظفت "أتوم نت" للتنبؤ بجزيئات حيوية جديدة مرشحة لعلاج أمراض مثل فيروس إيبولا،  والتصلب المتعدد.

شهد عام 2017 استخدام الشبكات العصبية البيانية أول مرة في مجال التنبؤ بخصائص جزيئية متنوعة ضمن قاعدة بيانات واسعة في علم السموم. وفي عام 2019 لجئ إلى الشبكات العصبية التوليدية لإنتاج جزيئات خضعت للتحقق التجريبي حتى مرحلة التجارب على الفئران.

 إدارة علاقات العملاء 

وظفت تقنيات التعلم العميق بالتعزيز لتقدير قيمة الإجراءات التسويقية المباشرة المحتملة، وذلك بالاستناد إلى معطيات عميقة حول المتغيرات الخاصة بتردد الشراء، القيمة الإجمالية للطلبات، ومدة آخر عملية شراء (RFM). وقد أظهرت النتائج أن الدالة المستخدمة في تقدير القيمة تحمل تفسيرًا بديهيًا يتمثل في قيمة عمر العميل.

 أنظمة التوصية 

استخدمت أنظمة التوصية التعلم العميق لاستخراج ميزات ذات مغزىً لنموذج عامل كامن للتوصيات الموسيقية والبحثية القائمة على المحتوى. طبق التعلم العميق متعدد المناظر لتعلم تفضيلات المستخدم من نطاقات متعددة. يستخدم النموذج نهجًا هجينًا قائمًا على التعاون والمحتوى ويعزز التوصيات في مهام متعددة.

 المعلوماتية الحيوية 

استُخدم مشفر تلقائي للشبكات العصبية الاصطناعية في حقل المعلوماتية الحيوية، بهدف التنبؤ بالشروح الوراثية والعلاقات الوظيفية بين الجينات. وفي سياق المعلوماتية الطبية، استُغل التعلم العميق للتنبؤ بجودة النوم بالاعتماد على البيانات المستمدة من الأجهزة القابلة للارتداء،  وكذلك للتنبؤ بالمضاعفات الصحية استنادًا إلى البيانات المسجلة في السجلات الصحية الإلكترونية. وقد أظهرت الشبكات العصبية العميقة تفوقًا ملحوظًا في التنبؤ ببنية البروتين، وذلك انطلاقًا من تسلسل الأحماض الأمينية المكونة له. وفي عام 2020، حقق نظام ألفافولد القائم على التعلم العميق، مستوى دقة تفوق بكثير جميع الطرق الحسابية السابقة.

 تقديرات الشبكة العصبية العميقة 
يمكن الاستعانة بالشبكات العصبية العميقة في تقدير إنتروبيا عملية عشوائية، حيث يُطلق على هذا التقدير اسم "مقدر الإنتروبيا العصبي المشترك" (NJEE). يزودنا هذا التقدير بنظرة ثاقبة حول الأثر الذي تحدثه المتغيرات العشوائية المدخلة على متغير عشوائي مستقل.

من الناحية العملية، تُدرب الشبكة العصبية العميقة بحيث تعمل كتصنيف يقوم بتعيين متجه أو مصفوفة من المدخلات (X) إلى توزيع احتمالي للمخرجات على الفئات المحتملة للمتغير العشوائي (Y)، وذلك بالنظر إلى المدخلات (X). على سبيل المثال، في مهام تصنيف الصور، يقوم "مقدر الإنتروبيا العصبي المشترك" بتعيين متجه من قيم ألوان وحدات البكسل إلى احتمالات للفئات التصويرية المحتملة. عمليًا، فيخرج توزيع احتمالي لـ (Y) بطبقة "سوفت ماكس" حيث يكون عدد العقد فيها مساويًا لحجم أبجدية (Y).

يستخدم "مقدر الإنتروبيا العصبي المشترك" دوال تنشيط قابلة للاشتقاق باستمرار، مما يجعل شروط نظرية التقريب الشاملة قابلة للتطبيق. وقد تبين أن هذه الطريقة توفر مقدرًا متسقًا بقوة ويتفوق على الطرق الأخرى في حال كانت أحجام الأبجدية كبيرة.

 تحليل الصور الطبية 
أظهرت الدراسات أن تقنيات التعلم العميق تحقق نتائج متفوقة في مختلف التطبيقات الطبية. ومن أبرز هذه التطبيقات: تصنيف الخلايا السرطانية، واكتشاف الآفات المرضية، وتجزئة الأعضاء، وتحسين جودة الصور الطبية. وتشير الأبحاث الحديثة إلى أن أدوات التعلم العميق تتميز بدقة عالية في تشخيص الأمراض المختلفة، مما يجعلها أداة قيمة للمختصين في مجال الرعاية الصحية، ويساهم في رفع كفاءة عمليات التشخيص.

 الإعلان عبر الهاتف المحمول 
يُشكّل العثور على جمهور محمول مناسب لإعلانات الأجهزة المحمولة تحديًا دائمًا، إذ يتطلب الأمر مراعاة وتحليل العديد من نقاط البيانات قبل تكوين شريحة مستهدفة واستخدامها في عرض الإعلانات بأي خادم إعلاني. وقد استُخدم التعلم العميق في تفسير مجموعات البيانات الإعلانية الكبيرة متعددة الأبعاد. تجمع العديد من نقاط البيانات أثناء دورة طلب/خدمة/نقرة إعلان الإنترنت، ويمكن أن تشكل هذه المعلومات أساسًا للتعلم الآلي لتحسين اختيار الإعلانات.

 استعادة الصور 
طُبّق التعلم العميق بنجاح على المسائل العكسية كإزالة التشويش، والدقة الفائقة، والرسم، وتلوين الأفلام. وتشمل هذه التطبيقات أساليب تعلّم مثل "مجالات الانكماش لاستعادة الصورة استعادة فعالة"  التي تُدرّب على مجموعة بيانات للصور، و"ديب إيمج برير" التي تُدرّب على الصورة التي تحتاج إلى استعادة.

 الكشف عن الاحتيال المالي 
يُطبق التعلم العميق بنجاح على الكشف عن الاحتيال المالي، والكشف عن التهرب الضريبي،  ومكافحة غسل الأموال.

 علم المواد 
في نوفمبر 2023 أعلن باحثون في شركة ديب مايند ومختبر لورنس بيركلي الوطني عن تطويرهم لنظام ذكاء اصطناعي أسموه "ج نوم" ، وقد ساهم هذا النظام كثيرًا في ميدان علم المواد باكتشافه لأكثر من مليوني مادة جديدة في فترة زمنية وجيزة نسبيًا. يستند نظام "ج نوم" في عمله على تقنيات التعلم العميق التي تمكنه من استكشاف بنى المواد المحتملة بشكل فعال، مما أدى إلى زيادة كبيرة في تحديد البنى البلورية غير العضوية المستقرة. وقد جرى التحقق من دقة تنبؤات هذا النظام بتجارب روبوتية آلية حققت نسبة نجاح ملحوظة بلغت 71%. أُتيحت البيانات المتعلقة بالمواد المكتشفة حديثًا للجميع بقاعدة بيانات مشروع المواد، مما يتيح للباحثين فرصة اختيار المواد التي تمتلك الخصائص المطلوبة لتطبيقها في مجالات مختلفة.

يمثل هذا التطور نقلة نوعية في مجال الاكتشاف العلمي، ويؤكد على أهمية دمج الذكاء الاصطناعي في أبحاث علوم المواد، مما قد يساهم في تسريع عملية ابتكار المواد وتقليل التكاليف اللازمة لتطوير المنتجات. يشير استخدام الذكاء الاصطناعي والتعلم العميق إلى إمكانية تقليل أو حتى إلغاء التجارب المخبرية اليدوية، مما يتيح للعلماء التركيز أكثر على تصميم المركبات الفريدة وتحليلها.

 الجيش 
طبقت وزارة الدفاع الأمريكية التعلم العميق لتدريب الروبوتات على مهام جديدة بالمشاهدة.

 المعادلات التفاضلية الجزئية 
استُخدمت الشبكات العصبية المستوحاة من الفيزياء في حل المعادلات التفاضلية الجزئية، سواء كانت مباشرة أو عكسية، وذلك بطريقة تعتمد على البيانات. ومن الأمثلة البارزة على ذلك إعادة بناء تدفق السوائل الذي يخضع لقوانين نافييه-ستوكس. ولا يتطلب الاستعانة بهذه الشبكات إنشاء شبكة تفاضلية، والتي تتطلب عادةً تكاليف باهظة كما هو الحال في الطرق التقليدية لديناميكا الموائع الحسابية.

 طريقة المعادلات التفاضلية العشوائية الخلفية العميقة 
تُعد طريقة المعادلة التفاضلية العشوائية العميقة ذات التوجه الخلفي أسلوبًا حاسوبيًا مبتكرًا يجمع بين قوة التعلم العميق ومرونة المعادلات التفاضلية العشوائية ذات التوجه الخلفي (BSDE). تُعد هذه الطريقة مثالية لحل المسائل المعقدة ذات الأبعاد العالية التي تظهر بتكرار في مجال المالية الرياضية.

بفضل قدرة الشبكات العصبية العميقة على تقريب الدوال بدقة عالية، تستطيع هذه الطريقة تجاوز التحديات الحسابية التي تواجهها الطرق التقليدية في التعامل مع الأبعاد الكبيرة. فطرق التقريب التقليدية، مثل طريقة الفروق المحدودة أو محاكاة مونت كارلو، تعاني من ما يُعرف بـ "لعنة الأبعاد"، حيث تزداد تكلفة الحساب كثيرًا مع زيادة عدد الأبعاد.

على النقيض من ذلك، تستغل طريقة المعادلة التفاضلية العشوائية العميقة ذات التوجه الخلفي الشبكات العصبية العميقة لتقريب حلول المعادلات التفاضلية الجزئية عالية الأبعاد، مما يقلل من العبء الحسابي.

وعلاوة على ذلك، فإن دمج الشبكات العصبية المسترشدة بالفيزياء (PINNs) في إطار عمل المعادلات التفاضلية العشوائية العكسية العميق يعزز من قدرتها بدمج القوانين الفيزيائية الأساسية مباشرة في بنية الشبكة العصبية. وهذا يكفل ألا تقتصر الحلول على ملاءمة البيانات، بل تتوافق أيضًا مع المعادلات التفاضلية العشوائية الحاكمة للمشكلة. تستفيد الشبكات العصبية المسترشدة بالفيزياء من قوة التعلم العميق مع مراعاة القيود التي تفرضها النماذج الفيزيائية، مما يؤدي إلى حلول أكثر دقة وموثوقية للمسائل المتعلقة بالرياضيات المالية.

 إعادة بناء الصور 
تُعَد عملية إعادة بناء الصور بمثابة إعادة تركيب الصورة الأصلية من القياسات المرتبطة بها. وقد أظهرت العديد من الدراسات تفوق أساليب التعلم العميق تفوقًا ملحوظًا على الطرق التحليلية في مختلف التطبيقات، من بينها التصوير الطيفي،  والتصوير بالموجات فوق الصوتية.

 التنبؤ بالطقس 
تعتمد أنظمة التنبؤ بالأحوال الجوية التقليدية على حل مجموعة معقدة من المعادلات التفاضلية الجزئية. أما نموذج جرافكاست القائم على التعلم العميق، فيعتمد على تدريب واسع على بيانات تاريخية للأحوال الجوية للتنبؤ بتطور الأنماط الجوية بمرور الوقت. ويتيح هذا النموذج القدرة على التنبؤ بالأحوال الجوية على مستوى العالم، بدقة تفصيلية عالية، وعلى مدى عشرة أيام، وذلك في زمن قياسي يقل عن دقيقة، بحيث تتساوى دقته مع أحدث الأنظمة المتخصصة.

 الساعة التخلقية 

الساعة التخلقية هي اختبار كيميائي حيوي يُستخدم لتقدير العمر البيولوجي. وقد استخدم غالكين وزملاؤه الشبكات العصبية العميقة لتدريب ساعة شيخوخة فوق جينية بدقة غير مسبوقة، وذلك باستخدام أكثر من 6000 عينة دم. وتعتمد هذه الساعة على معلومات مستقاة من 1000 موقع ثنائي النوكليوتيد من نوع CpG، وتتمكن من التنبؤ بوجود حالات مرضية معينة لدى الأفراد، مثل داء الأمعاء الالتهابي، والخرف الجبهي الصدغي، وسرطان المبيض، والسمنة، وذلك بمعدل أعلى مقارنة بالأفراد الأصحاء. ومن المقرر إطلاق هذه الساعة للاستخدام العام في عام 2021 بشركة انزلك ميديكن الفرعية ديب لنجفتي.

 العلاقة بالتنمية المعرفية وتطور الدماغ البشري 
يرتبط التعلم العميق ارتباطًا وثيقًا بمجموعة من النظريات التطورية للدماغ، وتحديدًا تطور القشرة المخية الحديثة، والتي طرحها علماء الأعصاب الإدراكيون في بدايات التسعينيات الميلادية. وقد تجسّدت هذه النظريات التنموية في نماذج حسابية، مما جعلها سلفًا لأنظمة التعلم العميق. وتتشارك هذه النماذج التنموية في خاصية أن الديناميات التعليمية المختلفة المقترحة في الدماغ، مثل موجة عامل نمو الأعصاب، تدعم تنظيمًا ذاتيًا شبيهًا إلى حد كبير بتنظيم الشبكات العصبية المستخدمة في نماذج التعلم العميق. كالقشرة المخية الحديثة تستخدم الشبكات العصبية تسلسلًا هرميًا من المرشحات متعددة الطبقات، حيث تأخذ كل طبقة المعلومات من طبقة سابقة أو من بيئة التشغيل، ثم تمرر ناتجها، وربما الإدخال الأصلي، إلى طبقات أخرى. وتنتج هذه العملية مجموعة ذاتية التنظيم من المحولات، مضبوطة بدقة لبيئة تشغيلها. وقد ذكر وصف عام 1995م أن "... يبدو أن دماغ الرضيع ينظم نفسه تحت تأثير موجات مما يسمى عوامل التغذية... تتصل مناطق مختلفة من الدماغ بالتسلسل، مع نضج طبقة واحدة من الأنسجة قبل الأخرى وهكذا حتى ينضج الدماغ بأكمله".S. Blakeslee, "In brain's early growth, timetable may be critical", The New York Times, Science Section, pp. B5–B6, 1995.

استُخدمت طائفة واسعة من الأساليب لدراسة مدى تقارب نماذج التعلم العميق مع النماذج العصبية البيولوجية. من ناحية، اقترح باحثون تعديلات عديدة على خوارزمية الانتشار العكسي لجعلها أكثر واقعية بيولوجيًا. ودفع آخرون بأن أشكال التعلم العميق غير الموجه، مثل تلك القائمة على النماذج التوليدية الهرمية وشبكة الاعتقاد العميق، قد تكون أقرب إلى الواقع البيولوجي. وفي هذا الصدد، رُبطت نماذج الشبكات العصبية التوليدية ببيانات عصبية بيولوجية حول المعالجة القائمة على التعيين في القشرة الدماغية.

رغم غياب مقارنة منهجية بين تنظيم الدماغ البشري والتشفير العصبي في الشبكات العميقة حتى الآن، إلا أن العديد من أوجه التشابه قد لوحظت. فعلى سبيل المثال، يمكن أن تكون الحسابات التي تقوم بها وحدات التعلم العميق شبيهة بحسابات الخلايا العصبية الفردية،  والمجموعات العصبية. وبالمثل، فإن التمثيلات التي تولدها نماذج التعلم العميق تشبه تلك التي قيست في نظام الرؤية عند الرئيسيات على مستوى الخلية العصبية الفردية،  وعلى مستوى المجموعات العصبية.

 النشاط التجاري 
يشارك مختبر الذكاء الاصطناعي في فيسبوك بمهام شتى، من بينها وضع علامات آلية على الصور المُحمَّلة بأسماء الأشخاص الظاهرين فيها. وقد طورت شركة ديب مايند التابعة لشركة غوغل نظامًا قادرًا على تعلم كيفية لعب ألعاب الفيديو من نوع أتاري مستخدمًا وحدات البكسل فقط كمدخلات للبيانات. وفي عام 2015، عرضت الشركة نظام ألفا غو الذي تعلم لعبة غو إلى حد الكفاءة الذي مكنه من هزيمة لاعب محترف في هذه اللعبة. أما مترجم غوغل فيستخدم شبكة عصبية للترجمة بين أكثر من مئة لغة. وفي عام 2017 أطلقت شركة كوفاريانت دوت أي التي ركزت على دمج التعلم العميق في المصانع.

في 2008 طور باحثون بجامعة تكساس في أوستن إطار عمل للتعلم الآلي أطلقوا عليه اسم "تامر"،  وهو اختصار للتدريب اليدوي عبر التعزيز التقييمي. وقد طرح هذا الإطار أساليب مبتكرة لتمكين الروبوتات وبرامج الحاسوب من تعلم كيفية أداء المهام المختلفة بالتفاعل المباشر مع معلم بشري. وفي تطور لاحق لهذا الإطار، قدمت خوارزمية جديدة أُطلق عليها اسم "ديب تامر" في عام 2018م، وذلك في إطار تعاون مشترك بين مختبر أبحاث الجيش الأمريكي وعلماء من جامعة تكساس. وقد استعان "ديب تامر" بالتعلم العميق لتمكين الروبوتات من اكتساب مهارات جديدة بالملاحظة البصرية. بفضل "ديب تامر"، بات بإمكان الروبوت تعلم مهمة ما بالتفاعل المباشر مع مدرب بشري، أو بمشاهدة مقاطع فيديو توثق أداء الإنسان للمهمة ذاتها. وبعد ذلك، يتدرب الروبوت على أداء المهمة بمساعدة المدرب الذي يقدم له تعليقات إيجابية وسلبية مثل "عمل جيد" و"عمل سيئ".

 الانتقادات والتعليقات 
جذب التعلم العميق الانتقادات والتعليقات، في بعض الحالات من خارج مجال علوم الكمبيوتر.

 النظرية 

من أبرز الانتقادات الموجهة إلى هذه الطرق نقص النظرية التي تقوم عليها. فبينما يُنفذ التعلم في أغلب الشبكات العميقة باستعمال الانحدار التدريجي الذي يُفهم فهمًا جيدًا، فإن النظرية المتعلقة بخوارزميات أخرى، كخوارزمية التباعد المتناقض، أقل وضوحًا. (مثلاً، هل تتلاقى هذه الخوارزمية؟ وإذا كان الأمر كذلك، فما سرعة تلاقها؟ وما الذي تتلاقى إليه؟) وغالبًا ما تُعتبر أساليب التعلم العميق بمثابة صندوق أسود، حيث يركز معظم الباحثين على التجريب بدلًا من التحليل النظري.

يرى آخرون أنه ينبغي النظر إلى التعلم العميق على أنه خطوة نحو تحقيق الذكاء الاصطناعي العام، وليس كحل شامل لكل المشكلات. فبالرغم من قوة أساليب التعلم العميق، إلا أنها لا تزال تفتقر إلى العديد من القدرات اللازمة لتحقيق هذا الهدف بالكامل. وقد أشار عالم النفس الباحث غاري ماركوس:إن التعلم العميق، بحقائق الأمور، جزءٌ يسير من التحدي الجسيم المتمثل في بناء آلات ذكية. إذ تفتقر هذه التقنيات إلى سبل تمثل العلاقات السببية (...)، ولا تملك طرقًا واضحة لإجراء استنتاجات منطقية، كما أنها ما زالت بعيدة كل البعد عن دمج المعرفة المجردة، كالمعلومات المتعلقة بماهية الأشياء وغاياتها وكيفية استعمالها عادةً. وتستخدم أقوى أنظمة الذكاء الاصطناعي، كواتسون (...)، تقنيات كهذه كعنصر واحد فحسب في مجموعة بالغة التعقيد من التقنيات، تتراوح بين التقنيات الإحصائية للاستدلال البايزي إلى التفكير الاستنتاجي.في إشارة أخرى إلى فكرة أن الحساسية الفنية قد تكون متأصلة في مستويات منخفضة نسبيًا من التسلسل الهرمي الإدراكي، تُظهر سلسلة منشورة من التمثيلات الرسومية للحالات الداخلية للشبكات العصبية العميقة (عشرين إلى ثلاثين طبقة) التي تحاول التمييز بين البيانات العشوائية والصور التي دربت عليها جاذبيةً بصرية لافتة للنظر. فقد حظي البحث الأصلي بأكثر من ألف تعليق، وكان موضوع المقالة الأكثر زيارةً على موقع الغارديان لفترة من الزمن.

 الأخطاء 
تُبدي بعض نماذج التعلم العميق سلوكيات شاذة،  مثل تصنيف صور غير قابلة للتفكيك بثقة عالية ضمن فئات صور عادية معروفة مسبقاً،  وخطأ في تصنيف صور طرأ عليها تعديل طفيف بعد تصنيفها صحيحة (2013). اقترح جويرتزل أن هذه السلوكيات تعود إلى قيود في التمثيلات الداخلية لهذه النماذج، وأن هذه القيود ستعيق دمجها في أنظمة ذكاء اصطناعي عام (AGI) متعددة المكونات وغير متجانسة. قد تحل هذه المشكلات بنماذج تعلم عميق تبني داخليًا حالات مماثلة للتحليلات النحوية للصور للكيانات والأحداث المرئية. إن تعلم قواعد نحوية (بصرية أو لغوية) من بيانات التدريب يعادل فرض قيد على النظام بالتفكير المنطقي الذي يستند إلى مفاهيم قابلة للتعبير عنها بقواعد إنتاج نحوية، وهو هدف أساسي لكل من اكتساب اللغة البشرية Miller, G. A., and N. Chomsky. "Pattern conception". Paper for Conference on pattern detection, University of Michigan. 1957. والذكاء الاصطناعي.

 التهديد السيبراني 
مع انتقال تقنيات التعلم العميق من بيئة التجارب المعملية إلى عالم التطبيقات العملية، كشفت الأبحاث والدراسات المتتالية عن مدى قابلية الشبكات العصبية الاصطناعية للاختراق والتضليل. فبفضل قدرتها على تحديد الأنماط المعقدة التي تعتمد عليها هذه الأنظمة في عملها، يستطيع المهاجمون التلاعب بمدخلاتها بطرق خفية، بحيث تتوهم الشبكة العصبية وجود تطابق معين لا يستطيع الإنسان العادي إدراكه. على سبيل المثال، يمكن للمهاجم إجراء تعديلات طفيفة على صورة بحيث تظن الشبكة العصبية أنها تطابق الصورة المستهدفة، على الرغم من أن الإنسان لا يلاحظ أي تغيير يذكر في الصورة. وتُعرف هذه الهجمات باسم هجمات التعلم الآلي العدائية.

في عام 2016، نجح باحثون في استخدام شبكة عصبية اصطناعية واحدة لتعديل الصور بطريقة تجريبية، حيث كانت الشبكة تقوم بتحديد نقاط القوة والضعف في الشبكات العصبية الأخرى، ومن ثمّ تقوم بإنشاء صور مضللة لها. واللافت للنظر أن هذه الصور المعدلة بدت طبيعية تمامًا للعين البشرية. كما أثبتت مجموعة بحثية أخرى أن طباعة هذه الصور المعدلة ثم تصويرها مرة أخرى كانت كافية لخداع أنظمة تصنيف الصور المتقدمة. ومن بين الحلول المقترحة لمواجهة هذه التحديات، نجد تقنية البحث العكسي عن الصور، والتي تعتمد على إرسال الصورة المشتبه فيها إلى محركات بحث متخصصة مثل "تن آي"، والتي بدورها تبحث عن صور مشابهة لها في قواعد بياناتها الضخمة. كما يمكن تطوير هذه التقنية لتشمل البحث عن أجزاء من الصورة، مما يزيد من دقة النتائج.

أظهرت دراسة أخرى أن بعض أنواع النظارات المزودة بتقنيات التمويه يمكن أن تضلل أنظمة التعرف على الوجوه، مما يجعلها تخلط بين الأفراد العاديين والشخصيات الشهيرة. وبذلك يتسنى لشخص ما أن يتقمص هوية شخص آخر. وفي عام 2017، نجح باحثون في تضليل الشبكات العصبية الاصطناعية بإضافة ملصقات إلى علامات التوقف، مما أدى إلى خطأ في تصنيفها.

ومع ذلك، يمكن تدريب الشبكات العصبية الاصطناعية على اكتشاف محاولات الخداع هذه، مما قد يؤدي إلى نشوء صراع مستمر بين المهاجمين والمدافعين، يشبه إلى حد كبير السباق التسلحي في مجال مكافحة البرامج الضارة. وقد دربت شبكات عصبية اصطناعية على التغلب على برامج مكافحة البرامج الضارة القائمة على الشبكات العصبية الاصطناعية بهجوم متكرر ومتطور على هذه البرامج. يجري ذلك بتعديل البرامج الضارة باستمرار باستخدام خوارزميات وراثية، حتى تنجح في خداع برنامج مكافحة البرامج الضارة مع الحفاظ على قدرتها على إلحاق الضرر بالهدف.

في عام 2016، بيّنت مجموعة بحثية أن أصواتًا معينة قادرة على توجيه نظام جوجل ناو الصوتي لفتح عنوان ويب محدد. وخلص الباحثون إلى أن هذه الثغرة يمكن استغلالها كمنطلق لشن هجمات أكثر تعقيدًا، مثل فتح صفحات ويب تضم برمجيات خبيثة.

يتمثل جوهر الهجمات العدائية في مجال تعلم الآلة في التلاعب المتعمد ببيانات التدريب المقدمة لأنظمة التعلم الآلي، بهدف إعاقتها عن تحقيق الكفاءة المرجوة.

 أخلاقيات جمع البيانات 
تعتمد أغلب أنظمة التعلم العميق على بيانات التدريب والتحقق التي ينشئها البشر أو يشرحونها. وقد جادلت فلسفة الإعلام بأن العمل اليدوي ذو الأجر المتدني لا يُنشر بانتظام فقط لهذا الغرض (كما في منصة أمازون ميكانيكال تورك)، بل إن الأشكال الضمنية للعمل البشري الجزئي التي غالبًا ما تُتجاهل بهذا الصدد تُنشر أيضًا. ويميز الفيلسوف راينر مولهاف بين خمسة أنواع من "الالتقاط الآلي" للعمل البشري الجزئي بهدف توليد بيانات التدريب وهي:

 التلعيب: أي تضمين مهام الشرح أو الحساب ضمن تدفق اللعبة.
 المحاصرة والتتبع: مثل الكاباتشا لتعريف الصور أو تتبع النقرات على صفحات نتائج بحث غوغل.
 استغلال الدوافع الاجتماعية: كوضع علامات على الوجوه في فيسبوك للحصول على صور للوجوه المعلمة.
 استخراج المعلومات: مثل الاستفادة من أجهزة التكميم الذاتي مثل متتبعات النشاط.
 العمل اليدوي. 

يُجادل مولهاف بأن أغلب التطبيقات التجارية للتعلم العميق التي يتفاعل معها المستخدم مباشرة، مثل نظام التعرف على الوجوه في فيسبوك، لا يكفي فيها تدريب الشبكة العصبية الاصطناعية مرة واحدة. بل إن الحاجة مستمرة إلى بيانات تحقق يوفرها الإنسان لمعايرة الشبكة العصبية وتحديثها تحديًا متواصلًا. ولتحقيق هذا الغرض، قدم فيسبوك ميزة تتيح للمستخدم، حالما يتعرف النظام عليه في صورة ما، أن يتلقى إشعارًا. ويمكن للمستخدم حينها أن يختار ما إذا كان يرغب في وضع علامة عليه علنًا على الصورة أم لا، أو أن يبلغ فيسبوك بأن الصورة ليست له. وتعد هذه الواجهة التفاعلية آلية لتوليد "تدفق مستمر من بيانات التحقق"،  التي تساهم في مواصلة تدريب الشبكة في الوقت الفعلي. ويرى مولهاف أن مشاركة المستخدمين من البشر في توفير بيانات التدريب والتحقق هي سمة أساسية في معظم تطبيقات التعلم العميق التجارية التي يتفاعل معها المستخدم مباشرة، لدرجة أنه يمكن وصف هذه الأنظمة بأنها "ذكاء اصطناعي بمساعدة الإنسان".

 انظر أيضًا 
 تطبيقات الذكاء الاصطناعي
 برمجة تفاضلية
 شبكة حالة الصدى
 تشفير عصبي

 مواقع خارجية 

 مجموعات ابحاث 
 مجموعة تعليم الآلة - جامعة تورونتو
 مختبرات ميلا - جامعة مونتريال
 محموعة التعلم العميق - جامعة اوكسفورد
 ابحاث فايسبوك في مجال الذكاء الاصطناعي
 موقع روابط برمجيات التعلم العميق - موقع deeplearning.net.

 نماذج للتعلم العميق 
 موقع تطوير الكتابة الخطية - جامعة تورونتو
 موقع الترجمة بالاعصاب الالية - جامعة مونتريال
 موقع التعلم العميق لتحليل العواطف - جامعة ستانفورد
 موقع تشكيل الحروف العربية باستخدام التعلم العميق - مشروع مفتوح المصدر

 مواقع تدريب 
 المدرسة الصيفية للتعلم العميق - مجموعة أفلام تدريبية - جامعة مونتريال 2015.
 جيل جديد من الشبكيات العصبية - فيديو يوتيوب بجوجل تولك - ديسمبر 2007.

 مراجع 

تصنيف:التعلم العميق
تصنيف:تقانات ناشئة
تصنيف:ذكاء اصطناعي
تصنيف:شبكات عصبونية اصطناعية