hotchpotch/wikipedia-multilingual-ir-pairs huggingface dataset:
تعلم متعمق التاريخ
في الثمانينيات، لم يكن الانتشار العكسيّ يعمل بشكل جيّد مع التعلّم العميق ذي مسارات تخصيص الرّصيد الطويلة. للتغلّب على هذه المشكلة، في عام 1991، اقترح يورغن شميدهوبر تسلسلًا هرميًا من الشّبكات العصبية المتكرّرة مدرّبةً مسبقًا مستوىً واحدًا في كلّ مرّة بواسطة التعلّم الذّاتيّ الإشراف حيث تحاول كلّ شبكة عصبية متكرّرة التنبّؤ بإدخالها التّالي، وهو الإدخال التّالي غير المتوقّع للشّبكة العصبية المتكرّرة أدناه. يستخدم هذا "الضّاغط التّاريخيّ العصبيّ" التّشفير التنبّئيّ لتعلّم التّمثيلات الدّاخلية على نطاقات زمنية متعدّدة التنظيم الذّاتيّ. يمكن أن يسهّل هذا بشكل كبير التعلّم العميق في المراحل التّالية. يمكن دمج التسلسل الهرميّ للشّبكات العصبية المتكرّرة في شبكة عصبية متكرّرة واحدة، عن طريق تقطير شبكة تجميع ذات مستوىً أعلى إلى شبكة تشغيل آليّ ذات مستوىً أدنى. في عام 1993، حلّ ضّاغط تاريخيّ عصبيّ مهمّة "تعلّم عميق جدًا" تطلّبت أكثر من 1000 طبقة لاحقة في شبكة عصبية متكرّرة تمّ نشرها بمرور الوقت. يشير الحرف "P" في ChatGPT إلى مثل هذا التّدريب المسبق.
تعلم متعمق التاريخ
طبّقت أطروحة دبلوم سيب هوشريتر عام 1991  الضّاغط التّاريخيّ العصبيّ،  وحدّدت وحلّلت مشكلة التّدريج المتلاشي. اقترح هوشريتر اتّصالات متبقيةً متكرّرةً لحلّ مشكلة التّدريج المتلاشي. أدّى هذا إلى ظهور ذاكرة المدى الطويل القصيرة (LSTM)، التي نشرت في عام 1995. يمكن لذاكرة المدى الطويل القصيرة تعلّم مهامّ "التعلّم العميق جدًا"  مع مسارات تخصيص رصيد طويلة تتطلّب ذكريات أحداث وقعت قبل آلاف الخطوات الزمنية المنفصلة. لم تكن ذاكرة المدى الطويل القصيرة هي البنية الحديثة بعد، والتي تطلّبت "بوابة نسيان"، تمّ تقديمها في عام 1999،  والتي أصبحت بنية الشّبكة العصبية المتكرّرة القياسية.
تعلم متعمق التاريخ
في عام 1991، نشر يورغن شميدهوبر أيضًا شبكات عصبيةً متنافسةً تتنافس مع بعضها البعض على شكل لعبة ذات مجموع صفريّ، حيث يكون ربح شبكة واحدة هو خسارة الشّبكة الأخرى. الشّبكة الأولى هي نموذج توليديّ يصوّر توزيع احتمالية على أنماط الإخراج. تتعلّم الشّبكة الثّانية عن طريق الانحدار التّدريجيّ التنبّؤ بردود فعل البيئة على هذه الأنماط. سميّ هذا بـ "الفضول الاصطناعيّ". في عام 2014، تمّ استخدام هذا المبدأ في الشّبكات التوليدية المتنافسة (GANs).
تعلم متعمق التاريخ
خلال 1985-1995، تمّ تطوير العديد من البنى والطرق بواسطة تيري سيجنوفسكي وبيتر دايان وجيوفري هينتون مستوحاةً من الميكانيكا الإحصائية، مثل آلة بولتزمان،  وآلة بولتزمان المقيّدة،  وآلة هيلمهولتز،  وخوارزمية الاستيقاظ والنّوم. صمّمت هذه للتعلّم غير المراقب لنماذج توليدية عميقة. ومع ذلك كانت هذه أكثر تكلفةً من الناحية الحسابية مقارنةً بالانتشار العكسيّ. كانت خوارزمية تعلّم آلة بولتزمان التي نشرت في عام 1985، شائعةً لفترة وجيزة قبل أن تطغى عليها خوارزمية الانتشار العكسيّ في عام 1986. (ص 112 ). أصبحت شبكة عام 1988 حالةً فنيةً في التنبّؤ ببنية البروتين، وهو تطبيق مبكّر للتعلّم العميق على المعلوماتية الحيوية.
تعلم متعمق التاريخ
تمّ استكشاف التعلّم الضحل والعميق (على سبيل المثال، الشّبكات المتكرّرة) للشّبكات العصبية الاصطناعية للتعرّف على الكلام لسنوات عديدة. لم تتفوّق هذه الطرق أبدًا على تقنية نموذج الخليط/نظرية ماركوف المخفية (GMM-HMM) الدّاخلية غير الموحّدة المصنوعة يدويًا والقائمة على نماذج توليدية للكلام مدرّبةً بشكل تمييزيّ. تمّ تحليل الصّعوبات الرّئيسية، بما في ذلك تناقص التّدريج [70] وهيكل الارتباط الزمنيّ الضعيف في نماذج التنبّؤ العصبية. من الصّعوبات الإضافية نقص بيانات التّدريب وقدرة الحوسبة المحدودة.
ابتعد معظم باحثي التعرّف على الكلام عن الشّبكات العصبية لمتابعة النّمذجة التّوليدية. كان الاستثناء في معهد ستانفورد للأبحاث في أواخر التسعينيات. بتمويل من وكالة الأمن القومي الأمريكية وداربا، أجرت وكالة الأمن القومي بحثًا في التعرّف على الكلام والمتحدّث. أفاد فريق التعرّف على المتحدّث بقيادة لاري هيك بنجاح كبير مع الشّبكات العصبية العميقة في معالجة الكلام في معيار المعهد الوطني للمعايير والتقانة لعام 1998،  وهو يمثّل أوّل تطبيق صناعيّ رئيسيّ للتعلّم العميق.
تعلم متعمق التاريخ
تمّ استكشاف مبدأ رفع الميزات "الخام" على التّحسين المصنوع يدويًا بنجاح لأوّل مرّة في بنية المشفّر التّلقائيّ العميق على الطّيف "الخام" أو ميزات بنك المرشّح الخطيّ في أواخر التسعينيات،  مظهرًا تفوّقه على ميزات ميل-سيبسترال التي تحتوي على مراحل تحويل ثابتة من الأطياف. أنتجت الميزات الخام للكلام، الموجات الصوتية، لاحقًا نتائج ممتازةً على نطاق أوسع.
دخلت الشبكات العصبية في حالة ركود، وأصبحت النماذج الأبسط التي تستخدم ميزات يدوية الصنع مخصصةً للمهام مثل مرشحات غابور وآلات متجهات الدعم (SVMs) هي الخيارات المفضلة في التسعينيات والعقد الأول من القرن الحادي والعشرين، بسبب التكلفة الحسابية للشبكات العصبية الاصطناعية ونقص فهم كيفية توصيل الدماغ لشبكاته البيولوجية. [بحاجة لمصدر]
تعلم متعمق التاريخ
في عام 2003، أصبحت ذاكرة المدى الطويل القصيرة قادرةً على منافسة معرفات الكلام التقليدية في مهام معينة. في عام 2006 جمع أليكس غريفز [الإنجليزية] وسانتياغو فرنانديز وفاوستينو غوميز وشميدهوبر بينها وبين التصنيف الزمني للاتصال (CTC)  في مجموعات من ذواكر المدى الطويل القصيرة. في عام 2009، أصبحت أول شبكة عصبية متكررة تفوز في مسابقة التعرف على الأنماط، في التعرف على خط اليد المتصل. تعرف على خط اليد
في عام 2006، تم تطوير شبكة الاعتقاد العميق للنمذجة التوليدية من خلال منشورات لجيفري هينتون ورسلان سالاخوتدينوف وأوسيندرو وته. يتم تدريبها عن طريق تدريب آلة بولتزمان المقيدة، ثم تجميدها وتدريب آلة أخرى فوق الأولى، وهكذا، ثم ضبطها اختياريًا باستخدام الانتشار العكسي المراقب. يمكنها نمذجة توزيعات احتمالات عالية الأبعاد، مثل توزيع "صور ذاكرة المدى الطويل القصيرة"، لكن التقارب كان بطيئًا.
تعلم متعمق التاريخ
بدأ تأثير التعلم العميق في الصناعة في أوائل العقد الأول من القرن الحادي والعشرين، عندما عالجت الشبكات العصبية التلافيفية بالفعل ما يقدر بـ 10% إلى 20% من جميع الشيكات المكتوبة في الولايات المتحدة، وفقًا ليان ليكون. بدأت التطبيقات الصناعية للتعلم العميق على التعرف على الكلام على نطاق واسع حوالي عام 2010.
تعلم متعمق الشبكات العصبية
تعد الشبكات العصبية الاصطناعية (ANNs) أو الأنظمة المتصلة أنظمة حوسبة مستوحاةً من الشبكات العصبية البيولوجية التي تشكل أدمغة الحيوانات. تتعلم هذه الأنظمة (تحسن قدرتها تدريجيًا) على أداء المهام من خلال مراعاة الأمثلة، عمومًا دون برمجة مخصصة للمهام. على سبيل المثال، في التعرف على الصور، قد تتعلم تحديد الصور التي تحتوي على قطط من خلال تحليل صور أمثلة تم تصنيفها يدويًا على أنها "قطة" أو "ليست قطة" واستخدام النتائج التحليلية للتعرف على القطط في الصور الأخرى. لقد وجدت معظم استخدامها في التطبيقات التي يصعب التعبير عنها باستخدام خوارزمية حاسوب تقليدية باستخدام البرمجة القائمة على القواعد.
تعلم متعمق الشبكات العصبية
تعتمد الشبكة العصبية الاصطناعية على مجموعة من الوحدات المتصلة تسمى الخلايا العصبية الاصطناعية، (مماثلة للخلايا العصبية البيولوجية في الدماغ البيولوجي). يمكن أن يرسل كل اتصال (مشبك) بين الخلايا العصبية إشارةً إلى خلية عصبية أخرى. يمكن للخلية العصبية المستقبلة (بعد المشبكية) معالجة الإشارة (الإشارات) ثم إرسال إشارة إلى الخلايا العصبية التالية المتصلة بها. قد يكون للخلايا العصبية حالة، يمثلها عمومًا أعداد حقيقية، عادةً ما بين 0 و1. قد يكون للخلايا العصبية والمشابك أيضًا وزن يتغير مع تقدم التعلم، مما قد يزيد أو يقلل من قوة الإشارة التي ترسلها إلى أسفل التيار.
عادةً ما يتم تنظيم الخلايا العصبية في طبقات. قد تجري طبقات مختلفة أنواعًا مختلفةً من التحويلات على مدخلاتها. تنتقل الإشارات من الطبقة الأولى (الإدخال) إلى الطبقة الأخيرة (الإخراج)، ربما بعد اجتياز الطبقات عدة مرات.
تعلم متعمق الشبكات العصبية
كان الهدف الأصلي من نهج الشبكة العصبية هو حل المشكلات بنفس الطريقة التي يعمل بها الدماغ البشري. بمرور الوقت، ركز الاهتمام على مطابقة قدرات عقلية محددة، مما أدى إلى انحرافات عن علم الأحياء مثل الانتشار العكسي أو الانتشار الخلفي، أو تمرير المعلومات في الاتجاه المعاكس وتعديل الشبكة لتعكس تلك المعلومات.
تم استخدام الشبكات العصبية في مجموعة متنوعة من المهام، بما في ذلك رؤية الحاسوب والتعرف على الكلام، والترجمة الآلية، وتصفية الشبكات الاجتماعية، ولعب ألعاب الطاولة، وألعاب الفيديو، والتشخيص الطبي.
اعتبارًا من عام 2017، تحتوي الشبكات العصبية عادةً على عدد قليل من الآلاف إلى عدد قليل من ملايين الوحدات وملايين الاتصالات. على الرغم من أن هذا العدد أقل بعدة مراتب من عدد الخلايا العصبية في الدماغ البشري، فإن هذه الشبكات يمكنها أداء العديد من المهام على مستوىً يتجاوز مستوى البشر (على سبيل المثال، التعرف على الوجوه، أو لعب "غو").
تعلم متعمق الشبكات العصبية
الشبكة العصبية العميقة (DNN) هي نموذج حاسوبي مستوحى من بنية الدماغ، يتألف من طبقات متعددة من الوحدات الحسابية المترابطة، تمتد بين طبقة الإدخال وطبقة الإخراج. ورغم تعدد أنواع هذه الشبكات، إلا أنها تتشارك في مكونات أساسية مشتركة، كالخلايا العصبية الاصطناعية والوصلات بينها، والأوزان والانحيازات التي تحدد قوة هذه الوصلات، فضلًا عن الدوال التي تنظم عملية الحساب.
على سبيل المثال، يمكن تدريب شبكة عصبية عميقة على تمييز سلالات الكلاب، بحيث عند عرض صورة لكلب عليها، تقوم بحساب الاحتمال النسبي لانتماء هذا الكلب إلى سلالة معينة. ويمكن للمستخدم تعديل هذه الاحتمالات بوضع عتبات محددة، ليحصل في النهاية على تسمية مقترحة للسلالة. كل عملية حسابية من هذه العمليات تعتبر طبقة في الشبكة، ولهذا سميت هذه الشبكات بـ"العميقة" نظرًا لاحتوائها على عدد كبير من هذه الطبقات.
تعلم متعمق الشبكات العصبية
تستطيع الشبكات العصبية العميقة أن تُمَثِّل علاقات غير خطية معقدة. تولد بنى هذه الشبكات نماذج تركيبية تُعَبَّر فيها عن الكائن على أنه تركيب متعدد الطبقات من عناصر بدائية. تتيح الطبقات الإضافية تكوين ميزات من الطبقات الأدنى، مما يُمكّن من نمذجة بيانات معقدة بوحدات أقل من الشبكة الضحلة ذات الأداء المماثل. على سبيل المثال، ثبت أن كثيرات الحدود المتعددة المتغيرات المفرقة تُقَرَّب بشكل أسهل بكثير باستخدام الشبكات العصبية العميقة مقارنة بالشبكات الضحلة.
تشتمل البنى العميقة على العديد من المتغيرات لعدد قليل من الأساليب الأساسية. وقد حققت كل بنية نجاحًا في مجالات محددة. وليس من الممكن دائمًا مقارنة أداء بنى متعددة إلا إذا قُيِّمت على نفس مجموعات البيانات.
تعلم متعمق الشبكات العصبية
تُعَدّ الشبكات العصبية العميقة، في الغالب، شبكاتَ تغذية أمامية تسير فيها البيانات في اتجاه واحد، من طبقة الإدخال إلى طبقة الإخراج، دون رجوع. في البداية، تُنشئ هذه الشبكة خريطةً من العُقد العصبية الاصطناعية وتُعيّن قيمًا عدديةً عشوائية، أو ما يُسمى "أوزانًا"، للعلاقات فيما بينها. تُضرب هذه الأوزان في قيم المدخلات، وينتج عن ذلك قيمٌ تتراوح بين الصفر والواحد. إذا لم تستطع الشبكة تمييز نمطٍ معين بدقة، تقوم الخوارزمية بتعديل هذه الأوزان. بهذه الطريقة تستطيع الخوارزمية تعزيز تأثير بعض المعلمات، حتى تصل إلى المعالجة الرياضية الصحيحة للبيانات بالكامل.
تُستخدَم الشبكات العصبية المتكررة التي تتدفق فيها البيانات في اتجاهات متعددة، في تطبيقات نمذجة اللغات. وتُعد شبكات الذاكرة قصيرة المدى طويلة الأجل ذات كفاءة بالغة في هذا السياق.
أما الشبكات العصبية التلافيفية (CNNs) فتُستخدم على نطاق واسع في مجال الرؤية الحاسوبية. كما تم توظيفها في نمذجة الإشارات الصوتية لتحقيق التعرف التلقائي على الكلام.
تعلم متعمق الشبكات العصبية
كما هو الحال في الشبكات العصبية الاصطناعية، يمكن أن تنشأ العديد من المشكلات في الشبكات العصبية العميقة المدربة بطريقة بسيطة. من بين هذه المشكلات الشائعة الإفراط في التعميم ووقت الحساب الكبير.
تميل الشبكات العصبية العميقة إلى الإفراط في التعميم بسبب الطبقات المجردة الإضافية التي تسمح لها بنمذجة العلاقات النادرة في بيانات التدريب. يمكن تطبيق أساليب التنظيم مثل تقليم وحدة إيفاخنينكو،  أو اضمحلال الأوزان أو التناثر أثناء التدريب للحد من الإفراط في التعميم. بدلًا من ذلك، يتجاهل تنظيم التسرب وحدات عشوائية من الطبقات المخفية أثناء التدريب. يساعد ذلك في استبعاد العلاقات النادرة. أخيرًا، يمكن زيادة البيانات من خلال أساليب مثل القص وال دوران لزيادة حجم مجموعات التدريب الأصغر وتقليل فرص الإفراط في التعميم.
يجب على الشبكات العصبية العميقة أن تأخذ في الاعتبار العديد من معلمات التدريب، مثل الحجم (عدد الطبقات وعدد الوحدات في كل طبقة)، ومعدل التعلم والأوزان الأولية. قد يكون مسح فضاء المعلمات للحصول على المعلمات المثالية غير ممكن بسبب التكلفة من حيث الوقت والموارد الحسابية. تسارع العديد من الحيل الحسابية، مثل التجميع (حساب التدرج على عدة أمثلة تدريب في وقت واحد بدلًا من الأمثلة الفردية)، عملية التدريب. وقد أدت القدرات الحسابية الكبيرة للبنى متعددة النوى (مثل وحدات معالجة الرسومات) إلى تسريع كبير في التدريب، نظرًا لملاءمة هذه البنى الحسابية لحسابات المصفوفات والمتجهات.
بدلًا من ذلك، قد يبحث المهندسون عن أنواع أخرى من الشبكات العصبية ذات خوارزميات تدريب أبسط وأكثر تقارباً. تعتبر أجهزة التحكم في المفاصل القائمة على نموذج المخيخ (CMAC) أحد هذه الأنواع من الشبكات العصبية. لا تتطلب معدلات تعلم أو أوزانًا أولية عشوائية. يمكن ضمان تقارب عملية التدريب في خطوة واحدة مع دفعة جديدة من البيانات، وتكون التعقيدات الحسابية لخوارزمية التدريب خطية بالنسبة لعدد الخلايا العصبية المشاركة.
تعلم متعمق الأجهزة
شهدت الأعوام منذ 2010 تطورات متسارعة في خوارزميات التعلم الآلي وأجهزة الحاسوب، مما أفضى إلى أساليب أكثر كفاءة لتدريب الشبكات العصبية العميقة التي تتكون من طبقات متعددة من الوحدات المخفية غير الخطية وطبقة إخراجية ضخمة. وبحلول عام 2019، حلت وحدات معالجة الرسومات، غالبًا مع تحسينات مخصصة للذكاء الاصطناعي، محل وحدات المعالجة المركزية كأداة أساسية للتدريب واسع النطاق للذكاء الاصطناعي السحابي التجاري. وقدّرت أوبن أيه آي الزيادة في مقدار الحساب المطلوب في أكبر مشاريع التعلم العميق، من ألكسنت (2012) إلى ألفا زيرو (2017)، بحوالي 300 ألف ضعف، مع اتجاه لمضاعفة هذا الوقت كل 3.4 أشهر.
صُممت دوائر إلكترونية خاصة، تُعرف بمعالجات التعلم العميق، لتسريع خوارزميات التعلم العميق. وتتضمن هذه المعالجات وحدات معالجة عصبية في هواتف هواوي المحمولة، وخوادم الحوسبة السحابية مثل وحدات معالجة الموترات في منصة غوغل السحابية. كما قامت شركة سيريبراس سيستمز ببناء نظام متخصص لمعالجة نماذج التعلم العميق الكبيرة، استنادًا إلى أكبر معالج في الصناعة.
تعلم متعمق الأجهزة
تُعد أشباه الموصلات الرقيقة واعدة لتطوير أجهزة تعلم عميق موفرة للطاقة، حيث تستخدم الهيكل الأساسي نفسه للعمليات المنطقية وتخزين البيانات. وفي عام 2020، نشر ماريغا وآخرون تجاربهم مع مادة قناة نشطة ذات مساحة كبيرة لتطوير أجهزة ودوائر منطقية في الذاكرة تعتمد على ترانزستورات تأثير المجال ذات البوابة العائمة.
وفي عام 2021 اقترح جيه فيلدمان وآخرون مسرعًا مدمجًا للأجهزة الضوئية للمعالجة التلافيفية المتوازية. ويحدد المؤلفون ميزتين رئيسيتين للفوتونات المدمجة مقارنة بنظيراتها الإلكترونية: نقل بيانات متواز بشكل هائل من خلال تعدد إرسال الطول الموجي بالتزامن مع أمشاط التردد، وسرعات تعديل بيانات عالية للغاية. ويمكن لنظامهم تنفيذ تريليونات عمليات الضرب والتجميع في الثانية، مما يشير إلى إمكانات الفوتونات المدمجة في تطبيقات الذكاء الاصطناعي الغنية بالبيانات.
تعلم متعمق التطبيقات
يُعدُّ التعرف التلقائي على الكلام أوسع نطاقٍ تحقق فيه التعلم العميق نجاحًا مبهرًا. لقد أظهرت شبكات الذاكرة الطويلة قصيرة المدى قدرةً على تعلم مهامّ "التعلم العميق جدًّا" ، والتي تتضمن فترات زمنية مطولة تمتد لعدة ثوانٍ وتحوي أحداث كلامية متباعدة بآلاف الخطوات الزمنية المتسلسلة، حيث تقابل الخطوة الزمنية الواحدة حوالي 10 مللي ثانية. وقد أظهرت شبكات الذاكرة الطويلة قصيرة المدى ذات بوابات النسيان  قدرةً على منافسة أنظمة التعرف على الكلام التقليدية في مهامّ محددة.
تعلم متعمق التطبيقات
ارتكز النجاح الأولي في مجال التعرف على الكلام على مهامّ التعرف على نطاقٍ صغير، مثل قاعدة بيانات "TIMIT". تحتوي هذه المجموعة البياناتية على 630 متحدثًا يمثلون ثماني لهجات رئيسية للغة الإنجليزية الأمريكية، حيث يقرأ كل متحدث عشر جمل. وقد أتاح حجمها الصغير إمكانية تجربة العديد من التهيئات. والأهم من ذلك، أن مهمتها تتعلق بالتعرف على تسلسل الصوتيات، الأمر الذي يسمح، على عكس التعرف على تسلسل الكلمات، باستخدام نماذج لغة ثنائية بسيطة على مستوى الصوتيات. وقد سمح هذا بتحليل قوة جوانب النمذجة الصوتية في التعرف على الكلام بشكلٍ أيسر. وقد تم تلخيص معدلات الخطأ، بما في ذلك هذه النتائج الأولية التي قيست كنسبة مئوية لمعدلات خطأ الصوتيات (PER)، منذ عام 1991.
أدى بروز الشبكات العصبية العميقة في مجالات التعرف على المتحدث في أواخر التسعينات، والتعرف على الكلام حول عامي 2009 و2011، والذاكرة القصيرة المدى المطولة في الفترة الممتدة بين عامي 2003 و2007 إلى تسريع التقدم في ثمانية مجالات رئيسية:
تعلم متعمق التطبيقات
معالجة الميزات بواسطة نماذج عميقة مع فهم عميق للآليات الأساسية: تم تطوير نماذج قادرة على استخراج ميزات ذات دلالة عالية من البيانات، مع فهم أعمق للعمليات التي تحدث داخل هذه النماذج.
التعلم متعدد المهام والتعلم الانتقالي بواسطة الشبكات العصبية العميقة والنماذج العميقة ذات الصلة: تم استكشاف قدرة هذه النماذج على تعلم مهام متعددة في آن واحد، ونقل المعرفة المكتسبة من مهمة إلى أخرى.
الشبكات العصبية التلافيفية وكيفية تصميمها للاستفادة المثلى من معرفة مجال الكلام: تم التركيز على تصميم هذه الشبكات بحيث تستفيد بشكل كامل من المعرفة المتراكمة في مجال معالجة الإشارات الصوتية.
أنواع أخرى من النماذج العميقة بما في ذلك النماذج القائمة على الموترات والنماذج المدمجة التوليدية/التمييزية العميقة: تم استكشاف نماذج جديدة ذات بنى معقدة أكثر، مثل النماذج القائمة على الموترات والنماذج المدمجة التي تجمع بين القدرات التوليدية والتمييزية.
تعلم متعمق التطبيقات
تعتمد جميع أنظمة التعرف على الكلام التجارية الرئيسية على التعلم العميق مثل كورتانا وإكس بوكس، ومترجم سكايب، وأمازون أليكسا، وجوجل ناو، وسيري، وبايدو، وآي فلايتك للبحث الصوتي، ومجموعة من منتجات نيوانس للكلام وغيرها.
تُعد قاعدة بيانات MNIST مجموعة بيانات مرجعية شائعة لتقييم خوارزميات تصنيف الصور. تتألف من أرقام مكتوبة بخط اليد، وتضم 60 ألف عينة تدريبية و10 ألف عينة اختبارية، شأنها شأن قاعدة بيانات TIMIT فإن حجمها المتواضع يتيح للمستخدمين تجربة إعدادات متنوعة. وتتوفر قائمة شاملة بالنتائج التي تحققت على هذه المجموعة.
بات التعرف على الصور القائم على التعلم العميق يتفوق على القدرات البشرية، إذ يُنتج نتائج أدق من نظرائه البشر. وقد تحقق هذا الإنجاز لأول مرة في عام 2011 في مجال التعرف على إشارات المرور، ثم تبعه في عام 2014 في مجال التعرف على الوجوه البشرية.
تعلم متعمق التطبيقات
تفسر المركبات المدربة على التعلم العميق الآن مشاهدات الكاميرا بزاوية 360 درجة. ومن الأمثلة الأخرى على تطبيقات التعلم العميق في هذا المجال، تحليل تشوهات الوجه الجديد (FDNA) الذي يُستخدم في تحليل الحالات الشاذة الوراثية المرتبطة بقاعدة بيانات واسعة من المتلازمات الوراثية.
إن التقدم المحرز في مجال التعرف على الصور مرتبط ارتباطًا وثيقًا بالاستخدام المتزايد لتقنيات التعلم العميق في شتى مهام الفنون البصرية. وقد أثبتت الشبكات العصبية العميقة كفاءتها في مجالات عدة، منها على سبيل المثال لا الحصر:
استُخدمت الشبكات العصبية لبناء نماذج لغوية منذ مطلع القرن الحادي والعشرين. وقد ساهمت الذاكرة القصيرة المدى المطولة (LSTM) في تطوير الترجمة الآلية ونماذج اللغة بشكل ملحوظ.
تعلم متعمق التطبيقات
ومن التقنيات الأخرى البارزة في هذا المجال التعيين السلبي والتضمين الكلمي. ويمكن اعتبار التضمين الكلمي، كما في نموذج word2vec، بمثابة طبقة تمثيل في بنية التعلم العميق تحول كلمة مفردة إلى تمثيل نقطوي في فضاء متجه يعبر عن علاقتها بالكلمات الأخرى ضمن مجموعة البيانات. ويتيح استخدام التضمين الكلمي كطبقة إدخال في الشبكات العصبية المتكررة (RNN) تحليل الجمل والعبارات اعتمادًا على قواعد متجه تركيبية فعالة. ويمكن النظر إلى هذه القواعد بمثابة قواعد نحوية احتمالية خالية من السياق (PCFG) يتم تنفيذها بواسطة الشبكات العصبية المتكررة. كما يمكن للمشفرات التلقائية المتكررة المبنية على التضمينات الكلمية تقييم تشابه الجمل واكتشاف عمليات إعادة الصياغة.
وتوفر بنى الشبكات العصبية العميقة نتائج أفضل في مجالات التحليل التركيبي،  وتحليل المشاعر،  واسترجاع المعلومات،  وفهم اللغة المنطوقة،  والترجمة الآلية،  وربط الكيان السياقي،  والتعرف على أسلوب الكتابة،  والتعرف على الكيان المسمى (تصنيف الرموز المميزة)،  وتصنيف النصوص وغيرها.
تعلم متعمق التطبيقات
ويعتمد مترجم جوجل (GT) على شبكة ذاكرة قصيرة المدى طويلة (LSTM) كبيرة الحجم تعمل من طرف إلى طرف. وتستخدم ترجمة جوجل العصبية الآلية (GNMT) أسلوبًا في الترجمة الآلية يعتمد على الأمثلة حيث "يتعلم النظام من ملايين الأمثلة". ويقوم بترجمة "الجمل كاملة في وقت واحد، بدلًا من القطع". ويدعم مترجم جوجل أكثر من مائة لغة. وتشفر الشبكة "دلالات الجملة بدلًا من مجرد حفظ الترجمات من عبارة إلى عبارة". ويستخدم مترجم جوجل اللغة الإنجليزية كلغة وسيطة بين معظم أزواج اللغات.
تفشل نسبة كبيرة من المركبات الدوائية المرشحة في الحصول على الموافقة التنظيمية. تُعزى هذه الإخفاقات إلى قصور في الفعالية الدوائية (أي التأثير على الهدف المقصود)، أو ظهور تفاعلات جانبية غير مرغوب فيها (أي تأثيرات خارج الهدف)، أو حدوث سمية غير متوقعة. وقد سعى الباحثون إلى استكشاف إمكانية استخدام تقنيات التعلم العميق للتنبؤ بالأهداف الجزيئية الحيوية،  والأهداف غير المقصودة، والتأثيرات السامة للمركبات الكيميائية الموجودة في الأغذية والمنتجات المنزلية والأدوية.
تعلم متعمق التطبيقات
يعد نظام "أتوم نت" مثالًا بارزًا على أنظمة التعلم العميق المصممة لتطوير الأدوية بشكل عقلاني بناءً على بنية الجزيء. وقد تم توظيف "أتوم نت" للتنبؤ بجزيئات حيوية جديدة مرشحة لعلاج أمراض مثل فيروس إيبولا،  والتصلب المتعدد.
شهد عام 2017 استخدام الشبكات العصبية البيانية لأول مرة في مجال التنبؤ بخصائص جزيئية متنوعة ضمن قاعدة بيانات واسعة في علم السموم. وفي عام 2019، تم اللجوء إلى الشبكات العصبية التوليدية لإنتاج جزيئات خضعت للتحقق التجريبي حتى مرحلة التجارب على الفئران.
تم توظيف تقنيات التعلم العميق بالتعزيز لتقدير قيمة الإجراءات التسويقية المباشرة المحتملة، وذلك بالاستناد إلى معطيات عميقة حول المتغيرات الخاصة بتردد الشراء، القيمة الإجمالية للطلبات، ومدة آخر عملية شراء (RFM). وقد أظهرت النتائج أن الدالة المستخدمة في تقدير القيمة تحمل تفسيرًا بديهيًا يتمثل في قيمة عمر العميل.
تعلم متعمق التطبيقات
استخدمت أنظمة التوصية التعلم العميق لاستخراج ميزات ذات مغزىً لنموذج عامل كامن للتوصيات الموسيقية والبحثية القائمة على المحتوى. تم تطبيق التعلم العميق متعدد المناظر لتعلم تفضيلات المستخدم من نطاقات متعددة. يستخدم النموذج نهجًا هجينًا قائمًا على التعاون والمحتوى ويعزز التوصيات في مهام متعددة.
استُخدم مشفر تلقائي للشبكات العصبية الاصطناعية في حقل المعلوماتية الحيوية، بهدف التنبؤ بالشروح الوراثية والعلاقات الوظيفية بين الجينات. وفي سياق المعلوماتية الطبية، استُغل التعلم العميق للتنبؤ بجودة النوم بالاعتماد على البيانات المستمدة من الأجهزة القابلة للارتداء،  وكذلك للتنبؤ بالمضاعفات الصحية استنادًا إلى البيانات المسجلة في السجلات الصحية الإلكترونية. وقد أظهرت الشبكات العصبية العميقة تفوقًا ملحوظًا في التنبؤ ببنية البروتين، وذلك انطلاقًا من تسلسل الأحماض الأمينية المكونة له. وفي عام 2020، حقق نظام ألفافولد القائم على التعلم العميق، مستوى دقة تفوق بكثير جميع الطرق الحسابية السابقة.
تعلم متعمق التطبيقات
يمكن الاستعانة بالشبكات العصبية العميقة في تقدير إنتروبيا عملية عشوائية، حيث يُطلق على هذا التقدير اسم "مقدر الإنتروبيا العصبي المشترك" (NJEE). يزودنا هذا التقدير بنظرة ثاقبة حول الأثر الذي تحدثه المتغيرات العشوائية المدخلة على متغير عشوائي مستقل.
من الناحية العملية، تُدرب الشبكة العصبية العميقة بحيث تعمل كتصنيف يقوم بتعيين متجه أو مصفوفة من المدخلات (X) إلى توزيع احتمالي للمخرجات على الفئات المحتملة للمتغير العشوائي (Y)، وذلك بالنظر إلى المدخلات (X). على سبيل المثال، في مهام تصنيف الصور، يقوم "مقدر الإنتروبيا العصبي المشترك" بتعيين متجه من قيم ألوان وحدات البكسل إلى احتمالات للفئات التصويرية المحتملة. عمليًا، يتم الحصول على توزيع احتمالي لـ (Y) بواسطة طبقة "سوفت ماكس" حيث يكون عدد العقد فيها مساويًا لحجم أبجدية (Y).
يستخدم "مقدر الإنتروبيا العصبي المشترك" دوال تنشيط قابلة للاشتقاق باستمرار، مما يجعل شروط نظرية التقريب الشاملة قابلة للتطبيق. وقد تبين أن هذه الطريقة توفر مقدرًا متسقًا بقوة ويتفوق على الطرق الأخرى في حال كانت أحجام الأبجدية كبيرة.
تعلم متعمق التطبيقات
أظهرت الدراسات أن تقنيات التعلم العميق تحقق نتائج متفوقة في مختلف التطبيقات الطبية. ومن أبرز هذه التطبيقات: تصنيف الخلايا السرطانية، واكتشاف الآفات المرضية، وتجزئة الأعضاء، وتحسين جودة الصور الطبية. وتشير الأبحاث الحديثة إلى أن أدوات التعلم العميق تتميز بدقة عالية في تشخيص الأمراض المختلفة، مما يجعلها أداة قيمة للمختصين في مجال الرعاية الصحية، ويساهم في رفع كفاءة عمليات التشخيص.
يُشكّل العثور على جمهور محمول مناسب لإعلانات الأجهزة المحمولة تحديًا دائمًا، إذ يتطلب الأمر مراعاة وتحليل العديد من نقاط البيانات قبل تكوين شريحة مستهدفة واستخدامها في عرض الإعلانات بواسطة أي خادم إعلاني. وقد استُخدم التعلم العميق في تفسير مجموعات البيانات الإعلانية الكبيرة متعددة الأبعاد. تجمع العديد من نقاط البيانات أثناء دورة طلب/خدمة/نقرة إعلان الإنترنت، ويمكن أن تشكل هذه المعلومات أساسًا للتعلم الآلي لتحسين اختيار الإعلانات.
تعلم متعمق التطبيقات
طُبّق التعلم العميق بنجاح على المسائل العكسية كإزالة التشويش، والدقة الفائقة، والرسم، وتلوين الأفلام. وتشمل هذه التطبيقات أساليب تعلّم مثل "مجالات الانكماش لاستعادة الصورة بشكل فعال"  التي تُدرّب على مجموعة بيانات للصور، و"ديب إيمج برير" التي تُدرّب على الصورة التي تحتاج إلى استعادة.
يُطبق التعلم العميق بنجاح على الكشف عن الاحتيال المالي، والكشف عن التهرب الضريبي،  ومكافحة غسل الأموال.
تعلم متعمق التطبيقات
في نوفمبر 2023 أعلن باحثون في شركة ديب مايند ومختبر لورنس بيركلي الوطني عن تطويرهم لنظام ذكاء اصطناعي أسموه "ج نوم" (بالإنجليزية: GNoME)‏، وقد ساهم هذا النظام بشكل كبير في ميدان علم المواد من خلال اكتشافه لأكثر من مليوني مادة جديدة في فترة زمنية وجيزة نسبيًا. يستند نظام "ج نوم" في عمله على تقنيات التعلم العميق التي تمكنه من استكشاف بنى المواد المحتملة بشكل فعال، مما أدى إلى زيادة كبيرة في تحديد البنى البلورية غير العضوية المستقرة. وقد تم التحقق من دقة تنبؤات هذا النظام من خلال تجارب روبوتية آلية حققت نسبة نجاح ملحوظة بلغت 71%. أُتيحت البيانات المتعلقة بالمواد المكتشفة حديثًا للجميع من خلال قاعدة بيانات مشروع المواد، مما يتيح للباحثين فرصة اختيار المواد التي تمتلك الخصائص المطلوبة لتطبيقها في مجالات مختلفة.