تعلم متعمق
التطبيقات > التعرف التلقائي على الكلام

المقالة الرئيسة: تعرف الكلام
يُعدُّ التعرف التلقائي على الكلام أوسع نطاقٍ تحقق فيه التعلم العميق نجاحًا مبهرًا. لقد أظهرت شبكات الذاكرة الطويلة قصيرة المدى قدرةً على تعلم مهامّ "التعلم العميق جدًّا" ، والتي تتضمن فترات زمنية مطولة تمتد لعدة ثوانٍ وتحوي أحداث كلامية متباعدة بآلاف الخطوات الزمنية المتسلسلة، حيث تقابل الخطوة الزمنية الواحدة حوالي 10 مللي ثانية. وقد أظهرت شبكات الذاكرة الطويلة قصيرة المدى ذات بوابات النسيان  قدرةً على منافسة أنظمة التعرف على الكلام التقليدية في مهامّ محددة.
ارتكز النجاح الأولي في مجال التعرف على الكلام على مهامّ التعرف على نطاقٍ صغير، مثل قاعدة بيانات "TIMIT". تحتوي هذه المجموعة البياناتية على 630 متحدثًا يمثلون ثماني لهجات رئيسية للغة الإنجليزية الأمريكية، حيث يقرأ كل متحدث عشر جمل. وقد أتاح حجمها الصغير إمكانية تجربة العديد من التهيئات. والأهم من ذلك، أن مهمتها تتعلق بالتعرف على تسلسل الصوتيات، الأمر الذي يسمح، على عكس التعرف على تسلسل الكلمات، باستخدام نماذج لغة ثنائية بسيطة على مستوى الصوتيات. وقد سمح هذا بتحليل قوة جوانب النمذجة الصوتية في التعرف على الكلام بشكلٍ أيسر. وقد تم تلخيص معدلات الخطأ، بما في ذلك هذه النتائج الأولية التي قيست كنسبة مئوية لمعدلات خطأ الصوتيات (PER)، منذ عام 1991.
| الطريقة | معدل الخطأ (%) |
| --- | --- |
الشبكة العصبية التكرارية (RNN) بتخصيص عشوائي: 26.1
النموذج ثلاثي الفونيمات بايز (GMM-HMM): 25.6
نموذج المسار المخفي (مولد): 24.8
الشبكة العصبية العميقة (DNN) أحادية الفونيم بتخصيص عشوائي: 23.4
الشبكة العصبية العميقة بربط الشبكة الاعتقادية العميقة (DBN-DNN) أحادية الفونيم: 22.4
النموذج ثلاثي الفونيمات GMM-HMM بتدريب بي أم أم آي: 21.7
الشبكة العصبية العميقة بربط الشبكة الاعتقادية العميقة (DBN-DNN) على FBANK: 20.7
الشبكة العصبية العميقة الالتفافية: 20.0
الشبكة العصبية العميقة الالتفافية مع تجميع غير متجانس: 18.7
مزيج الشبكات العصبية العميقة/الالتفافية/التكرارية (DNN/CNN/RNN): 18.3
شبكة الذاكرة طويلة الأجل ثنائية الاتجاه (LSTM): 17.8
شبكة ماكس أوت العميقة التلافيفية الهرمية: 16.5
أدى بروز الشبكات العصبية العميقة في مجالات التعرف على المتحدث في أواخر التسعينات، والتعرف على الكلام حول عامي 2009 و2011، والذاكرة القصيرة المدى المطولة في الفترة الممتدة بين عامي 2003 و2007 إلى تسريع التقدم في ثمانية مجالات رئيسية:
التوسع والتدريب السريع وفك التشفير للشبكات العصبية العميقة: حيث شهد هذا المجال تطورات متسارعة في بناء وتدريب وتشغيل هذه الشبكات.
التدريب التمييزي للتسلسلات: تم التركيز على تطوير خوارزميات تدريب قادرة على التمييز بين التسلسلات المختلفة بدقة عالية.
معالجة الميزات بواسطة نماذج عميقة مع فهم عميق للآليات الأساسية: تم تطوير نماذج قادرة على استخراج ميزات ذات دلالة عالية من البيانات، مع فهم أعمق للعمليات التي تحدث داخل هذه النماذج.
تكيف الشبكات العصبية العميقة والنماذج العميقة ذات الصلة: تم تطوير تقنيات لتكييف هذه النماذج لتناسب مختلف المهام والبيانات.
التعلم متعدد المهام والتعلم الانتقالي بواسطة الشبكات العصبية العميقة والنماذج العميقة ذات الصلة: تم استكشاف قدرة هذه النماذج على تعلم مهام متعددة في آن واحد، ونقل المعرفة المكتسبة من مهمة إلى أخرى.
الشبكات العصبية التلافيفية وكيفية تصميمها للاستفادة المثلى من معرفة مجال الكلام: تم التركيز على تصميم هذه الشبكات بحيث تستفيد بشكل كامل من المعرفة المتراكمة في مجال معالجة الإشارات الصوتية.
الشبكة العصبية المتكررة ومتغيرات الذاكرة القصيرة المدى المطولة الغنية بها: تم تطوير نماذج متكررة قادرة على معالجة البيانات التسلسلية مع قدرة أكبر على حفظ المعلومات.
أنواع أخرى من النماذج العميقة بما في ذلك النماذج القائمة على الموترات والنماذج المدمجة التوليدية/التمييزية العميقة: تم استكشاف نماذج جديدة ذات بنى معقدة أكثر، مثل النماذج القائمة على الموترات والنماذج المدمجة التي تجمع بين القدرات التوليدية والتمييزية.
تعتمد جميع أنظمة التعرف على الكلام التجارية الرئيسية على التعلم العميق مثل كورتانا وإكس بوكس، ومترجم سكايب، وأمازون أليكسا، وجوجل ناو، وسيري، وبايدو، وآي فلايتك للبحث الصوتي، ومجموعة من منتجات نيوانس للكلام وغيرها.