ويسبر (نظام التعرف على الكلام)

**ويسبر**  هو نموذج تعلم آلي للتعرف على الكلام والنسخ الصوتي، أنشأته شركة OpenAI وأُصدر لأول مرة كبرمجية مفتوحة المصدر في سبتمبر 2022.

يتمتع النموذج بالقدرة على نسخ الكلام باللغة الإنجليزية وعدة لغات أخرى، كما يمكنه ترجمة العديد من اللغات غير الإنجليزية إلى الإنجليزية.
وتدعي OpenAI أن الجمع بين بيانات التدريب المختلفة المستخدمة في تطويره أدى إلى تحسين التعرف على اللهجات، وضوضاء الخلفية، والمصطلحات التقنية مقارنة بالنهج السابقة.

يُعد ويسبر نموذجاً صوتياً للتعلم العميق بنظام الإشراف الضعيف، وتم بناؤه باستخدام بنية محول الترميز وفك التشفير.
أُصدرت النسخة (Whisper Large V2) في 8 ديسمبر 2022. ثم أُصدرت النسخة (Whisper Large V3) في نوفمبر 2023 خلال يوم مطوري OpenAI. وفي مارس 2025، أطلقت OpenAI نماذج نسخ جديدة تعتمد على المحول المولد مسبق التدريب 4 أومني وGPT-4o mini، وكلاهما يتميز بمعدلات خطأ أقل من ويسبر.

## الخلفية
يمتلك التعرف على الكلام تاريخاً طويلاً في البحث العلمي؛ حيث استخدمت الأساليب الأولى طرقاً إحصائية، مثل تزيح الوقت الديناميكي، ولاحقاً نماذج ماركوف المخفية. وفي حوالي عام 2010، أصبحت مناهج الشبكات العصبية العميقة أكثر شيوعاً في نماذج التعرف على الكلام، وهو ما مكنه توفر مجموعات البيانات الضخمة وزيادة الأداء الحسابي. تضمنت الأساليب المبكرة للتعلم العميق في التعرف على الكلام الشبكات العصبية التفافية، والتي كانت محدودة بسبب عدم قدرتها على التقاط البيانات المتسلسلة، مما أدى لاحقاً إلى تطوير مناهج تسلسل إلى تسلسل (Seq2seq)، والتي تشمل الشبكات العصبية المتكررة التي استخدمت تقنية الذاكرة الطويلة قصيرة المدى.

أزاحت "المحولات" (Transformers)، التي قدمتها شركة جوجل في عام 2017، العديد من الأساليب السابقة المتطورة في العديد من مشكلات تعلم الآلة، وبدأت تصبح البنية العصبية الأساسية في مجالات مثل نمذجة اللغة والرؤية الحاسوبية. وفي أوائل العشرينيات من القرن الحالي، تم الاعتراف بمناهج الإشراف الضعيف لتدريب النماذج الصوتية كتقنية واعدة لأساليب التعرف على الكلام باستخدام الشبكات العصبية العميقة.

وفقاً لتقرير صادر عن صحيفة نيويورك تايمز، اعتقدت OpenAI في عام 2021 أنها استنفدت مصادر البيانات عالية الجودة لتدريب نماذجها اللغوية الكبيرة، وقررت استكمال النصوص المجمعة من الويب بنسخ مكتوبة لفيديوهات يوتيوب والبودكاست، وطورت "ويسبر" لحل هذه المهمة.

## البنية
تصغير|بنية نموذج OpenAI Whisper
تصغير|بنية المحول (Transformer) القياسية، تظهر المشفر (Encoder) على اليسار وفك التشفير (Decoder) على اليمين
تعتمد بنية ويسبر على محول ترميز وفك تشفير.

تتم إعادة عينة الصوت المدخل إلى 16,000 هرتز وتحويله إلى مخطط طيف ميل  ذو 80 قناة باستخدام نوافذ زمنية مدتها 25 مللي ثانية مع خطوة قدرها 10 مللي ثانية. يتم بعد ذلك تسوية مخطط الطيف إلى نطاق [-1، 1] بمتوسط يقترب من الصفر.

يأخذ المشفر (Encoder) مخطط طيف ميل هذا كمدخل ويعالجه. يمر أولاً عبر طبقتين إلتفافيتين. ثم تُضاف تضمينات موضعية جيبية. بعد ذلك، تتم معالجته بواسطة سلسلة من كتل مشفر المحول (مع وصلات متبقية قبل التنشيط). يتم تسوية مخرجات المشفر عبر الطبقات.

أما وحدة فك التشفير (Decoder) فهي عبارة عن مفكك تشفير محول قياسي. لها نفس العرض وكتل المحول الموجودة في المشفر. تستخدم تضمينات موضعية متعلمة وتمثيلات رموز مدخلات ومخرجات مرتبطة (باستخدام نفس مصفوفة الوزن لكل من تضمينات المدخلات والمخرجات). كما تستخدم أداة ترميز ترميز زوج البايت (byte-pair encoding)، من نفس النوع المستخدم في GPT-2. تستخدم النماذج المخصصة للغة الإنجليزية فقط مفردات GPT-2، بينما تستخدم النماذج متعددة اللغات مفردات متعددة اللغات أعيد تدريبها بنفس عدد الكلمات.

تُستخدم رموز خاصة (tokens) للسماح لوحدة فك التشفير بأداء مهام متعددة:

* رموز تشير إلى اللغة (رمز فريد لكل لغة).
* رموز تحدد المهمة (`
` للنسخ أو `
` للترجمة).
* رموز تحدد ما إذا كانت الطوابع الزمنية غائبة (`
`). إذا لم يكن الرمز موجوداً، فإن وحدة فك التشفير تتوقع طوابع زمنية بالنسبة للمقطع، ومكممة إلى فترات 20 مللي ثانية.
* `
` للكشف عن النشاط الصوتي.
* `
` و `
`. أي نص يظهر قبل `
` لا يتم توليده بواسطة وحدة فك التشفير، بل يُعطى لها كسياق. يتم حساب الخسارة (Loss) فقط على الأجزاء غير السياقية من التسلسل، أي الرموز الموجودة بين هذين الرمزين الخاصين.

## البيانات
تتكون مجموعة بيانات التدريب من 680,000 ساعة من أزواج (صوت-نص) مصنفة ومستقاة من الإنترنت. يتضمن ذلك 117,000 ساعة بـ 96 لغة غير إنجليزية و125,000 ساعة من بيانات الترجمة من اللغات الأخرى إلى الإنجليزية.

شملت المعالجة المسبقة توحيد النصوص، والتصفية لإزالة النصوص المولدة آلياً باستخدام أساليب استدلالية (مثل علامات الترقيم، وحالة الأحرف)، وتحديد اللغة ومطابقتها مع النصوص، وإزالة التكرار التقريبي، وإزالة التكرار مع مجموعات بيانات التقييم لتجنب تلوث البيانات. كما تم تضمين المقاطع الخالية من الكلام للسماح بالتدريب على اكتشاف النشاط الصوتي. بالنسبة للملفات المتبقية بعد عملية التصفية، تم تقسيم الملفات الصوتية إلى مقاطع مدتها 30 ثانية مقترنة بجزء النص الذي يظهر خلال ذلك الوقت.

إذا كانت اللغة المنطوقة المتوقعة تختلف عن لغة النص المرتبط بالصوت، فلن يتم استخدام زوج (الصوت-النص) هذا لتدريب نماذج التعرف على الكلام، بل لتدريب الترجمة بدلاً من ذلك.

### التصفية بعد التدريب
بعد تدريب النموذج الأول، قام الباحثون بتشغيله على مجموعات فرعية مختلفة من بيانات التدريب، يمثل كل منها مصدراً متميزاً. صُنفت مصادر البيانات من خلال مزيج من معدل الخطأ والحجم. وساعد الفحص اليدوي للمصادر ذات التصنيف الأعلى (خطأ عالٍ، حجم كبير) في تحديد ما إذا كان المصدر منخفض الجودة (مثل النسخ الجزئي، أو المحاذاة غير الدقيقة). بعد ذلك تمت إزالة المصادر منخفضة الجودة.

## التدريب
تم تدريب ويسبر باستخدام التعلم شبه الموجه على 680,000 ساعة من البيانات متعددة اللغات والمهام، منها حوالي الخمس (117,000 ساعة) كانت بيانات صوتية غير إنجليزية. بعد التدريب، تم ضبطه بدقة لمنع التنبؤ بأسماء المتحدثين.

تم التدريب باستخدام المحسن "AdamW" مع قص معيار التدرج واضمحلال خطي لمعدل التعلم مع فترة إحماء، وبحجم دفعة قدره 256 مقطعاً. استمر التدريب لمليون تحديث (2-3 حقبات/epochs). لم تُستخدم أي تقنيات لزيادة البيانات أو التسوية، باستثناء نموذج (Large V2) الذي استخدم "SpecAugment" و "Stochastic Depth" و "BPE Dropout". استخدم التدريب توازي البيانات مع تنسيق float16، وتوسيع نطاق الخسارة الديناميكي، ونقاط تفتيش التنشيط.

## القدرة
لا يتفوق ويسبر على النماذج المتخصصة في مجموعة بيانات "LibriSpeech"، ومع ذلك، عند اختباره عبر العديد من مجموعات البيانات، فإنه يظهر متانة أكبر ويحقق أخطاء أقل بنسبة 50% من النماذج الأخرى. يمتلك ويسبر معدل خطأ متفاوت فيما يتعلق بنسخ اللغات المختلفة، مع معدل خطأ في الكلمات أعلى في اللغات غير الممثلة بشكل جيد في بيانات التدريب. وجد المؤلفون أن التعلم متعدد المهام حسن الأداء العام مقارنة بالنماذج المتخصصة في مهمة واحدة. وتوقعوا أن أفضل نموذج ويسبر تم تدريبه لا يزال يعاني من نقص الملاءمة لمجموعة البيانات، وأن النماذج الأكبر والتدريب الأطول قد يؤديان إلى نماذج أفضل.

وجدت تقييمات طرف ثالث مستويات متفاوتة من هلوسة الذكاء الاصطناعي. حيث وجدت دراسة لنسخ الاجتماعات العامة هلوسات في ثمانية من كل 10 نصوص، بينما اكتشف مهندس هلوسات في "حوالي نصف" 100 ساعة من النسخ، وحدد مطور وجودها في "كل نص تقريباً" من بين 26,000 نص. كما وجدت دراسة لـ 13,140 مقطعاً صوتياً قصيراً (متوسطها 10 ثوانٍ) 187 هلوسة (1.4%)، أنتجت 38% منها نصوصاً قد تكون ضارة لأنها أدرجت إشارات خاطئة لأشياء مثل العرق، أو أدوية غير موجودة، أو أحداث عنيفة لم تكن موجودة في الصوت الأصلي.

## التطبيقات
تم استخدام النموذج كقاعدة للعديد من التطبيقات، مثل نموذج موحد للتعرف على الكلام والتعرف على الأصوات بشكل عام.

## انظر أيضاً
* طفرة الذكاء الاصطناعي
* ترجمة آلية عصبية

## المراجع

تصنيف:أوبن أيه آي
تصنيف:تطبيقات الذكاء الاصطناعي
تصنيف:برمجيات 2022
تصنيف:تعلم الآلة
تصنيف:شبكات عصبونية اصطناعية