المشفر التلقائي التغايري

في تعلم الآلة، يُعد المشفّر التلقائي التغايري (VAE) بنية شبكة عصبونية اصطناعية قدمها ديدريك بي. كينغما وماكس ويلينغ في عام 2013. وهو جزء من عائلات النماذج البيانية الاحتمالية وطرق بايزية تغايرية.

بالإضافة إلى اعتباره بنية شبكة عصبونية لـ مشفّر تلقائي، يمكن أيضاً دراسة المشفرات التلقائية التغايرية ضمن الصياغة الرياضية لـ الطرق البايزية التغايرية، حيث تربط شبكة المشفّر (Encoder) العصبونية بمفكك التشفير (Decoder) الخاص بها من خلال فضاء كامن احتمالي (على سبيل المثال، كـ توزيع غاوسي متعدد المتغيرات) والذي يتوافق مع معلمات التوزيع التغايري.

وهكذا، يقوم المشفّر بتعيين كل نقطة (مثل صورة) من مجموعة بيانات معقدة وكبيرة إلى توزيع داخل الفضاء الكامن، بدلاً من نقطة واحدة في ذلك الفضاء. ويكون لمفكك التشفير الوظيفة المعاكسة، وهي التعيين من الفضاء الكامن إلى فضاء الإدخال، مرة أخرى وفقاً لتوزيع معين (على الرغم من أنه في الممارسة العملية، نادراً ما يتم إضافة ضوضاء أثناء مرحلة فك التشفير). من خلال تعيين نقطة إلى توزيع بدلاً من نقطة واحدة، يمكن للشبكة تجنب فرط ملاءمة (Overfitting) بيانات التدريب. عادة ما يتم تدريب كلتا الشبكتين معاً باستخدام خدعة إعادة المعلمة (reparameterization trick)، على الرغم من أن تباين نموذج الضوضاء يمكن تعلمه بشكل منفصل.

على الرغم من أن هذا النوع من النماذج صُمم في البداية لـ تعلم غير مراقب، إلا أن فعاليته قد أثبتت في تعلم شبه مراقب وتعلم مراقب.

 نظرة عامة على البنية والتشغيل 
المشفّر التلقائي التغايري هو نموذج توليدي ذو توزيع مسبق (Prior) وتوزيع ضوضاء على التوالي. عادة ما يتم تدريب مثل هذه النماذج باستخدام خوارزمية التعريف الفوقية لـ تعظيم التوقع (مثل تحليل المكونات الرئيسية الاحتمالي، والترميز المتناثر (Spike & Slab)). يقوم هذا المخطط بتحسين الحد الأدنى لأرجحية البيانات، والتي تكون عادةً عسيرة الحساب (Intractable)، ويتطلب القيام بذلك اكتشاف توزيعات q، أو الاحتمالات الخلفية التغايرية. عادةً ما تتم معلمة توزيعات q هذه لكل نقطة بيانات فردية في عملية تحسين منفصلة. ومع ذلك، تستخدم المشفّرات التلقائية التغايرية شبكة عصبونية كنهج مُطفأ (Amortized approach) للتحسين المشترك عبر نقاط البيانات. وبهذه الطريقة، يُعاد استخدام نفس المعلمات لنقاط بيانات متعددة، مما قد يؤدي إلى توفير هائل في الذاكرة. تأخذ الشبكة العصبونية الأولى نقاط البيانات نفسها كمدخلات، وتخرج معلمات للتوزيع التغايري. ونظراً لأنها تقوم بالتعيين من فضاء إدخال معروف إلى فضاء كامن منخفض الأبعاد، فإنها تسمى المشفّر (Encoder).

مفكك التشفير (Decoder) هو الشبكة العصبونية الثانية في هذا النموذج. وهو دالة تقوم بالتعيين من الفضاء الكامن إلى فضاء الإدخال، على سبيل المثال كمتوسطات لتوزيع الضوضاء. من الممكن استخدام شبكة عصبونية أخرى تقوم بالتعيين إلى التباين، ولكن يمكن حذف ذلك للتبسيط. في مثل هذه الحالة، يمكن تحسين التباين باستخدام الانحدار التدرجي.

لتحسين هذا النموذج، يحتاج المرء إلى معرفة مصطلحين: "خطأ إعادة البناء"، وتباعد كولباك-ليبلير (KL-D). كلا المصطلحين مشتقان من تعبير الطاقة الحرة للنموذج الاحتمالي، وبالتالي يختلفان اعتماداً على توزيع الضوضاء والمسبق المفترض للبيانات، والمشار إليه هنا بتوزيع p. على سبيل المثال، عادةً ما يُفترض أن مهمة VAE قياسية مثل IMAGENET لها ضوضاء موزعة غاوسياً (طبيعياً)؛ ومع ذلك، تتطلب مهام مثل MNIST الثنائية (binarized) ضوضاء برنولي. يقوم تباعد KL-D من تعبير الطاقة الحرة بتعظيم كتلة الاحتمال لتوزيع q التي تتداخل مع توزيع p، وهو ما قد يؤدي للأسف إلى سلوك البحث عن المنوال (Mode-seeking behaviour). مصطلح "إعادة البناء" هو ما تبقى من تعبير الطاقة الحرة، ويتطلب تقريب المعاينة (Sampling approximation) لحساب قيمة توقعه.

 مراجع 

تصنيف:تعلم غير مراقب
تصنيف:تعليم مراقب (بالإشراف)
تصنيف:إحصاء بايزي
تصنيف:تخفيض الأبعاد