تحقيق أقصى قدر للتوقع (EM)
في الإحصاءات، خوارزمية تحقيق أقصى قدرللتوقع (EM) هي طريقة تكرارية لإيجاد الاحتمال الأقصى الممكن (تقدير الاحتمال) أو أقصى الاحتمال البعدي (MAP) للمعاملات (وسيط (رياضيات)) في النماذج الإحصائية، حيث يعتمد هذا النموذج على المتغيرات الكامنة غير الملحوظة. EM يتمثل في تنفيذ خطوتين: خطوة التوقع (E)، التي ينتج منها توقع للوغاريتم الاحتمال(دالة الإمكان)الأقصى الممكن باستخدام التقدير الحالي للمعلمات، و خطوة تعظيم (M)، التي يحسب فيها المعاملات بحيث يتم تعظيم للوغاريتم المتوقع في الخطوة (E). ثم يتم استخدام هذه المعاملات في تقدير توزيع المتغيرات الكامنة في الخطوة (E) المقبلة.
نضع n ملاحظات, يعتبر كانه انجاز n متغير عشوائي مستقل, مطابق و موزع formula_1.
في إطار نموذج إحصائي محدود formula_2 ξ formula_3 . كل formula_4 يتبع نظرية متعلقة بالمعامل formula_5 . 
مثلا formula_6 تستطيع ان تكون دالة غاوسية :(N(µ, σ2 و بالتالي (µ, σ2) formula_7.
نعني بـ: formula_8 او formula_9 كثافة formula_10. 
نسمي احتماليةالعينة، الكثافة المرتبطة لـ: formula_11:
في الحالة الخاصة، في حالة formula_6 أعداد متقطعة, هذا يعطينا:
تعريف : التقدير بالمعنى الاقصى لـ formula_5 هو:
هي إذا، من العينة الثابتة، قيمة المعامل formula_17 التي تجعل كل ما أمكن الملاحظات المتحصل عليها متماثلة. 
و لأسباب تحليلية ملائمة، نفضل غالبا حساب اللوغاريتم formula_18 بدلا عن حساب formula_19، لأن الدالة اللوغاريتمية هي دائما متزايدة، وهذا يضمن الحصول على نفس قيمة formula_5 التي تعظم الإحتمال:
وهذا يسهل كثيرا الحسابات, ببساطة للعمل بالجمع عوضا عن الضرب.
تقدير المعامل لقانون الاحتمال ذو خاصية برنولي (توزيع ثنائي الحدين)، نرمي قطعة نقدية التي يحتمل أن تكون مزورة لـ 30 رمية, نعتبر أنتا حصلنا على 22 مرة خلف و 8 مرات وجه. 
نعتبر 30 رمية formula_22 انها إنجازات غير مرتبطة ببعضها و تتبع قانون الاحتمال ذو خاصية برنولي (β(p ذو المعامل المجهول p, الذي يإخذ القيمة 1 اذا حصلنا على خلف و 0 إذا حصلنا على وجه. أيضا formula_23 عدد المرات التي حصلنا فيها على خلف بإتباع القانون (β(p,30 .
وبديهيا ناخد قيمة p بحساب تردد عدد المرات خلف, بالتالي formula_24 . وهذا يمثل أعلى تقدير لـ p .
للتأكد من هذه الفرضية حسابيا, نتبع الخطوات التالية:
و هذا يعني أن احتماله اللوغاريتمي هو:
نبحث لتحقيق أكبر قدر للاحتمال اللوغاريتمي: أقصاه يجب ان يلغي مشتقته و نحلها بـ:
و أخيرا كما هو متوقع
القارئ بإمكانه التحقق أنه يمثل أقصى نتيجة بفحصه أن المشتقة الثانية تكون سالبة.
الخوارزمية EM, هي خوارزمية تكرارية بالنسبة إلى (Dempster, Laird et Rubin (1977. أنها أسلوب لتقدير المعامل المسجل في إطار عام لأعلى احتمال.
الخوارزمية تستنبط اسمها نتيجة أنها في كل تكرار تمر بمرحلتين متميزين:
باختصار, الخوارزمية EM تعمل وفق تقنية طبيعية جدا: إن وجدت عقبة لتطبيق طريقة تعظيم الاحتمال, نقوم ببساطة بتخطي هذه العقبة ثم نطبق هذه الطريقة EM.
الجانب التكراري للخوارزمية يستطيع أن يكون غامض, لكن كما سنلاحظ أن الخوارزمية تضمن أن الاحتمال يزداد كل تكرار و هذا يسوق إلى تقديرات أصح.
(الغير) الخصائص الدقيقة لتقارب الخوارزمية متعلقة بمستوى جد عالي و بالتالي لن نناقشها هنا. لكن ببساطة يجب أن نذكر أن في بعض الحالات, الخوارزمية يمكن أن تتقارب إلى نقطة واحدة أو إلى أقصى قيمة محلية للاحتمال (في حالة ما كانت هذه النقطة موجودة). و هذا راجع إلى الاعتماد القوي على الشرط الأولي formula_31 المختار عشوائيا لانطلاق الخوارزمية.
كثيرا ما يستخدم EM لتقسيم البيانات في تعلم الآلة و رؤية الكمبيوتر .حيث نجد في معالجة اللغة الطبيعية ،نوعين من الخوارزمية هما: خوارزمية باوم-ولش (Baum-Welch algorithm) و خوارزمية الداخل-الخارج (inside-outside algorithm) من اجل التحريض الغير خاضع للرقابة في قواعد النحو الاحتمالية الخالية من السياق.
في القياس النفسي ، لا غنى عن EM لتقدير مميزات الشيء والخصائص الكامنة في نماذج استجابة الاشياء النظرية .
مع القدرة على التعامل مع البيانات المفقودة ومراقبة المتغيرات المجهولة الهوية، EM أصبح أداة مفيدة لقياس وإدارة المخاطر.
عادة ما تستخدم مصفاة كالمان (Kalman) للتقدير المباشر للوضعية و يستخدم المنعم ذو التباين الاصغر من اجل التقدير الغير المباشر. ومع ذلك،فان هذه الحلول تتطلب مميزات الوضعية الفضائية للنموذج.لذلك يمكن استخدام خوارزميات EM من أجل حل مشاكل الوضعية المشتركة و تقدير المميزات.
خوارزميات التصفية والتنعيم EM تنشأ من خلال تكرار الخطوتين التاليتين:
تعمل مصفاة كالمان (Kalman) أو المنعم ذو التباين الاصغر المصممان باستعمال مميزات التقديرات الحالية للحصول على تقديرات الوضعية المعدلة.
قم باستخدام تقديرات الوضعية المنعمة او المصفاة داخل حسابات الاحتمال الأكبر للحصول على تقديرات المميزات المعدلة.
لنفترض أن مصفاة كالمان ( Kalman) أو المنعم ذو التباين الاصغر يعملان على قياسات مشوشة من نظام وحيد الإدخال و الاخراج. فيمكن الحصول على قياس تقدير تباين التشويش من خلال حساب الاحتمال الأكبر كمايلي:
حيث formula_34 تمثل تقديرات البيانات الناتجة التي تم حسابها باستخدام المصفاة او المنعم 
بالمثل يمكن قياس تقدير تباين التشويش كما يلي:
حيث formula_34 و formula_37 تمثل تقديرات الوضعية التي تم حسابها باستخدام المصفاة او المنعم.
كمانستطيع قياس تقدير معامل النموذج المعدل كما يلي:
بالاضافة إلى هذا فان تقارب تقديرات المميزات تم دراسته و اثباته.
EM يعمل على تحسين formula_39 بدلا من التحسين المباشر لـ: formula_40. هنا نقوم باظهار ان تحسين هاته الاخيرة يؤدي إلى تحسين الاولى.
من اجل اي formula_41 باحتمال مختلف عن الصفر formula_42, نستطيع ان نكتب
ناخذ التقدير على القيم formula_41 بضرب جميع الاطراف بـ formula_45 و الجمع حول formula_41. الطرف الايسر هو تقدير لثابت و بالتالي نحصل على:
اين formula_48 معرفة بالمجموع السلبي الذي تعوضه.
هذه المعادلة الاخيرة صحيحة لاي قيمة لـ formula_49 اضافة إلى formula_50,
وطرح هذه المعادلة الاخيرة من المعادلة السابقة يعطينا
بالرغم من ذلك, Gibbs' inequality تثبت انه formula_53, و بذلك نستطيع ان نستنتج انه
في الحقيقة اختيار formula_49 لتحسين formula_39 باستعمالformula_57 سيحسن formula_40 باستعمال formula_59 .
تستند وظيفة Q المستخدمة في الخوارزمية EM على لوغاريثم الاحتمال. وبالتالي، فإنها تعتبر خوارزمية لوغاريثم EM.من جهة اخرى فان استخدام لوغاريثم الاحتمال يمكن تعميمه على نسبة لوغاريثم الاحتمال α، و بذلك يمكن التعبير تماما على نسبة لوغاريثم الاحتمال α من البيانات باستخدام Q بالحصول على Q بخطوة تقدير E و تعظيمها بخطوة تعظيم M. وبالتالي، فإن خوارزمية α-EM التي كتبها ياسو ماتسوياما (Yasuo Matsuyama) هو التعميم الدقيق لخوارزمية لوغاريثم EM ،حيث ليس هناك حاجة إلى حساب مصفوفة متدرجة. بالاضافة إلى ذلك α-EM تتقارب بطريقة أسرع من خوارزمية لوغاريثم EM باختيار α المناسب.
EM هو جزئيا اسلوب غير بايزي، حيث يعطي في النتيجة النهائية التوزيع الاحتمالي على المتغيرات الكامنة جنبا إلى جنب مع تقدير θ (إما تقدير الاحتمال الأكبر أو الوضعية المستقبلية). ونحن قد نرغب في نسخة بايزية بشكل كامل حيث تقدم لنا التوزيع الاحتمالي على θ فضلا عن المتغيرات الكامنة.
في الواقع الاستدلال في النهج النظرية الافتراضية هو ببساطة علاج θ كمتغير كامن آخر، في هذا النموذج التمييز بين الخطوة E والخطوة M يختفي.حيث انه إذا استخدمنا تقدير Q كما هو موضح أعلاه ( بايز التغييري )، نستطيع تعديل المتغيرات الكامنة (بما في ذلك θ ) في وقت واحدويتبقى سوى تكرار الخطوات.