نظرية التقدير
نظرية التقدير Estimation theory هي فرع من علوم الإحصاء ومعالجة الإشارات التي تتعامل مع تقدير القيم من المَعلَمَات Parameters بناء على بيانات مقاسة / التجريبية التي تحتوي على عنصر عشوائي. المَعلَمَات تصف وضع مادي ضمني بطريقة أن قيمها تؤثر على توزيع البيانات المقاسة. المقدّر Estimator يحاول أن يضع قيم تقريبة للمَعلَمَات المجهولة باستخدام القياسات.
على سبيل المثال، من المرغوب فيه لتقدير نسبة من السكان من الناخبين الذين سيصوتون لصالح مرشح معين. هذه النسبة هي المعلمة غير قابلة للرصد، ويستند هذا التقدير على عينة عشوائية صغيرة من الناخبين.
أو، على سبيل المثال، في الرادار يكون الهدف هو تقدير المدى أجسام (الطائرات والقوارب، وغيرها) عن طريق تحليل توقيت العبور في الاتجاهين للأصداء الواردة من النبضات المرسلة. حيث أن النبضات المنعكسة هي حتما جزء لا يتجزأ من إشارات الضوضاء الكهربائية، فإن قيمها المقاسة توزع عشوائيا بحيث يجب تقدير وقت العبور.
في نظرية التقدير، يفترض أن البيانات المقاسة تكون عشوائية مع توزيع احتمالي معتمد على المَعلَمَات ذات الاهتمام. على سبيل المثال، في نظرية الاتصال الكهربائية، غالبا ما ترتبط القياسات التي تحتوي على معلومات تتعلق المَعلَمَات ذات الاهتمام مع إشارة ضوضاء. بدون العشوائية، أو الضجيج، فإن المشكلة تكون حتمية ولن تكون هناك حاجة تقدير.
الغرض كله من نظرية تقدير هو التوصل إلى مقدر، ويفضل أن يكون قابلاً للتنفيذ ويمكن استخدامه فعليا. المقدر يأخذ البيانات المقاسة كمدخل وينتج تقدير للمعلمات.
من المفضل أيضا استخلاص مقدر ذو خاصية مثالية. مثالية المقدر عادة ما تشير إلى تحقيق الحد الأدنى من متوسط الخطأ على نطاق من بعض فئات المقدرات، على سبيل المثال، المقدر غير المتحيز ذى أقل تباين. في هذه الحالة، فإن الطبقة هي مجموعة من المقدرات غير المتحيزة، وقيمة متوسط الخطأ هي قيمة التباين (متوسط تربيعية الخطأ بين قيمة التقدير والمعلمة). ومع ذلك، المقدرات الأمثل لا وجود لها دائما.
هذه هي الخطوات العامة للتوصل إلى مقدر:بعد الوصول إلى المقدر، يمكن أن تبين البيانات الحقيقية أن النموذج المستخدم للتوصل إلى المقدر غير صحيحة، مما قد يتطلب تكرار هذه الخطوات لإيجاد مقدر جديد. والمقدر الغير قابل للتنفيذ أو غير المجدي يمكن إلغاءه ويمكن بدأ هذه العملية من جديد.
وباختصار، فإن المقدر يقدر المعلمات الخاص بنموذج مادي على أساس البيانات المقاسة.
الأول هو عبارة عن مجموعة من العينات الإحصائية مأخوذة من متجهات عشوائية (RV) من حجم N. بعد وضعها في متجه
ثانيا، لدينا المعلمات M المقابلة
والتي تحتاج إلى أن تنشأ مع دالة الكثافة الاحتمالية (د.ك.ا) المستمرة أو تظيرنها دالة الكتلة الاحتمالية المنفصلة
ومن الممكن أيضا للمعلمات أنفسهم أن يكون لديهم توزيع احتمالي (على سبيل المثال، إحصائيات بايزي). ومن ثم من الضروري تحديد احتمال بايزي
بعد أن يتم تشكيل النموذج، يصبح الهدف من ذلك هو تقدير المعلمات، وترمز عادة formula_5، حيث تشير "القبعة" إلى التقدير.
وهناك مقدر واحد مشترك هو مقدر متوسط مربع الخطأ الأدنى Minimum mean squared error (MMSE)، الذي يستخدم خطأ بين المعلمات المقدرة والقيمة الفعلية للمعلمات
كأساس للمثالية. ويتم تربيع وتقليل مصطلح الخطأ أجل مقدر MMSE.
هذا مسرد للمقدرون وطرق التقدير الأكثر شياعاً، والموضوعات المتعلقة بها:
لننظر في إشارة متقطعة وردت ، formula_7, من formula_8 من عينات مستقلة التي تتألف من ثابت مجهول formula_9 مع ضجيج أبيض غوصي جمعي (AWGN) formula_10 مع تباين معروف formula_11 (أي, formula_12). 
يعني أن المعلمة المجهول هي فقط formula_9.
النموذج للإشارة يكون
اثنان من المقدرون (الكثر) الممكنة هما:
كل من هذه المقدرات لديها متوسط formula_9, التي يمكن أن تظهر من خلال أخذ القيمة المتوقعة من كل مقدر
و
عند هذه النقطة، فإن هذان المقدران يظهران وكأنهما يعطين نفس الأداء.
ومع ذلك، فإن الفارق بينهما يصبح واضحا عند مقارنة التباينات.
و
يبدو أن متوسط العينة هو أفضل مقدر لأن التباين الخاص فيه يكون أقل عن كل N> 1.
بالاستمرار بالمثال باستخدام مقدر الإمكان الأعظم ، دالة الكثافة الاحتمالية (د. ك. ا) من ضوضاء عينة واحدة formula_10 هي
واحتمال formula_7 يصبح (formula_7 ويمكن اعتباره formula_26)
بناء على عدم العلاقة, احتمال formula_28 يصبح
وبحساب اللوغاريتم الطبيعي ل (د. ك. ا)
ومقدر الإمكان الأعظم هو
ويحساب المشتقة الأولى لدالة الإمكان اللوغاريتمية
ووضع قيمتها إلى الصفر
النتائج من مقدر الإمكان الأعظم
والتي هي ببساط متوسط العينة
من هذا المثال نجد أن متوسط العينة هو مقدر الإمكان الأعظم ل formula_8 عينات ذات معلمة ثابتة ومجهولة ومشوشة ب AWGN.
لإيجاد حد كرايمر-راو الأقل لمقدر متوسط العينة, فأنه من الضروري إيجاد رقم معلومات فيشر
وبالأخذ من أعلاه
وبحساب المشتقة الثانية
وإيجاد القيمة السالبة المتوقعة يصبح بسيطاً لأنها الآن ثابت حتمي
formula_39
وأخيراً توضع معلومات فيشر:
وهذا ينتج:
بمقارنة هذا تباين متوسط العينة (التي سبق تحديدها) يظهر أن متوسط العينة يساوي حد كرايمر-راو الأقل لجميع قيم formula_8 وformula_9.
وبكلمات أخرى, فأن متوسط العينة هو (فريدة من نوعها بالضرورة) المقدر الأكفأ, وبالتالي المقدر غير متحيز ذى أقل تباين بالإضافة لكونه مقدر الإمكان الأعظم.
واحد من أبسط الأمثلة غير تافهة من التقدير هو تقدير الحد الأقصى لتوزيع موحد. فهو يستخدم كتمارين في الفصول الدراسية والتدريب العملي على توضيح المبادئ الأساسية لنظرية التقدير. علاوة على ذلك، في حالة التقدير استنادا إلى عينة واحدة، فإنه يظر مسائل فلسفية وسوء فهم محتمل في استخدام مقدر الإمكان الأعظم ومقدر دالة الإمكان.
لنأخذ توزيع متقطع منتظم formula_44 مع حد أقصى مجهول, المقدر المنتظم غير المتحيز ذى اقل تباين للحد الأقصى معطى بواسطة
حيث "m" هي حد العينة الأقصى و"k"هي حجم العينة, اخذ العينات بدون تبديل.
هذه المسألة تعرف عادة بمسألة الدبابة الألمانية نظراً لتطبيق أقصى تقدير لتقديرات إنتاج الدبابة الألمانية خلال الحرب العالمية الثانية. 
يمكن فهم المعادلة بشكل حدسي كما يلي:
وأضيفت الفجوة للتعويض عن التحيز السلبي للحد الأقصى للعينة وكمقدر للحد الأقصى لمجتمع العينات. 
هذا عنده تباين
لذا فإن الانحراف المعياري تقريبا formula_47، لحجم العينات متوسط حجم الفجوة بين العينات؛ مقارنة formula_48 أعلاه. ويمكن رؤية هذا على أنه حالة بسيطة جدا من تقدير المسافة القصوى maximum spacing estimation.
الحد الأقصى للعينة هو مقدر الإمكان الأعظم للحد الأقصى لمجتمع العينات population maximum ، ولكن، كما نوقش أعلاه، هو منحاز.
العديد من المجالات تتطلب استخدام نظرية التقدير. في ما يلي بعض من هذه المجالات: (ولكنها لا تقتصر عليها بأي حال من الأحوال):البيانات المقاسة من المحتمل أن تكون عرضة للضوضاء أو عدم اليقين، ومن خلال الاحتمالية الإحصائية يتم البحث عن الحلول المثلى لاستخراج قدر أكبر من المعلومات من البيانات قدر الإمكان.