| نظرية المعلومات |
| --- |
|  |
| * اعتلاج
* اعتلاج تفاضلي
* اعتلاج شرطي
* اعتلاج مشترك
* معلومات متبادلة
* Conditional mutual information
* تباعد كولباك - ليبلير
* Entropy rate
* إسراف
* Limiting density of discrete points
* ترميز
* خاصية تصحيح الخطأ
* كشف وتصحيح أخطاء
 |
| * Asymptotic equipartition property
* Rate–distortion theory
 |
| * Shannon's source coding theorem
* سعة القناة
* نظرية تكويد القناة الصاخبة
* نظرية شانون هارتلي
 |
| * ع
* ن
* ت
 |

في نظرية المعلومات، تحدد **الإنتروبيا الشرطية** (أو الالتباس **equivocation**) كمية المعلومات اللازمة لوصف نتيجة متغير عشوائي {\displaystyle Y} بالنظر إلى أن قيمة متغير عشوائي آخر {\displaystyle X} معروف. هنا، يتم قياس المعلومات في شانون، ناتس، أو hartleys. *انتروبيا {\displaystyle Y} مشروطة {\displaystyle X}* مكتوب مثل {\displaystyle \mathrm {H} (Y|X)} .

تعريف
-----

 يوضح مخطط فين العلاقات المضافة والطرحية مقاييس المعلومات المختلفة المرتبطة بالمتغيرات المرتبطة {\displaystyle X} و {\displaystyle Y}. المنطقة التي تحتوي عليها كلتا الدائرتين هي الانتروبيا المشتركة {\displaystyle \mathrm {H} (X,Y)}. الدائرة على اليسار (الأحمر والبنفسجي) هي الإنتروبيا الفردية {\displaystyle \mathrm {H} (X)} ، مع انتروبيا الحمراء إنتروبيا مشروطة {\displaystyle \mathrm {H} (X|Y)}. الدائرة على اليمين (الأزرق والبنفسجي) {\displaystyle \mathrm {H} (Y)} ، مع المجال الأزرق {\displaystyle \mathrm {H} (Y|X)}. البنفسج هو المعلومات المتبادلة {\displaystyle \operatorname {I} (X;Y)}. 
الانتروبيا الشرطية {\displaystyle Y} بفرض {\displaystyle X} يعرف بـ

|  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- |
| 

|  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- |
| {\displaystyle \mathrm {H} (Y|X)\ =-\sum \_{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}} | 

|  |  |  |
| --- | --- | --- |
|   |   |   |
|   |

 | **(**Eq.1**)** |

 |

حيث {\displaystyle {\mathcal {X}}} و {\displaystyle {\mathcal {Y}}} تدل على مجموعات الدعم {\displaystyle X} و {\displaystyle Y} .

*ملاحظة: من* المعتاد أن تكون التعابير {\displaystyle 0\log 0} و {\displaystyle 0\log c/0} للإصلاح {\displaystyle c>0} يجب أن تعامل على أنها تساوي الصفر. هذا بسبب {\displaystyle \lim \_{\theta \to 0^{+}}\theta \,\log \,c/\theta =0} و {\displaystyle \lim \_{\theta \to 0^{+}}\theta \,\log \theta =0} 

شرح بديهي للتعريف  : حسب التعريف ، {\displaystyle \displaystyle H(Y|X)=\mathbb {E} (\ f(X,Y)\ )} حيث {\displaystyle \displaystyle f:(x,y)\ \rightarrow -\log(\ p(y|x)\ )}. {\displaystyle \displaystyle f} مرتبطة بـ {\displaystyle \displaystyle (x,y)} محتوى المعلومات {\displaystyle \displaystyle (Y=y)} بفرض {\displaystyle \displaystyle (X=x)} وهو مقدار المعلومات اللازمة لوصف الحدث {\displaystyle \displaystyle (Y=y)} بفرض {\displaystyle (X=x)}. وفقا لقانون الأعداد الكبيرة، {\displaystyle \displaystyle H(Y|X)} هي المعنى الحسابي لعدد كبير من التحويلات المستقلة{\displaystyle \displaystyle f(X,Y)}.

انظر أيضًا
----------

* إنتروبي (نظرية المعلومات)
* معلومات متبادلة
* دالة الإمكان

المراجع
-------

1. ↑  "David MacKay: Information Theory, Pattern Recognition and Neural Networks: The Book". *www.inference.org.uk*. مؤرشف من الأصل في 2020-01-07. اطلع عليه بتاريخ 2019-10-25.

* أيقونة بوابةبوابة رياضيات
* أيقونة بوابةبوابة علم الحاسوب