X. قسمت بنفش نیز اطلاعات متقابل بین (I(X;Y می باشد
در نظریه اطلاعات ، **آنتروپی شرطی** مقدار اطلاعاتی را اندازه می گیرد که نیاز هست تا خروجی یک متغیر تصادفی Y را توصیف کند به شرط اینکه مقدار یک متغیر تصادفی دیگر X  مشخص باشد.  در اینجا اطلاعات با معیار شنون ، nats یا  hartleys اندازه گرفته می‌شود. آنتروپی *Y به شرط  X* به صورت  {\displaystyle H(Y|X)} نمایش داده می شود.

تعریف
-----

اگر {\displaystyle H(Y|X=x)}آنتروپی متغیر Y به شرط متغیر  X که مقدار مشخص  x را میگیرد باشد ، آنگاه {\displaystyle H(Y|X)} نتیجه متوسط گیری روی تمام مقادیر ممکن برای X است.

متغیر تصادفی گسسته  X با تصویر {\displaystyle {\mathcal {X}}} و Y با تصویر {\displaystyle {\mathcal {Y}}} با فرض مشخص بودن X ، آنتروپی شرطی Y به شرط X به صورت زیر تعریف می شود: (مستقیما ،عبارت زیر می‌تواند به صورت حمع وزن دار {\displaystyle H(Y|X=x)} روی تمام مقادیر ممکن  x با استفاده وزن های p(x) تعبیر شود. )

{\displaystyle {\begin{aligned}H(Y|X)\ &\equiv \sum \_{x\in {\mathcal {X}}}\,p(x)\,H(Y|X=x)\\&=-\sum \_{x\in {\mathcal {X}}}p(x)\sum \_{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)\\&=-\sum \_{x\in {\mathcal {X}}}\sum \_{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum \_{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=-\sum \_{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\&=\sum \_{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}.\\\end{aligned}}}
توجه : توجه شود که عبارات (0log0) و (0log(c/0)) برای یک c>0 و ثابت باید برابرصفر قرار داده شود.

{\displaystyle H(Y|X)=0}اگر و تنها اگر مقدار Y به طور کامل به دانستن مقدار X مشخص شود. برعکس {\displaystyle H(Y|X)=H(Y)} اگر و تنها اگر Y وX دو  متغیر تصادفی مستقل باشند.

قاعده زنجیره ای
---------------

سیستم ترکیبی که توسط دو متغیر تصادفی X و Y با آنتروپی مشترک {\displaystyle H(X,Y)} مشخص می‌شود را فرض کنید. مقدار {\displaystyle H(X,Y)} بیت برای توصیف دقیق حالت این سیستم نیاز است. حال اگر ما در ابتدا مقدار X را یاد بگیرم در حقیقت {\displaystyle H(X)} بیت از اطلاعات را بدست آورده ایم. زمانی که X شناخته شده باشد ، تنها به {\displaystyle H(X,Y)-H(X)} بیت برای توصیف حالت سیستم نیاز است. این مقدار دقیقاً برابر {\displaystyle H(Y|X)} است که قاعده ی زنجیره ای مربوط به آنتروپی شرطی را نتیجه می دهد :

{\displaystyle H(Y|X)\,=\,H(X,Y)-H(X).}
قاعده ی زنجیری از تعریف آنتروپی شرطی بالا نتیجه می شود:

{\displaystyle {\begin{aligned}H(Y|X)&=\sum \_{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=-\sum \_{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum \_{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x))\\[4pt]&=H(X,Y)+\sum \_{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=H(X,Y)-H(X).\end{aligned}}}
به طور کلی ، قاعده زنچیری برای چندین متغیر تصادفی نتیجه می دهد :

{\displaystyle H(X\_{1},X\_{2},\ldots ,X\_{n})=\sum \_{i=1}^{n}H(X\_{i}|X\_{1},\ldots ,X\_{i-1})}
این یک فرم شبیه به قاعده زنجیری در نظریه آمار و احتمال دارد ، به جز اینکه به جای ضرب از جمع استفاده شده.

قانون Bayes
-----------

قانون بیز در مورد آنتروپی شرطی بیان می کند که :

{\displaystyle H(Y|X)\,=\,H(X|Y)-H(X)+H(Y)\,.}
*اثبات:*  
*{\displaystyle H(Y|X)=H(X,Y)-H(X)} و {\displaystyle H(X|Y)=H(Y,X)-H(Y)}. از تقارن داریم که  {\displaystyle H(X,Y)=H(Y,X)}.* تقاضل دو معادله ، قانون بیز را نتیجه می دهد .

اگر Y با فرض مشخص بودن X از  Z مستقل شرطی باشد ، داریم:

{\displaystyle H(Y|X,Z)\,=\,H(Y|X).}

تعمیم به نظریه کوانتومی
-----------------------

در نظریه کوانتومی اطلاعات ، آنتروپی شرطی به  آنتروپی کوانتومی شرطی تعمیم داده می شود. این نمونه ی تعمیم یافته برخلاف مقدار کلاسیک آن می‌تواند مقدار منفی به خود بگیرد. از آنچایی که  {\displaystyle H(X,Y)\neq H(Y,X)} قانون بیز برای آنروپی کوانتومی شرطی صادق نیست.[]

خواص دیگر
---------

برای هرX و Y:

{\displaystyle {\begin{aligned}H(Y|X)&\leq H(Y)\,\\H(X,Y)&=H(X|Y)+H(Y|X)+I(X;Y),\qquad \\H(X,Y)&=H(X)+H(Y)-I(X;Y),\,\\I(X;Y)&\leq H(X),\,\end{aligned}}}

که در آن{\displaystyle I(X;Y)} اطلاعات متقابل بین X و Y هست.

برای دو متغیر مستقل X و Y :

{\displaystyle H(Y|X)=H(Y){\text{ and }}H(X|Y)=H(X)\,}
اگر چه آنتروپی شرطی خاص{\displaystyle H(X|Y=y)} می‌تواند کمتر یا بیشتر از{\displaystyle H(X)} باشد،{\displaystyle H(X|Y)}هرگز نمی‌تواند بیش از{\displaystyle H(X)} باشد.

همچنین نگاه کنید
----------------

* آنتروپی (نظریه اطلاعات)
* اطلاعات متقابل
* آنتروپی کوانتومی شرطی
* تنوع اطلاعات
* آنتروپی قدرت نابرابری
* احتمال تابع

منابع
-----

1. ↑  Cover, Thomas M.; Thomas, Joy A. (1991). *Elements of information theory* (1st ed.). New York: Wiley. ISBN 0-471-06259-6.