آنتروپی شرطی

بندانگشتی|256x256پیکسل|نمودار ون مربوط  اندازه گیر های متفاوت اطلاعات برای دو متغیر همبسته ی X و Y. ناحیه ای که مربوط به هر دو دایره است آنتروپی مشترک است( (H(X,Y) . دایره طرف چب (قرمز و بنفش) آنتروپی X را نشان می دهد((H(X) که قسمت قرمز آنتروپی شرطی ((H(X|Y)  است.دایره طرف راست (آبی و بنفش) ((H(Y) است و قسمت آبی نمایش دهنده (H(Y|X . قسمت بنفش نیز اطلاعات متقابل بین (I(X;Y می باشد

در نظریه اطلاعات ، **آنتروپی شرطی**  مقدار اطلاعاتی را اندازه می گیرد که نیاز هست تا خروجی یک متغیر تصادفی Y را توصیف کند به شرط  اینکه مقدار یک متغیر تصادفی دیگر X  مشخص باشد.  در اینجا اطلاعات با معیار شنون ، nats یا  hartleys اندازه گرفته می‌شود . آنتروپی * <math>Y</math> به شرط  <math>X</math>* به صورت  H(Y|X) نمایش داده می شود.

## تعریف
اگر H(Y|X=x)آنتروپی متغیر Y به شرط متغیر  X که مقدار مشخص  x را میگیرد باشد ، آنگاه  H(Y|X) نتیجه متوسط گیری روی تمام مقادیر ممکن برای X است.

متغیر تصادفی گسسته  X با تصویر \mathcal X و Y با تصویر \mathcal Y با فرض مشخص بودن X  ، آنتروپی شرطی Y  به شرط X به صورت زیر تعریف می شود: (مستقیما ،عبارت زیر می‌تواند به صورت حمع وزن دار H(Y|X=x) روی تمام مقادیر ممکن  x  با استفاده وزن های p(x) تعبیر شود. )
: 
\begin{align}
H(Y|X)\ &\equiv \sum_{x\in\mathcal X}\,p(x)\,H(Y|X=x)\\
& =-\sum_{x\in\mathcal X} p(x)\sum_{y\in\mathcal Y}\,p(y|x)\,\log\, p(y|x)\\
& =-\sum_{x\in\mathcal X}\sum_{y\in\mathcal Y}\,p(x,y)\,\log\,p(y|x)\\
& =-\sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log\,p(y|x)\\
& =-\sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log \frac {p(x,y)} {p(x)}. \\
& = \sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log \frac {p(x)} {p(x,y)}. \\
\end{align}


توجه : توجه شود که عبارات (0log0) و (0log(c/0)) برای یک c>0 و ثابت باید برابرصفر قرار داده شود.

H(Y|X)=0اگر و تنها اگر مقدار Y به طور کامل به دانستن مقدار X مشخص شود. برعکس H(Y|X) = H(Y) اگر و تنها اگر Y وX دو  متغیر تصادفی مستقل باشند.

## قاعده زنجیره ای
سیستم ترکیبی که توسط دو متغیر تصادفی X و Y با آنتروپی مشترک H(X,Y) مشخص می‌شود را فرض کنید. مقدار H(X,Y) بیت برای توصیف دقیق حالت این سیستم نیاز است. حال اگر ما در ابتدا مقدار X را یاد بگیرم در حقیقت H(X) بیت از اطلاعات را بدست آورده ایم. زمانی که X شناخته شده باشد ، تنها به H(X,Y)-H(X) بیت برای توصیف حالت سیستم نیاز است. این مقدار دقیقاً  برابر H(Y|X) است که قاعده ی زنجیره ای مربوط به آنتروپی شرطی را نتیجه می دهد :
:H(Y|X)\,=\,H(X,Y)-H(X).
قاعده ی زنجیری از تعریف آنتروپی شرطی بالا نتیجه می شود:
:\begin{align} 
H(Y|X) &= \sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log \left ( \frac {p(x)} {p(x,y)} \right ) \\[4pt]
 &= -\sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log (p(x,y)) + \sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log (p(x)) \\[4pt]
 & =  H(X,Y) + \sum_{x \in \mathcal X} p(x)\log (p(x) ) \\[4pt]
& =  H(X,Y) - H(X). 
\end{align}
به طور کلی ، قاعده زنچیری برای چندین متغیر تصادفی نتیجه می دهد :
: H(X_1,X_2,\ldots,X_n) = \sum_{i=1}^n H(X_i | X_1, \ldots, X_{i-1}) 
این یک فرم شبیه به قاعده زنجیری در نظریه آمار و احتمال دارد ، به جز اینکه به جای ضرب از جمع استفاده شده.

## قانون Bayes
قانون بیز  در مورد آنتروپی شرطی بیان می کند که :
:H(Y|X) \,=\, H(X|Y) - H(X) + H(Y) \,.
*اثبات:**<math>H(Y|X) = H(X,Y) - H(X)</math> و <math>H(X|Y) = H(Y,X) - H(Y)</math>. از تقارن داریم که  <math>H(X,Y) = H(Y,X)</math>. *تقاضل دو معادله ، قانون بیز را نتیجه می دهد .

اگر Y با فرض مشخص بودن X از  Z مستقل شرطی باشد ، داریم:
:H(Y|X,Z) \,=\, H(Y|X).

## تعمیم به نظریه کوانتومی
در نظریه کوانتومی اطلاعات ، آنتروپی شرطی به  آنتروپی کوانتومی شرطی تعمیم داده می شود. این نمونه ی تعمیم یافته برخلاف مقدار کلاسیک آن می‌تواند مقدار منفی به خود بگیرد . از آنچایی که  H(X,Y) \ne H(Y,X)  قانون بیز برای آنروپی کوانتومی شرطی صادق نیست.

## خواص دیگر
برای هرX و Y:

\begin{align}
  H(Y|X) &\le H(Y) \, \\
  H(X,Y) &= H(X|Y) + H(Y|X) + I(X;Y),\qquad \\
  H(X,Y) &= H(X) + H(Y) - I(X;Y),\, \\
  I(X;Y) &\le H(X),\,
\end{align}

که در آنI(X;Y) اطلاعات متقابل بین X و Y هست.

برای دو متغیر مستقل X و Y :
: H(Y|X) = H(Y)\text{ and }H(X|Y) = H(X) \, 
اگر چه آنتروپی شرطی خاصH(X|Y=y) می‌تواند کمتر یا بیشتر ازH(X) باشد،H(X|Y)هرگز نمی‌تواند بیش ازH(X) باشد.

## همچنین نگاه کنید
* آنتروپی (نظریه اطلاعات)
* اطلاعات متقابل
* آنتروپی کوانتومی شرطی
* تنوع اطلاعات
* آنتروپی قدرت نابرابری
* احتمال تابع

## منابع

رده:آنتروپی اطلاعات
رده:نظریه اطلاعات