آنتروپی شرطی

در نظریه اطلاعات ، آنتروپی شرطی  مقدار اطلاعاتی را اندازه می گیرد که نیاز هست تا خروجی یک متغیر تصادفی  را توصیف کند به شرط  اینکه مقدار یک متغیر تصادفی دیگر   مشخص باشد.  در اینجا اطلاعات با معیار شنون ، nats یا  hartleys اندازه گرفته می‌شود . آنتروپی   به شرط   به صورت   نمایش داده می شود.

 تعریف 
اگر آنتروپی متغیر  به شرط متغیر   که مقدار مشخص   را میگیرد باشد ، آنگاه   نتیجه متوسط گیری روی تمام مقادیر ممکن برای  است.

متغیر تصادفی گسسته   با تصویر  و  با تصویر  با فرض مشخص بودن   ، آنتروپی شرطی   به شرط  به صورت زیر تعریف می شود: (مستقیما ،عبارت زیر می‌تواند به صورت حمع وزن دار  روی تمام مقادیر ممکن    با استفاده وزن های  تعبیر شود. )


توجه : توجه شود که عبارات (0log0) و (0log(c/0)) برای یک c>0 و ثابت باید برابرصفر قرار داده شود.

اگر و تنها اگر مقدار  به طور کامل به دانستن مقدار  مشخص شود. برعکس  اگر و تنها اگر  و دو  متغیر تصادفی مستقل باشند.

 قاعده زنجیره ای  
سیستم ترکیبی که توسط دو متغیر تصادفی X و Y با آنتروپی مشترک  مشخص می‌شود را فرض کنید. مقدار  بیت برای توصیف دقیق حالت این سیستم نیاز است. حال اگر ما در ابتدا مقدار  را یاد بگیرم در حقیقت  بیت از اطلاعات را بدست آورده ایم. زمانی که  شناخته شده باشد ، تنها به  بیت برای توصیف حالت سیستم نیاز است. این مقدار دقیقاً  برابر  است که قاعده ی زنجیره ای مربوط به آنتروپی شرطی را نتیجه می دهد :

قاعده ی زنجیری از تعریف آنتروپی شرطی بالا نتیجه می شود:

به طور کلی ، قاعده زنچیری برای چندین متغیر تصادفی نتیجه می دهد :

این یک فرم شبیه به قاعده زنجیری در نظریه آمار و احتمال دارد ، به جز اینکه به جای ضرب از جمع استفاده شده.

 قانون Bayes 
قانون بیز  در مورد آنتروپی شرطی بیان می کند که :

اثبات: و . از تقارن داریم که  . تقاضل دو معادله ، قانون بیز را نتیجه می دهد .

اگر Y با فرض مشخص بودن X از  Z مستقل شرطی باشد ، داریم:

 تعمیم به نظریه کوانتومی 
در نظریه کوانتومی اطلاعات ، آنتروپی شرطی به  آنتروپی کوانتومی شرطی تعمیم داده می شود. این نمونه ی تعمیم یافته برخلاف مقدار کلاسیک آن می‌تواند مقدار منفی به خود بگیرد . از آنچایی که    قانون بیز برای آنروپی کوانتومی شرطی صادق نیست.

 خواص دیگر 
برای هر و :

که در آن اطلاعات متقابل بین  و  هست.

برای دو متغیر مستقل  و  :

اگر چه آنتروپی شرطی خاص می‌تواند کمتر یا بیشتر از باشد،هرگز نمی‌تواند بیش از باشد.

 همچنین نگاه کنید 
 آنتروپی (نظریه اطلاعات)
 اطلاعات متقابل
 آنتروپی کوانتومی شرطی
 تنوع اطلاعات
 آنتروپی قدرت نابرابری
 احتمال تابع

 منابع 

رده:آنتروپی اطلاعات
رده:نظریه اطلاعات