اطلاعات متقابل
در نظریه احتمالات و نظریه اطلاعات، اطلاعات متقابل بین دو متغیر تصادفی معیاری برای نشان دادن میزان وابستگی متقابل آن دو متغیر می‌باشد. به بیان دیگر در حقیقت این معیار «میزان اطلاعات» به دست آمده (مثلاً در واحد بیت) در مورد یک متغیر تصادفی از طریق متغیر تصادفی دیگر را نشان می‌دهد. مفهوم اطلاعات متقابل ذاتاً مرتبط با آنتروپی یک متغیر تصادفی که میزان اطلاعات موجود در یک متغیر تصادفی را نشان می‌دهد، می‌باشد.
اطلاعات متقابل میزان شباهت بین توزیع مشترک formula_1 و ضرب احتمال‌های حاشیه ای یعنی formula_2 را مشخص می‌سازد.
اطلاعات متقابل بین دو متغیر تصادفی formula_3 و formula_4 را به صورت زیر می‌توان تعریف نمود:
formula_5
که در رابطه فوق formula_6 تابع توزیع احتمال مشترک formula_3 و formula_4، و formula_9 و formula_10 تابع‌های توزیع احتمال حاشیه ای به ترتیب formula_3 و formula_4 می‌باشند.
در صورتی که متغیرهای تصادفی پیوسته باشند، رابطه به صورت زیر بر اساس انتگرال معین دوگانه تعریف می‌گردد:
formula_13
که در رابطهٔ فوق اکنون formula_6 تابع چگالی احتمال مشترک formula_3 و formula_4، و formula_9 و formula_10 تابع‌های چگالی احتمال حاشیه ای به ترتیب formula_3 و formula_4 می‌باشند.
اگر لگاریتم در پایهٔ ۲ استفاده شود، واحد اطلاعات متقابل بیت خواهد بود.
اطلاعات متقابل میزان اطلاعاتی که بین formula_3 و formula_4 مشترک است را انداره می‌گیرد. اطلاعات متقابل نشان می‌دهد تا چه میزان دانستن یکی از این متغیرها میزان ابهام ما در مورد دیگری را کاهش می‌دهد. مثلاً اگر formula_3 و formula_4 مستقل باشند، در این صورت دانستن formula_3 هیچ اطلاعاتی در مورد formula_4 به ما نمی‌دهد (و بر عکس)، بنا بر این اطلاعات متقابلشان صفر است. از طرف دیگر، اگر formula_3 یک تابع قطعی (deterministic) از formula_4 و formula_4 یک تابع قطعی (deterministic) از formula_3 باشد، در این صورت تمام اطلاعاتی که formula_3 با خود حمل می‌کند، در formula_4 هم هست، دانستن formula_3 مقدار formula_4 را مشخص می‌کند و بر عکس. در نتیجه در این حالت اطلاعات متقابل برابر میزان ابهام در formula_4 (یا formula_3)، یعنی آنتروپی formula_4 (یا formula_3) می‌باشد.
اطلاعات متقابل میزان وابستگی را بر اساس توزیع مشترک formula_3 و formula_4، در مقایسه با توزیع مشترک formula_3 و formula_4 تحت فرض استقلال، به دست می‌آورد. اطلاعات متقابل در نتیجه وابستگی را در معنای زیر اندازه‌گیری می‌کند:
formula_43 اگر و فقط اگر formula_3 و formula_4 متغیرهای تصادفی مستقل باشند. بررسی این حقیقت از یک سمت آسان است: اگر formula_3 و formula_4 مستقل باشند، در این صورت formula_48 و در نتیجه:
formula_49
در ضمن لازم است ذکر شود که اطلاعات متقابل نامنفی و متقارن می‌باشد.
اطلاعات متقابل معادلاً تحت روابط زیر قابل بیان می‌باشد:
formula_50
که در روابط فوق formula_51 و formula_52 آنتروپی‌های حاشیه ای، formula_53 و formula_54 آنتروپی‌های شرطی می‌باشند و formula_55 آنتروپی مشترک formula_3 و formula_4 می‌باشد. به شباهت روابط با روابط اجتماع، اشتراک و اختلاف دو مجموعه توجه کنید.
به کمک نامساوی Jensen روی تعریف اطلاعات متقابل می‌توان نشان داد formula_58 نامنفی است، و در نتیجه، formula_59. اکنون ما در این‌جا اثبات رابطه formula_60 را ارائه می‌دهیم:
formula_61
اثبات تساوی‌های دیگر که در بالا آمده‌است، به طور مشابه انجام می‌پذیرد.
اطلاعات متقابل همچنین بر اساس انحراف Kullback-Leibler به شکل زیر قابل بیان می‌باشد:
formula_62
گاهی اوقات لازم است اطلاعات متقابل دو متغیر تصادفی به شرط یک متغیر تصادفی سوم بیان گردد.
formula_63
که رابطه فوق را می‌توان به صورت زیر ساده‌تر نوشت:
formula_64
شرط روی یک متغیر تصادفی سوم می‌تواند اطلاعات متقابل را کاهش یا افزایش دهد، ولی در هر حال رابطه زیر همیشه صادق است:
formula_65