آنتروپی اطلاعات

آنتروپی نتیجه انداختن دو سکه سالم برابر با ۲ بیت است. هر کدام از چهار حالت ممکن ۰٫۲۵ احتمال دارد. اطلاعات حاصل از هر مشاهده برابر با و میانگین اطلاعات حالت‌های ممکن برابر با ۲ بیت است.
آنتروپی در نظریه اطلاعات معیاری عددی از میزان اطلاعات یا میزان تصادفی بودن یک متغیر تصادفی است. به بیان دقیق‌تر آنتروپی یک متغیر تصادفی، امیدریاضی میزان اطلاعات حاصل از مشاهده آن است. همچنین آنتروپی یک منبع اطلاعات، حد پایین امید بهترین نرخ فشرده‌سازی بدون اتلاف داده‌ها برای آن منبع است.
اطلاعات حاصل از مشاهده یک رویداد برابر با منفی لگاریتم احتمال رخ دادن آن تعریف می‌شود؛ به‌طور طبیعی از هر تابع مناسب برای سنجش میزان اطلاعات یک مشاهده انتظاراتی وجود دارد، شامل اینکه اطلاعات حاصل از یک مشاهده مقداری نامنفی باشد. اطلاعات حاصل از مشاهده یک رویداد قطعی (یعنی با احتمال یک) صفر باشد و مهمتر از همه اطلاعات حاصل از دو مشاهده مستقل برابر با جمع اطلاعات حاصل از مشاهده تک تک آن‌ها باشد. می‌توان نشان داد تنها تابعی که سه ویژگی فوق را ارضاء می‌کند تابع منفی لگاریتم احتمال است. میزان اطلاعات با پایه‌های مختلف لگاریتم تنها یک ضریب ثابت با هم اختلاف دارد. متداول‌ترین پایه لگاریتم در محاسبه اطلاعات ۲ است که اطلاعات را در واحد بیت یا شانون محاسبه می‌کند.
به‌طور کلی در علوم و مهندسی، آنتروپی معیاری از میزان ابهام یا بی‌نظمی است. کلود شانون در مقاله انقلابی خود با نام «A Mathematical Theory of Communication» در سال ۱۹۴۸، آنتروپی شانون را معرفی کرد و پایه‌گذار نظریه اطلاعات شد.
تعریف
آنتروپی متغیر تصادفی گسسته با تابع جرم احتمال را با نماد نمایش می‌دهند و به صورت زیر تعریف می‌شود:
در رابطه بالا
تابع امید ریاضی و تابع میزان اطلاعات رویداد است. تابعی از یک متغیر تصادفی و در نتیجه یک متغیر تصادفی است. پایه لگاریتم است و مقادیر مختلف آن آنتروپی را در واحدهای متفاوتی محاسبه می‌کند. متداول‌ترین مقادیر برای ،
۲ و e و ۱۰ هستند که به ترتیب آنتروپی را در واحدهای بیت و nat و hartley محاسبه می‌کند.
می‌توان آنتروپی را به صورت باز هم نوشت:
همچنین مقدار را صفر تعریف می‌کنیم که با مشاهده نیز سازگار است.
آنتروپی متغیر تصادفی به شرط با توزیع احتمال مشترک نیز به صورت زیر تعریف می‌شود:
میانگین اطلاعات حاصل از مشاهده به شرط اطلاع از را نشان می‌دهد.
مثال
نمودار آنتروپی نتیجه پرتاب یک سکه در واحد بیت بر حسب احتمال شیر آمدن آن. هر چقدر احتمال شیر آمدن سکه به ۰٫۵ نزدیکتر باشد ابهام در مورد نتیجه آن بیشتر است و اطلاع از نتیجه، به‌طور میانگین اطلاعات بیشتری دربردارد.
متغیر تصادفی را برابر با نتیجه پرتاب یک سکه در نظر بگیرید که با احتمال شیر و با احتمال خط می‌آید. هرچقدر به نزدیکتر باشد، ابهام در مورد نتیجه پرتاب بیشتر است و به همین ترتیب اطلاع از نتیجه پرتاب به‌طور میانگین اطلاعات بیشتری دربردارد.
در واقع بیشترین میزان آنتروپی برای حالت و برابر با ۱ بیت است:
در حالتی که صفر یا یک باشد، هیچ ابهامی در مورد نتیجه پرتاب وجود ندارد و به همین ترتیب اطلاع از نتیجه پرتاب هیچ اطلاعاتی در برندارد:
برای حالت انتظار داریم آنتروپی کمتر از حالت یکنواخت و بیشتر از حالت بدون ابهام باشد:
به‌طور کلی بیشترین میزان آنتروپی برای یک متغیر تصادفی در توزیع یکنواخت و کمترین میزان آنتروپی در توزیعی با یک رویداد قطعی رخ می‌دهد.
فشرده‌سازی داده‌ها
آنتروپی یک منبع اطلاعات، حد پایین امید بهترین نرخ فشرده‌سازی بدون اتلاف داده برای داده‌های تولید شده توسط آن منبع است. به بیان دقیق‌تر هیچ روش فشرده‌سازی‌ای وجود ندارد که به‌طور میانگین مقدار متغیر تصادفی را با کمتر از بیت فشرده کند. این حد پایین بسیار قوی است، به‌طوری برای دنباله‌های به طول از نتایج از هر منبع تصادفی ، یک روش فشرده‌سازی وجود دارد که به‌طور میانگین، نتیجه هر مشاهده را حداکثر با بیت فشرده می‌کند.