آنتروپی اطلاعات کیست؟ توضیح بده.
در نظریه اطلاعات، آنتروپی (به انگلیسی: Entropy) یا اِنتروپی، معیاری عددی برای اندازه‌ گرفتن اطلاعات، یا تصادفی‌ بودن یک متغیر تصادفی است. به بیان دقیق‌تر، آنتروپی یک متغیر تصادفی، متوسط اطلاعات آن است. با داشتن یک متغیر تصادفی گسسته formula_1، که مقادیری از الفبای formula_2 می‌گیرد و از توزیع formula_3 پیروی می‌کند، آنتروپی برای آن به صورت زیر تعریف می‌شود: formula_4 هرچه آنتروپی یک متغیر تصادفی بیشتر باشد، ابهام ما درباره آن بیشتر است؛ به این معنی که پس از مشاهده‌ی آن، اطلاعات به‌دست‌آمده از آن بیشتر خواهد بود. آنتروپی یک منبع اطلاعات، حد پایین نرخ بهترین فشرده‌سازی بی‌اتلاف داده‌های آن منبع است.اطلاعات حاصل از مشاهده یک رویداد تصادفی، برابر با منفی لگاریتم احتمال رخ دادن آن تعریف می‌شود. یک تابع برای اندازه‌ گرفتن اطلاعات یک روی‌داد تصادفی، ویژگی‌هایی دارد: می‌توان نشان داد تنها تابعی که این سه ویژگی را برمی‌آورد، منفی لگاریتم احتمال است. اندازۀ اطلاعات با تابع لگاریتم در پایه‌های مختلف، با هم تنها در یک ضریب ثابت اختلاف دارد. متداول‌ترین پایهٔ لگاریتم در محاسبهٔ اطلاعات ۲ است که اطلاعات را در واحد بیت محاسبه می‌کند.به‌طور کلی در علوم و مهندسی، آنتروپی معیاری برای ابهام یا بی‌نظمی است. کلود شانون در مقالهٔ انقلابی خود با نام «A Mathematical Theory of Communication» در ۱۹۴۸، آنتروپی شانون را معرفی کرد و پایه‌گذار نظریهٔ اطلاعات شد.آنتروپی در نظریهٔ اطلاعات رابطهٔ تنگاتنگی با مفهوم آنتروپی در ترمودینامیک آماری دارد. این قیاس برخاسته از این است که مقادیر متغیر‌های تصادفی، انرژی ریزحالت‌ها را تعیین می‌کنند و برای همین فرمول گیبز برای آنتروپی به صورت صوری دقیقاً مانند فرمول شانون است. آنتروپی در سایر بخش‌های ریاضی همچون ترکیبیات و یادگیری ماشین نیز دارای اهمیت است.مقدمه.ایدهٔ‌ اصلی نظریه اطلاعات این است که «ارزش اطلاعاتی» منتقل شده از طریق یک پیام به میزان غافلگیر کننده بودن این پیام بستگی دارد. اگر یک رویداد بسیار محتمل رخ بدهد، پیام، اطلاعات بسیار کمی را منتقل می‌کند. در عین حال اگر یک رویداد بسیار غیر محتمل رخ دهد، پیام،‌ اطلاعات آگاه‌کننده‌تری را منتقل می‌کند. برای نمونه، دانش اینکه عددی خاص، عدد برندهٔ یک بخت‌آزمایی نیست، اطلاع بسیار کمی در اختیار ما قرار می‌دهد چرا که هر عدد خاص انتخابی به احتمال زیاد برنده نخواهد شد. ولی دانش اینکه عددی خاص برندهٔ بخت‌آزمایی خواهد بود، ارزش اطلاعاتی زیادی دارد چراکه پیام آن رخداد یک پیامد بسیاد نامحتمل است.محتوای اطلاعاتی یک رویداد formula_5، تابعی است که با کاهش احتمال آن رویداد formula_6 افزایش می‌یابد. هنگامی که formula_6 به یک نزدیک می‌شود، شگفتی رویداد کم است چرا که انتظار رخداد آن را داریم و هنگامی که formula_6 به صفر نزدیک می‌شود، شگفتی رویداد زیاد است چرا که انتظار رخداد آن رویداد را نداریم. این رابطه توسط رابطهٔ زیر مشروح است:formula_9که در این رابطه‌ formula_10 یا همان لگاریتم هنگامی که احتمال رویداد برابر با یک است، میزان شگفتی را صفر می‌کند. در اصل، formula_10 تنها تابعی است که این مجموعه از توصیف‌ها را ارضا می‌کند. بنابراین می‌توان میزان اطلاع یا شگفتی رویداد formula_5 برابر است با:formula_13که برابر با عبارت زیر است:formula_14آنتروپی، مقدار مورد انتظار (میانگین) اطلاعات منتقل شده با تشخیص خروجی یک آزمایش تصادفی را به ما می‌دهد.تعریف.آنتروپی متغیر تصادفی گسستهٔ formula_1 با تابع چگالی احتمال formula_16 را با formula_17 نمایش می‌دهند که این‌گونه تعریف می‌شود:formula_18در رابطهٔ بالاformula_19 تابع امید ریاضی و formula_20 تابع میزان اطلاعات رویداد است. formula_21 تابعی از یک متغیر تصادفی، و در نتیجه یک متغیر تصادفی است. formula_22 پایهٔ لگاریتم است و آنتروپی را با واحدهای متفاوت به دست می‌دهد. متداول‌ترین formula_22 ،۲، e، و ۱۰ هستند که به ترتیب آنتروپی را در واحدهای بیت و nat و hartley به دست می‌دهد.می‌توان آنتروپی formula_1 را به صورت باز هم نوشت:formula_25همچنین، formula_26 را صفر تعریف می‌کنیم که با مشاهدهٔ formula_27 نیز سازگار است.آنتروپی متغیر تصادفی formula_1 به شرط formula_29 با توزیع احتمال مشترک formula_30 نیز به صورت زیر تعریف می‌شود:formula_32 میانگین اطلاعات حاصل از مشاهدهٔ formula_1 به شرط اطلاع از formula_29 را نشان می‌دهد.نظریه اندازه.آنتروپی را می‌توان به صورت صوری در زبان نظریهٔ اندازه به صورت روبه‌رو تعریف کرد: اگر formula_35 یک فضای احتمالاتی باشد و پیشامد formula_36 را داشته باشیم، مقدار شگفتی formula_37 برابر است با:formula_38مقدار امید شگفتی formula_37 برابر است با:formula_40یک افراز almost-formula_41 خانواده‌ای از مجموعه‌ها formula_42 است به گونه‌ای که formula_43 و formula_44 برای هر formula_45متمایز. (این یک سست‌سازی از شروط همیشگی برای افراز است.) آنتروپی formula_46 برابر است با:formula_47اگر formula_48 یک جبر سیگما بر روی formula_1 باشد، آنتروپی formula_48 برابر است با:formula_51در نهایت، آنتروپی فضای احتمالاتی برابر است با formula_52، یعنی آنتروپی نسبت به formula_41 همهٔ جبر سیگمای همهٔ زیرمجموعه‌های قابل اندازه‌گیری formula_1.مثال.متغیر تصادفی formula_1، نتیجهٔ پرتاب یک سکه با احتمال شیر formula_56 و خط formula_57 است. هرچقدر formula_56 به formula_59 نزدیکتر باشد، ابهام در مورد نتیجهٔ پرتاب بیشتر است و به همین ترتیب اطلاع از نتیجهٔ پرتاب به‌طور میانگین، اطلاعات بیشتری دربردارد. در واقع بیش‌ترین آنتروپی برای formula_60 و برابر با ۱ بیت است.&lt;math&gt;\Eta(X) = -\sum_{i=1}^n {\mathrm{P}(x_i) \log_2 \mathrm{P}(x_i)} = -\sum_{i=1}^2