موضوع مقاله: آنتروپی اطلاعات | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # آنتروپی اطلاعات | مقدمه: در نظریه اطلاعات، آنتروپی (به انگلیسی: Entropy) یا اِنتروپی، معیاری عددی برای اندازه‌ گرفتن اطلاعات، یا تصادفی‌ بودن یک متغیر تصادفی است. | ## بخش 1: آنتروپی اطلاعات | با داشتن یک متغیر تصادفی گسسته ، که مقادیری از الفبای می‌گیرد و از توزیع پیروی می‌کند، آنتروپی برای آن به صورت زیر تعریف می‌شود: هرچه آنتروپی یک متغیر تصادفی بیشتر باشد، ابهام ما درباره آن بیشتر است؛ به این معنی که پس از مشاهده‌ی آن، اطلاعات به‌دست‌آمده از آن بیشتر خواهد بود. آنتروپی یک منبع اطلاعات، حد پایین نرخ بهترین فشرده‌سازی بی‌اتلاف داده‌های آن منبع است. اطلاعات حاصل از مشاهده یک رویداد تصادفی، برابر با منفی لگاریتم احتمال رخ دادن آن تعریف می‌شود. یک تابع برای اندازه‌ گرفتن اطلاعات یک روی‌داد تصادفی، ویژگی‌هایی دارد: این‌که اندازه‌ی اطلاعات، نامنفی باشد. مهم‌تر از همه این‌که، اطلاعات حاصل از دو مشاهدهٔ مستقل، برابر با جمع اطلاعات حاصل از مشاهدهٔ تک‌تک آن‌ها باشد. می‌توان نشان داد تنها تابعی که این سه ویژگی را برمی‌آورد، منفی لگاریتم احتمال است. اندازۀ اطلاعات با تابع لگاریتم در پایه‌های مختلف، با هم تنها در یک ضریب ثابت اختلاف دارد. متداول‌ترین پایهٔ لگاریتم در محاسبهٔ اطلاعات ۲ است که اطلاعات را در واحد بیت محاسبه می‌کند. آنتروپی در نظریهٔ اطلاعات رابطهٔ تنگاتنگی با مفهوم آنتروپی در ترمودینامیک آماری دارد. این قیاس برخاسته از این است که مقادیر متغیر‌های تصادفی، انرژی ریزحالت‌ها را تعیین می‌کنند و برای همین فرمول گیبز برای آنتروپی به صورت صوری دقیقاً مانند فرمول شانون است. آنتروپی در سایر بخش‌های ریاضی همچون ترکیبیات و یادگیری ماشین نیز دارای اهمیت است. اطلاعات حاصل از هر مشاهده برابر با و میانگین اطلاعات حالت‌های ممکن برابر با ۲ بیت است. مقدمه ایدهٔ‌ اصلی نظریه اطلاعات این است که «ارزش اطلاعاتی» منتقل شده از طریق یک پیام به میزان غافلگیر کننده بودن این پیام بستگی دارد. در عین حال اگر یک رویداد بسیار غیر محتمل رخ دهد، پیام،‌ اطلاعات آگاه‌کننده‌تری را منتقل می‌کند. برای نمونه، دانش اینکه عددی خاص، عدد برندهٔ یک بخت‌آزمایی نیست، اطلاع بسیار کمی در اختیار ما قرار می‌دهد چرا که هر عدد خاص انتخابی به احتمال زیاد برنده نخواهد شد. ولی دانش اینکه عددی خاص برندهٔ بخت‌آزمایی خواهد بود، ارزش اطلاعاتی زیادی دارد چراکه پیام آن رخداد یک پیامد بسیار نامحتمل است. محتوای اطلاعاتی یک رویداد ، تابعی است که با کاهش احتمال آن رویداد افزایش می‌یابد. | ## بخش 2: آنتروپی اطلاعات | هنگامی که به یک نزدیک می‌شود، شگفتی رویداد کم است چرا که انتظار رخداد آن را داریم و هنگامی که به صفر نزدیک می‌شود، شگفتی رویداد زیاد است چرا که انتظار رخداد آن رویداد را نداریم. این رابطه توسط رابطهٔ زیر مشروح است: که در این رابطه‌ یا همان لگاریتم هنگامی که احتمال رویداد برابر با یک است، میزان شگفتی را صفر می‌کند. بنابراین می‌توان میزان اطلاع یا شگفتی رویداد برابر است با: که برابر با عبارت زیر است: آنتروپی، مقدار مورد انتظار (میانگین) اطلاعات منتقل شده با تشخیص خروجی یک آزمایش تصادفی را به ما می‌دهد. تعریف آنتروپی متغیر تصادفی گسستهٔ با تابع چگالی احتمال را با نمایش می‌دهند که این‌گونه تعریف می‌شود: در رابطهٔ بالا تابع امید ریاضی و تابع میزان اطلاعات رویداد است. می‌توان آنتروپی را به صورت باز هم نوشت: همچنین، را صفر تعریف می‌کنیم که با مشاهدهٔ نیز سازگار است. آنتروپی متغیر تصادفی به شرط با توزیع احتمال مشترک نیز به صورت زیر تعریف می‌شود: میانگین اطلاعات حاصل از مشاهدهٔ به شرط اطلاع از را نشان می‌دهد. نظریه اندازه آنتروپی را می‌توان به صورت صوری در زبان نظریهٔ اندازه به صورت روبه‌رو تعریف کرد: اگر یک فضای احتمالاتی باشد و پیشامد را داشته باشیم، مقدار شگفتی برابر است با: مقدار امید شگفتی برابر است با: یک افراز almost- خانواده‌ای از مجموعه‌ها است به گونه‌ای که و برای هر متمایز. (این یک سست‌سازی از شروط همیشگی برای افراز است.) آنتروپی برابر است با: اگر یک جبر سیگما بر روی باشد، آنتروپی برابر است با: در نهایت، آنتروپی فضای احتمالاتی برابر است با ، یعنی آنتروپی نسبت به همهٔ جبر سیگمای همهٔ زیرمجموعه‌های قابل اندازه‌گیری . هر چقدر احتمال شیر آمدن سکه به ۰٫۵ نزدیکتر باشد ابهام در مورد نتیجهٔ آن بیشتر است و اطلاع از نتیجه، به‌طور میانگین اطلاعات بیشتری دربردارد. هرچقدر به نزدیکتر باشد، ابهام در مورد نتیجهٔ پرتاب بیشتر است و به همین ترتیب اطلاع از نتیجهٔ پرتاب به‌طور میانگین، اطلاعات بیشتری دربردارد. وقتی صفر یا یک باشد، هیچ ابهامی درباره نتیجهٔ پرتاب نیست و به همین ترتیب اطلاع از نتیجهٔ پرتاب هیچ اطلاعاتی در برندارد. به‌طور کلی، توزیع یکنواخت، بیشترین آنتروپی، و یک رویداد قطعی، کمترین آنتروپی را دارا هستند. مثال مفهومی: سکه شانون فرضا یک سکه داریم که علاوه بر شیر یا خط، ایستادن روی لبه‌های آن ممکن ولی نادراست و کلا به صد صورت ثبت می‌شود. در این‌صورت، برای ثبت تمام نتایج ممکن بدون فشرده‌سازی داده‌ها، دقیقا به ceil(log2(100 = ۷ بیت برای هر کاراکتر نیاز داریم. چنانچه یک روش فشرده‌سازی بی‌اتلاف داده مانند کدگذاری هافمن به کار آید، طبق معادله شانون، در بهترین حالت کدگذاری طول متوسط هر بیت مربوط به هر کاراکتر اندکی بیش از ۱ بیت خواهد بود، که عمدتا برای تفکیک شیر یا خط خواهد بود. توصیف صفات برای درک مفهوم ، ابتدا یک تابع اطلاعات برای رویداد ام با احتمال تعریف می‌کنیم. مقدار اطلاعات به‌دست آمده از مشاهده پدیدهٔ از ویژگی‌های بنیادین اطلاعات شانون پیروی می‌کند: به صورت یکنوا در کاهش می‌یابد: افزایش در احتمال یک رویداد، اطلاعات حاصل از مشاهدهٔ آن را کاهش می‌دهد و بلعکس. | ## بخش 3: آنتروپی اطلاعات | : اطلاعات آموخته شده از رویداد‌های مستقل برابر است با جمع اطلاعات به‌دست آمده از هر رویداد. با فرض داشتن دو رویداد مستقل، اگر رویداد اول پیامد هم‌شانس و دیگری پیامد هم‌شانس داشته باشد، در این صورت پیامد هم‌شانس برای رویداد توأم آن‌ها وجود دارد. این بدان معناست که اگر برای رمزگذاری مقدار اول بیت و برای رمزگذاری مقدار دوم به بیت نیاز داشته باشیم، برای رمزگذاری هر دوی آن‌ها به بیت نیاز داریم. همچنین گزینش یک مقدار برای ، هم‌ارز با گزینش مقدار برای است که در این صورت می‌توان مقدار پایهٔ لگاریتم را به کمک تغییر داد. فشرده‌سازی داده‌ها آنتروپی یک منبع اطلاعات، حد پایین متوسط بهترین نرخ فشرده‌سازی بدون اتلاف داده‌های آن منبع است. به بیان دقیق‌تر هیچ روش فشرده‌سازی ای وجود ندارد که به‌طور میانگین مقدار متغیر تصادفی را با کمتر از بیت فشرده کند. این حد پایین بسیار قوی است، به‌طوری که برای دنباله‌های به طول از داده‌های هر منبع تصادفی ، یک روش فشرده‌سازی وجود دارد که به‌طور میانگین، نتیجه هر مشاهده را حداکثر با بیت فشرده می‌کند. آنتروپی به عنوان معیاری از تنوع آنتروپی یکی از راه‌های متعدد سنجش تنوع زیستی است و از آن به صورت شاخص شانون استفاده می‌شود. شاخص تنوع یک معیار کمی آماری برای بررسی انواع گوناگون موجود در یک مجموعهٔ داده است. کاربرد در یادگیری ماشین روش‌های یادگیری ماشین به طور عمده مبتنی بر آمار و همچنین نظریه‌ٔ اطلاعات است. به طور کلی، آنتروپی یک معیار برای عدم قطعیت است و هدف یادگیری ماشین کاهش عدم قطعیت است. الگوریتم‌های یادگیری درخت تصمیم از آنتروپی نسبی استفاده می‌کنند تا قوانین تصمیم‌گیری حاکم بر داده‌ها در هر گره را پیدا کند. کسب اطلاعات در درخت‌های تصمیم ، که برابر است با تفاوت آنتروپی و آنتروپی شرطی به شرط ، اطلاع مورد انتظار را کمیت دهی می‌کند. مدل‌های استنباط بیزی اغلب با استفاده از اصل حداکثر آنتروپی، توزیع احتمال پیشین را به‌دست می‌آورند. منطق این روش این است که توزیعی که بهترین بیان از دانش ما از حالت کنونی یک سامانه را دارد، همانی است که بیشترین آنتروپی را دارد بنابراین برای توزیع پیشین بودن مناسب است. طبقه‌بندی در یادگیری ماشین که توسط رگرسیون لجستیک یا شبکه‌های عصبی مصنوعی پیاده‌سازی می‌شود، اغلب از از یک تابع زیان استاندارد، به نام زیان آنتروپی متقاطع، استفاده می‌کند که میانگین آنتروپی متقاطع بین واقعیت و توزیع‌های پیش‌بینی شده را کمینه می‌کند. | ## جمع‌بندی | به طور کلی، آنتروپی متقاطع یک معیار برای محاسبهٔ تفاوت میان ۲ مجموعهٔ داده‌ها است، مانند واگرایی کولبک-لیبلر یا همان آنتروپی نسبی.