موضوع مقاله: واگرایی کولبک-لیبلر | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # واگرایی کولبک-لیبلر | مقدمه: در آمار ریاضی از واگرایی کولبک-لیبلر یا انتروپی نسبی به عنوان معیاری برای اندازه‌گیری واگرایی یک توزیع احتمال از یک توزیع احتمال ثانویه، یاد می‌شود. | ## بخش 1: واگرایی کولبک-لیبلر | از جمله کاربردهای این مفهوم شامل توصیف انتروپی نسبی (shannon) در سیستم‌های اطلاعاتی، میزان تصادفی‌بودن در سری‌های زمانی پیوسته و بهره اطلاعاتی در زمانی که به مقایسه با مدلهای آماری استنباطی می‌پردازیم، می‌باشد. برخلاف تنوع اطلاعات، این معیار، یک معیار نامتقارن می‌باشد و در نتیجه نمی‌توان آن را به عنوان یک معیار پراکندگی معرفی کرد. به عبارت دیگر، مقدار برای واگرایی کولبک-لیبلر نشان می‌دهد که ما می‌توانیم انتظار رفتار مشابهی (نه دقیقاً یکسان) از دو توزیع داشته باشیم در حالی که مقدار برای این معیار نشان می‌دهد که دو توزیع رفتارهای متضادی دارند. یادگیری ماشین در حوزه یادگیری ماشین از عموماً به نام بهره اطلاعاتی حاصل به شرطی که به جای توزیع از توزیع استفاده شود، یاد می‌شود. از منظر تئوری اطلاعات، این مسئله انتروپی نسبی از توزیع با توجه به توزیع نامیده می‌شود. کدگذاری در حوزه نظریه کدگذاری، می‌تواند به عنوان معیاری برای اندازه‌گیری متوسط تعداد بیت‌های اضافی مورد نیاز به منظور کد کردن نمونه‌ای از توزیع با استفاده از یک کد بهینه‌سازی شده برای توزیع ، به جای استفاده از کد بهینه‌سازی شده برای می‌باشد. استنتاج بیزی از منظر استنتاج بیزی ، یک معیار اندازه‌گیری اطلاعات کسب شده هنگامی که یک اصلاح باورهای از توزیع پیشین احتمال به توزیع پسین احتمال رخ دهد. به عبارت دیگر، مقداری از اطلاع است که به واسطه تقریب زدن در هنگامی که از برای آن استفاده می‌شود، می‌باشد.Burnham K.P. (2nd edition), p.51 در عمل، به‌طور معمول نشان دهنده توزیع «صحیح» داده‌ها، مشاهدات یا یک توزیع تئوری است که دقیق محاسبه شده است؛ در حالی که به‌طور معمول نشان دهنده یک نظریه، مدل، توصیف یا تقریبی از می‌باشد. به منظور پیدا کردن یک توزیع که نزدیکترین توزیع به باشد، می‌توان به دنبال محاسبه توزیعی گشت که معیار واگرایی را کمینه می‌کند. هندسه اطلاعات در کاربردها، معمولا توزیع صحیح داده‌ها را نشان می‌دهد و یک فرضیه،‌ مدل یا تخمینی از را نشان می‌دهد. | ## بخش 2: واگرایی کولبک-لیبلر | برای اینکه بهترین تخمین توزیع از توزیع را بدست بیاوریم می‌توانیم واگرایی کولبک-لیبلر این دو توزیع را کمینه کنیم و سپس پرجکشن اطلاعات را بدست بیاوریم. انتروپی نسبی یک حالت خاص از یک کلاس گسترده‌تر از واگرایی‌های آماری به نام واگرایی f و همچنین کلاس واگرایی‌های برگمن است، و این تنها واگرایی روی توزیع‌های احتمالاتی است که در هر دو کلاس قرار می‌گیرد. برای مثال یک شخص که در مسابقه اسب‌سواری که جمع شانس‌های رسمی برد یک است سرمایه‌گذاری می‌کند. نرخ سود مورد انتظار این سرمایه‌گذار برابر است با انتروپی نسبی احتمالاتی که وی براساس آنها سرمایه‌گذاری می‌کند و مقادیر رسمی شانس برد. تعریف برای توزیعهای احتمالاتی گسسته و معیار واگرایی کولبک-لیبلر واگرایی از به ، به صورت زیر تعریف می‌شود به عبارت دیگر، امید تفاوت لگاریتمی بین احتمالات و در جایی که امید با استفاده از توزیع به دست آمده باشد، می‌باشد. برای توزیعهای و از یک متغیر تصادفی پیوسته، معیار واگرایی کولبک-لیبلر به صورت انتگرال زیر تعریف می‌شود:Bishop C. به‌طور کلی، اگر و احتمال‌هایی تعریف شده بر روی یک مجموعه X باشند و اکیداً پیوسته نسبت به باشد، آنگاه معیار واگرایی کولبک-لیبلر از به به صورت زیر تعریف می‌گردد: در این تعریف، مشتق Radon–Nikodym از نسبت به می‌باشد و می‌تواند به صورت زیر بازنویسی شود: که ما آن را به عنوان آنتروپی نسبی نسبت به می‌شناسیم. در ادامه در این مورد، اگر هر اندازه‌گیری بر روی باشد که در آن و برقرار باشد (به این معنی که و اکیداً نسبت به ) آنگاه معیار واگرایی کولبک-لیبلر از به ، به صورت زیر می‌باشد در صورتی که اطلاعات با واحد بیت اندازه‌گیری شده باشد لگاریتمها در مبنای می‌باشند و در صورتی که از واحد nats برای سنجش اطلاعات استفاده شده باشد، پایه لگاریتم‌ها خواهد بود. اغلب از آن به عنوان اختلاف بین توزیع‌های و یاد می‌شود;در حالی که این توصیف با خاصیت نامتقارن بودن فرمول (یعنی واگرایی توزیع از با میزان واگرایی توزیع از لزوماً برابر نیست) در تعارض است. از این رو برخی مواقع، همان‌طور که در این مقاله هم از آن یاد شد، از آن به عنوان واگرایی توزیع از یا نسبت به توزیع یاد می‌کنند. و نتیجتاً، اطلاعات متقابل نیز تنها معیار وابستگی متقابل میان متغیرهای تصادفی است که یکسری شرایط خاص را دارا می‌باشد، چرا که آن می‌تواند از منظر معیار واگرایی مورد نظر نیز تعریف گردد. | ## بخش 3: واگرایی کولبک-لیبلر | در این‌جا به برخی از خصوصیات معیار واگرایی کولبک-لیبلر اشاره می‌کنیم: انتروپی نسبی همیشه نامنفی است،‌ در نتیجه که به عنوان نامساوی گیبز شناخته می‌شود. از آنجایی که لوگاریتم یک تابع محدب است داریم:نامساوی اول از ینسن نتیجه می‌شود و نامساوی دوم از تابع احتمالاتی بودن . همچنین از آنجایی که لوگاریتم اکیدا محدب است،‌ بنابر نابرابری ینسن تساوی زمانی رخ می‌دهد کهو . با این حال، نشان داده شده است که اگر و دو توزیع احتمال گسسته باشند که با توزیع یک مقدار گسسته ساخته شده‌اند، آن‌گاه حداکثر مقدار به‌دست می‌آید. اگر توزیع‌های مستقلی باشند و و به‌طور مشابه برای توزیع‌های مستقل آنگاه انتروپی نسبی برای جفت توزیع‌های احتمالی محدب است. یعنی اگر و دو جفت تابع احتمال باشند آنگاه انگیزه در تئوری اطلاعات، قضیه Kraft–McMillan بیان می‌کند که هر شمای کدگذاری قابل دیکد کردنی برای کد کردن یک پیام به‌طوریکه بتوان مقدار xi را از مجموعه تمامی مقادیر ممکن به صورت مستقیم کدگشایی کند نیاز تا احتمال نمایش هر مقدار را به صورت توزیع احتمال در نظر گرفته شود که در آن li، طول کد برای xi در واحد بیت می‌باشد. بنابراین، معیار واگرایی کولبک لیبلر را می‌توان به عنوان امید مقدار طول پیام اضافی به ازای هر داده دانست که در صورتی که اگر از یک کد که برای توزیع بهینه است (توزیع ناصحیح) برای انتقال آن استفاده گردد، باید به صورت اضافی (نسبت به حالتی که از یک کد بهینه برای توزیع صحیح استفاده شود) مخابره گردد. رابطه با سایر کمیت‌ها در نظریه اطلاعات بسیاری از کمیت‌های دیگر نظریه اطلاعات را می‌توان به عنوان کاربردهای انتروپی نسبی در موارد خاص تفسیر کرد. اطلاعات متقابل اطلاعات متقابل با تعریفانتروپی نسبی ضرب دو احتمال حاشیه‌ای توزیع توأم است. | ## جمع‌بندی | به عبارت دیگر تعداد بیت های اضافی مورد انتظار که باید برای شناسایی و ارسال شوند، اگر به جای توزیع توأم تنها با استفاده از توزیع حاشیه‌ایشان کدگذاری شده باشند.