واگرایی کولبک-لیبلر

در آمار ریاضی از **واگرایی کولبک-لیبلر**  یا **انتروپی نسبی** به عنوان معیاری برای اندازه‌گیری واگرایی یک توزیع احتمال از یک توزیع احتمال ثانویه، یاد می‌شود. از جمله کاربردهای این مفهوم شامل توصیف انتروپی نسبی (shannon) در سیستم‌های اطلاعاتی، میزان تصادفی‌بودن در سری‌های زمانی پیوسته و بهره اطلاعاتی در زمانی که به مقایسه با مدلهای آماری استنباطی می‌پردازیم، می‌باشد. برخلاف تنوع اطلاعات، این معیار، یک معیار *نامتقارن* می‌باشد و در نتیجه نمی‌توان آن را به عنوان یک *معیار* پراکندگی معرفی کرد. به عبارت دیگر، مقدار 0 برای واگرایی کولبک-لیبلر نشان می‌دهد که ما می‌توانیم انتظار رفتار مشابهی (نه دقیقاً یکسان) از دو توزیع داشته باشیم در حالی که مقدار 1 برای این معیار نشان می‌دهد که دو توزیع رفتارهای متضادی دارند.

## ریشه‌شناسی
عبارت *واگرایی کولبک-لیبلر* در اصل توسط Solomon Kullback و Richard Leibler در سال ۱۹۵۱ به عنوان *واگرایی* جهت‌دار بین دو توزیع معرفی گردید؛ هرچند که Kullback خودش نام *تمییز اطلاعات* را بیشتر ترجیح می‌داد. در Kullback's historic text, Information Theory and Statistics، این معیار مورد بحث قرار گرفته است.

## تفسیر
واگرایی کولبک-لیبلر توزیع Q نسبت به P اغلب به صورت D_{KL}(P || Q) نوشته می‌شود.

### یادگیری ماشین
در حوزه یادگیری ماشین از D_{KL}(P || Q) عموماً به نام بهره اطلاعاتی حاصل به شرطی که به جای توزیع P از توزیع Q استفاده شود، یاد می‌شود. از منظر تئوری اطلاعات، این مسئله انتروپی نسبی از توزیع *<math>P</math>* با توجه به توزیع Q نامیده می‌شود.

### کدگذاری
در حوزه نظریه کدگذاری، D_{KL}(P || Q) می‌تواند به عنوان معیاری برای اندازه‌گیری متوسط تعداد بیت‌های اضافی مورد نیاز به منظور کد کردن نمونه‌ای از توزیع *<math>P</math>* با استفاده از یک کد بهینه‌سازی شده برای توزیع *<math>Q</math>*، به جای استفاده از کد بهینه‌سازی شده برای *<math>P</math>* می‌باشد.

### استنتاج بیزی
از منظر استنتاج بیزی D_{KL}(P || Q)، یک معیار اندازه‌گیری اطلاعات کسب شده هنگامی که یک اصلاح باورهای از توزیع پیشین احتمال *<math>Q</math>* به توزیع پسین احتمال *<math>P</math>* رخ دهد. به عبارت دیگر، مقداری از اطلاع است که به واسطه تقریب زدن P در هنگامی که از *<math>Q</math>* برای آن استفاده می‌شود، می‌باشد. در عمل، *<math>P</math>* به‌طور معمول نشان دهنده توزیع «صحیح» داده‌ها، مشاهدات یا یک توزیع تئوری است که دقیق محاسبه شده است؛ در حالی که *<math>Q</math>* به‌طور معمول نشان دهنده یک نظریه، مدل، توصیف یا تقریبی از *<math>P</math>* می‌باشد. به منظور پیدا کردن یک توزیع *<math>Q</math>* که نزدیکترین توزیع به *<math>P</math>* باشد، می‌توان به دنبال محاسبه توزیعی گشت که معیار واگرایی KL را کمینه می‌کند.

### هندسه اطلاعات
در کاربردها، P معمولا توزیع صحیح داده‌ها را نشان می‌دهد و Q یک فرضیه،‌ مدل یا تخمینی از P را نشان می‌دهد. برای اینکه بهترین تخمین توزیع Q از توزیع P را بدست بیاوریم می‌توانیم واگرایی کولبک-لیبلر این دو توزیع را کمینه کنیم و سپس پرجکشن اطلاعات را بدست بیاوریم.

با اینکه انتروپی نسبی یک فاصله آماری به شمار می‌رود اما یک متریک نیست.  بلکه یک معیار واگرایی است. چرا که این معیار متقارن نیست، یعنی D_{\mathrm{KL}}(P\|Q) \neq D_{\mathrm{KL}}(Q\|P) و همچنین نامساوی مثلث در مورد آن صادق نیست. واگرایی برخلاف متریک که فاصله خطی را تعمیم می‌دهد،‌ تعمیمی از مربع فاصله است. فرم بی‌نهایت‌کوچک انتروپی نسبی و به‌طور خاص هسین آن، یک تنسور متریک می‌هد.

انتروپی نسبی یک حالت خاص از یک کلاس گسترده‌تر از واگرایی‌های آماری به نام واگرایی f و همچنین کلاس واگرایی‌های برگمن است، و این تنها واگرایی روی توزیع‌های احتمالاتی است که  در هر دو کلاس قرار می‌گیرد.

### اقتصاد
یک بازیکن را در یک بازی عادلانه با نتیجه متقابلا مجزا در نظر بگیرید. برای مثال یک شخص که در مسابقه اسب‌سواری که جمع شانس‌های رسمی برد یک است سرمایه‌گذاری می‌کند. نرخ سود مورد انتظار این سرمایه‌گذار برابر است با انتروپی نسبی احتمالاتی که وی براساس آنها سرمایه‌گذاری می‌کند و مقادیر رسمی شانس برد.

## تعریف
برای توزیعهای احتمالاتی گسسته P و *<math>Q</math>* معیار *واگرایی کولبک-لیبلر* واگرایی از *<math>Q</math>* به *<math>P</math>*، به صورت زیر تعریف می‌شود
:D_{\mathrm{KL}}(P\|Q) = \sum_i P(i) \, \log\frac{P(i)}{Q(i)}.
به عبارت دیگر، امید تفاوت لگاریتمی بین احتمالات *<math>P</math>* و *<math>Q</math>* در جایی که امید با استفاده از توزیع P به دست آمده باشد، می‌باشد. معیار واگرایی کولبک-لیبلر تنها در صورتی که Q(i) = 0 نتیجه دهد P(i) = 0 تعریف شده است. هر زمان که P(i) برابر صفر گردد سهم i*مین* جمله صفر تفسیر می‌شود و این بخاطر \lim_{x \to 0} x \log(x) = 0 می‌باشد. برای توزیعهای *<math>P</math>* و *<math>Q</math>* از یک متغیر تصادفی پیوسته، معیار واگرایی کولبک-لیبلر به صورت انتگرال زیر تعریف می‌شود:
: D_{\mathrm{KL}}(P\|Q) = \int_{-\infty}^\infty p(x) \, \log\frac{p(x)}{q(x)} \, {\rm d}x, \!
به‌طوریکه در آن *<math>p</math>* و *<math>q</math>* به معنی چگالی احتمال *<math>P</math>* و *<math>Q</math>* می‌باشد. به‌طور کلی، اگر *<math>P</math>* و *<math>Q</math>* احتمال‌هایی تعریف شده بر روی یک مجموعه *X* باشند و *<math>P</math>* اکیداً پیوسته نسبت به *<math>Q</math>* باشد، آنگاه معیار واگرایی کولبک-لیبلر از *<math>Q</math>* به *<math>P</math>* به صورت زیر تعریف می‌گردد:

: D_{\mathrm{KL}}(P\|Q) = \int_X \log\frac{{\rm d}P}{{\rm d}Q} \, {\rm d}P, \!
در این تعریف،\frac{{\rm d}P}(P\|Q) = \int_X \log\!\left(\frac{{\rm d}P}{{\rm d}Q}\right) \frac{{\rm d}P}{{\rm d}Q} \, {\rm d}Q,
که ما آن را به عنوان آنتروپی نسبی *<math>P</math>* نسبت به *<math>Q</math>* می‌شناسیم. در ادامه در این مورد، اگر \mu هر اندازه‌گیری بر روی  X باشد که در آن p = \frac{{\rm d}P}{{\rm d}\mu}  وq = \frac(P\|Q)
& = &-\sum_x p(x) \log q(x)& + & \sum_x p(x) \log p(x) \\[0.5em]
& =  & H(P,Q) & - & H(P)\, \!
\end{matrix}
در اینجا H(P,Q) آنتروپی مشترک توزیعهای *<math>P</math>* و Q می‌باشد و H(P) نیز آنتروپی توزیع P می‌باشد.

همچنین توجه داشته باشید که یک رابطه میان معیار واگرایی Kullback–Leibler و «تابع نرخ» در نظریه انحراف بزرگ وجود دارد.

## رابطه با سایر کمیت‌ها در نظریه اطلاعات
بسیاری از کمیت‌های دیگر نظریه اطلاعات را می‌توان به عنوان کاربردهای انتروپی نسبی در موارد خاص تفسیر کرد.

### اطلاعات متقابل
اطلاعات متقابل با تعریف\begin{align}
 \operatorname{I}(X; Y)
   &= D_\text{KL}(P(X, Y) \parallel P(X)P(Y)) \\[5pt]
   &= \operatorname{E}_X \{D_\text{KL}(P(Y \mid X) \parallel P(Y))\} \\[5pt]
   &= \operatorname{E}_Y \{D_\text{KL}(P(X \mid Y) \parallel P(X))\}
\end{align}انتروپی نسبی ضرب P(X)P(Y) دو احتمال حاشیه‌ای توزیع توأم P(X,Y) است. به عبارت دیگر تعداد بیت های اضافی مورد انتظار که باید برای شناسایی X و Y ارسال شوند، اگر به جای توزیع توأم تنها با استفاده از توزیع حاشیه‌ایشان کدگذاری شده باشند.

### انتروپی شنون
انتروپی شنون با تعریف برای توزیع با الفبای شمارا\begin{align}
 \Eta(X) &= \operatorname{E}\left[\operatorname{I}_X(x)\right]
        = \log(N) - D_\text{KL}\left(p_X(x) \parallel P_U(X)\right)
\end{align}و توزیع پیوسته\lim_{N \rightarrow \infty} H_{N}(X) = \log(N) - \int p(x)\log\frac{p(x)}{m(x)}dxبرابر است با\log(N) - D_\text{KL}(p(x)||m(x))

## جستارهای وابسته

* Akaike Information Criterion
* بیزی اطلاعات معیار
* Bregman واگرایی
* Cross-entropy
* انحراف معیار اطلاعات
* آنتروپی ارزش در معرض خطر
* آنتروپی قدرت نابرابری
* به دست آوردن اطلاعات در درخت‌های تصمیم‌گیری
* اطلاعات به دست آوردن نسبت
* اطلاعات تئوری و نظریه اندازه‌گیری
* جنسن–Shannon واگرایی
* کوانتومی آنتروپی نسبی
* جزایر Kullback و ریچارد Leibler

## منابع


رده:آنتروپی اطلاعات
رده:نظریه اطلاعات
رده:هندسه اطلاعات
رده:ترمودینامیک