דיברגנץ קולבק-לייבלר

בסטטיסטיקה מתמטית ובתורת האינפורמציה דיברגנץ קולבק-לייבלר (KL) (נקרא גם אנטרופיה יחסית), מסומן D KL ( P ∥ Q ) {\displaystyle D_{\text{KL}}(P\parallel Q)} , הוא סוג של מרחק סטטיסטי בין התפלגויות: מדד לאופן שבו התפלגות הסתברות אחת P שונה מהתפלגות הסתברות שנייה Q. מתמטית D KL ( P ∥ Q ) = ∑ x ∈ X P ( x )   log ⁡ (   P ( x )   Q ( x ) ) {\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{x\in {\mathcal {X}}}P(x)\ \log \left({\frac {\ P(x)\ }{Q(x)}}\right)} . ניתן לפרש את דיברגנץ קולבק-לייבלר של P מ- Q כהפתעה הצפויה משימוש בהתפלגות Q במקום ב P כאשר ההתפלגות בפועל היא P. למרות שמדובר במדד לשונות של שתי ההתפלגויות, ובמובן מסוים הוא לפיכך "מרחק", דיברגנץ קולבק-לייבלר אינו מטרי. בפרט, הוא אינו סימטרי בשתי ההתפלגויות, ואינו מקיים את אי השוויון המשולש. הערך של דיברגנץ קולבק-לייבלר הוא תמיד מספר ממשי אי-שלילי, עם ערך 0 אם ורק אם שתי ההתפלגויות המדוברות זהות. יש לו יישומים מגוונים, הן תאורטיים כגון אפיון מערכות מידע, אקראיות של סדרות זמן רציפות ורווח מידע(אנ') בעת השוואת מודלים סטטיסטיים של הסקת מסקנות, והן מעשיים, כגון סטטיסטיקה יישומית, מכניקת נוזלים, מדעי המוח, ביואינפורמטיקה ולמידת מכונה. עבור התפלגויות הסתברות בדידות P ו- Q המוגדרות על אותו מרחב מדגם   X   , {\displaystyle \ {\mathcal {X}}\ ,} , דיברגנץ קולבק-לייבלר מ- Q ל- P מוגדר כ D KL ( P ∥ Q ) = ∑ x ∈ X P ( x )   log ⁡ (   P ( x )   Q ( x ) ) {\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{x\in {\mathcal {X}}}P(x)\ \log \left({\frac {\ P(x)\ }{Q(x)}}\right)} , או לחלופין D KL ( P ∥ Q ) = − ∑ x ∈ X P ( x )   log ⁡ (   Q ( x )   P ( x ) ) {\displaystyle D_{\text{KL}}(P\parallel Q)=-\sum _{x\in {\mathcal {X}}}P(x)\ \log \left({\frac {\ Q(x)\ }{P(x)}}\right)} . במילים אחרות, זוהי התוחלת של הפרש הלוגריתמים בין ההסתברויות P ו- Q, כאשר התוחלת נלקחת באמצעות ההסתברויות P. דיברגנץ קולבק-לייבלר מוגדר בדרך זו רק אם לכל x ∈ X {\displaystyle x\in {\mathcal {X}}} ,   Q ( x ) = 0   {\displaystyle \ Q(x)=0\ } גורר   P ( x ) = 0   {\displaystyle \ P(x)=0\ } . אחרת, הוא מוגדר כ + ∞ {\displaystyle +\infty } . אבל דיברגנץ קולבק-לייבלר יכול לקבל את הערך + ∞   {\displaystyle +\infty \ } גם אם   Q ( x ) ≠ 0   {\displaystyle \ Q(x)\neq 0\ } בכל התומך של Q {\displaystyle Q} , בתנאי ש   X   {\displaystyle \ {\mathcal {X}}\ } אינסופי. הערות דומות חלות גם על התפלגויות רציפות. בְּכָל נקודה שבה   P ( x )   {\displaystyle \ P(x)\ } הוא אפס, התרומה של האיבר המתאים בסכום מתאפסת מכיוון ש lim x → 0 + x log ⁡ ( x ) = 0 {\displaystyle \lim _{x\to 0^{+}}x\log(x)=0} . עבור התפלגויות P ו- Q של משתנה אקראי רציף, דיברגנץ קולבק-לייבלר מוגדר כאינטגרל D KL ( P ∥ Q ) = ∫ − ∞ ∞ p ( x )   log ⁡ ( p ( x ) q ( x ) )   d   x {\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{-\infty }^{\infty }p(x)\ \log \left({\frac {p(x)}{q(x)}}\right)\ \mathrm {d} \ \!x} כאשר p ו- q מציינים את צפיפות ההסתברות של P ו- Q. קולבק נותן את הדוגמה הבאה: יהיו P ו- Q ההתפלגויות המוצגות בטבלה ובאיור להלן. P, ההתפלגות בצד שמאל של האיור, היא התפלגות בינומית עם N = 2 {\displaystyle N=2} ו p = 0.4 {\displaystyle p=0.4} . Q ההתפלגות בצד ימין של האיור, היא התפלגות אחידה בדידה עם שלוש התוצאות האפשריות, 0, 1, 2 (כלומר X = { 0 , 1 , 2 } {\displaystyle {\mathcal {X}}=\{0,1,2\}} ), כל אחת בהסתברות 1 / 3 {\displaystyle 1/3} . D KL ( P ∥ Q ) = ∑ x ∈ X P ( x ) ln ⁡ ( P ( x ) Q ( x ) ) = 9 25 ln ⁡ ( 9 / 25 1 / 3 ) + 12 25 ln ⁡ ( 12 / 25 1 / 3 ) + 4 25 ln ⁡ ( 4 / 25 1 / 3 ) = 1 25 ( 32 ln ⁡ ( 2 ) + 55 ln ⁡ ( 3 ) − 50 ln ⁡ ( 5 ) ) ≈ 0.0852996 {\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\sum _{x\in {\mathcal {X}}}P(x)\ln \left({\frac {P(x)}{Q(x)}}\right)\\&={\frac {9}{25}}\ln \left({\frac {9/25}{1/3}}\right)+{\frac {12}{25}}\ln \left({\frac {12/25}{1/3}}\right)+{\frac {4}{25}}\ln \left({\frac {4/25}{1/3}}\right)\\&={\frac {1}{25}}\left(32\ln(2)+55\ln(3)-50\ln(5)\right)\approx 0.0852996\end{aligned}}} D KL ( Q ∥ P ) = ∑ x ∈ X Q ( x ) ln ⁡ ( Q ( x ) P ( x ) ) = 1 3 ln ⁡ ( 1 / 3 9 / 25 ) + 1 3 ln ⁡ ( 1 / 3 12 / 25 ) + 1 3 ln ⁡ ( 1 / 3 4 / 25 ) = 1 3 ( − 4 ln ⁡ ( 2 ) − 6 ln ⁡ ( 3 ) + 6 ln ⁡ ( 5 ) ) ≈ 0.097455 {\displaystyle {\begin{aligned}D_{\text{KL}}(Q\parallel P)&=\sum _{x\in {\mathcal {X}}}Q(x)\ln \left({\frac {Q(x)}{P(x)}}\right)\\&={\frac {1}{3}}\ln \left({\frac {1/3}{9/25}}\right)+{\frac {1}{3}}\ln \left({\frac {1/3}{12/25}}\right)+{\frac {1}{3}}\ln \left({\frac {1/3}{4/25}}\right)\\&={\frac {1}{3}}\left(-4\ln(2)-6\ln(3)+6\ln(5)\right)\approx 0.097455\end{aligned}}} הערך של דיברגנץ קולבק-לייבלר הוא אי-שלילית. D KL ( P ∥ Q ) ≥ 0 , {\displaystyle D_{\text{KL}}(P\parallel Q)\geq 0,} תוצאה המכונה גם אי-שוויון גיבס. D KL ( P ∥ Q ) = 0 {\displaystyle D_{\text{KL}}(P\parallel Q)=0} אם ורק אם P = Q {\displaystyle P=Q} כהתפלגויות. חסם תחתון מדויק יותר לערך של דיברגנץ קולבק-לייבלר D KL ( P ∥ Q ) ≥ 1 2 ( ∑ x ∈ X | P ( x ) − Q ( x ) |   ) 2 {\displaystyle D_{\text{KL}}(P\parallel Q)\geq {\frac {1}{2}}\left(\sum _{x\in {\mathcal {X}}}|P(x)-Q(x)|\ \right)^{2}} במקרה הכללי אין חסם עליון לערך של דיברגנץ קולבק-לייבלר. דיברגנץ קולבק-לייבלר נשאר מוגדר היטב עבור התפלגויות רציפות, ובנוסף הוא אינו משתנה תחת טרנספורמציות פרמטרים. לדוגמה, אם מתבצעת טרנספורמציה ממשתנה x {\displaystyle x} למשתנה y ( x ) {\displaystyle y(x)} אזי p ( x ) d x = p ~ ( y ) d y = p ~ ( y ( x ) ) | d y d x ( x ) | d x {\displaystyle p(x)\,dx={\tilde {p}}(y)\,dy={\tilde {p}}(y(x))|{\tfrac {dy}{dx}}(x)|\,dx} ובאותו אופן q ( x ) d x = q ~ ( y ) d y = q ~ ( y ) | d y d x ( x ) | d x {\displaystyle q(x)\,dx={\tilde {q}}(y)\,dy={\tilde {q}}(y)|{\tfrac {dy}{dx}}(x)|dx} כאשר | d y d x ( x ) | {\displaystyle |{\tfrac {dy}{dx}}(x)|} האו הערך המוחלט של הנגזרת, או באופן כללי יותר היעקוביאן. ניתן לכתוב את דיברגנץ קולבק-לייבלק: D KL ( P ∥ Q ) = ∫ x a x b p ( x ) log ⁡ ( p ( x ) q ( x ) ) d x = ∫ x a x b p ~ ( y ( x ) ) | d y d x ( x ) | log ⁡ ( p ~ ( y ( x ) ) | d y d x ( x ) | q ~ ( y ( x ) ) | d y d x ( x ) | ) d x = ∫ y a y b p ~ ( y ) log ⁡ ( p ~ ( y ) q ~ ( y ) ) d y {\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\int _{x_{a}}^{x_{b}}p(x)\log \left({\frac {p(x)}{q(x)}}\right)\,dx\\[6pt]&=\int _{x_{a}}^{x_{b}}{\tilde {p}}(y(x))|{\frac {dy}{dx}}(x)|\log \left({\frac {{\tilde {p}}(y(x))\,|{\frac {dy}{dx}}(x)|}{{\tilde {q}}(y(x))\,|{\frac {dy}{dx}}(x)|}}\right)\,dx\\&=\int _{y_{a}}^{y_{b}}{\tilde {p}}(y)\log \left({\frac {{\tilde {p}}(y)}{{\tilde {q}}(y)}}\right)\,dy\end{aligned}}} דיברגנץ קולבק-לייבלר הוא אדיטיבי להתפלגויות בלתי תלויות, בדיוק כמו האנטרופיה של שאנון. כלומר אם P 1 {\displaystyle P_{1}} ו P 2 {\displaystyle P_{2}} בלתי תלויות, ונסמן P ( x , y ) = P 1 ( x ) P 2 ( y ) {\displaystyle P(x,y)=P_{1}(x)P_{2}(y)} ובאותו אופן Q ( x , y ) = Q 1 ( x ) Q 2 ( y ) {\displaystyle Q(x,y)=Q_{1}(x)Q_{2}(y)} עבור ההתפלגויות הבלתי תלויות Q 1 {\displaystyle Q_{1}} ו Q 2 {\displaystyle Q_{2}} אזי D KL ( P ∥ Q ) = D KL ( P 1 ∥ Q 1 ) + D KL ( P 2 ∥ Q 2 ) {\displaystyle D_{\text{KL}}(P\parallel Q)=D_{\text{KL}}(P_{1}\parallel Q_{1})+D_{\text{KL}}(P_{2}\parallel Q_{2})} ניתן לפתח את D KL ( P ∥ Q ) {\displaystyle D_{\text{KL}}(P\parallel Q)} (i.e. P = Q {\displaystyle P=Q} ) כטור טיילור סביב נקודת המינימום (כלומר P = Q {\displaystyle P=Q} ) D KL ( P ∥ Q ) = ∑ n = 2 ∞ 1 n ( n − 1 ) ∑ x ∈ X ( Q ( x ) − P ( x ) ) n Q ( x ) n − 1 {\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}{\frac {(Q(x)-P(x))^{n}}{Q(x)^{n-1}}}} נניח שתי התפלגות רב-נורמלית עם תוחלות μ 0 , μ 1 {\displaystyle \mu _{0},\mu _{1}} ועם מטריצות קווריאנס (לא סינגולריות) Σ 0 , Σ 1 {\displaystyle \Sigma _{0},\Sigma _{1}} . אם לשתי ההתפלגויות יש אותו ממד, k, אז דיברגנץ קולבק-לייבלר בין ההתפלגויות הוא: D KL ( N 0 ∥ N 1 ) = 1 2 ( tr ⁡ ( Σ 1 − 1 Σ 0 ) − k + ( μ 1 − μ 0 ) T Σ 1 − 1 ( μ 1 − μ 0 ) + ln ⁡ ( det Σ 1 det Σ 0 ) ) . {\displaystyle D_{\text{KL}}\left({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1}\right)={\frac {1}{2}}\left(\operatorname {tr} \left(\Sigma _{1}^{-1}\Sigma _{0}\right)-k+\left(\mu _{1}-\mu _{0}\right)^{\mathsf {T}}\Sigma _{1}^{-1}\left(\mu _{1}-\mu _{0}\right)+\ln \left({\frac {\det \Sigma _{1}}{\det \Sigma _{0}}}\right)\right).} באיבר האחרון יש להשתמש בלוגריתם בבסיס הטבעי מכיוון שכל האיברים מלבד האחרון הם לוגריתמים טבעיים של ביטויים שהם גורמים של פונקציית הצפיפות או שנוצרים באופן טבעי בדרך אחרת. כדי כדי שהדיברגנץ יבטא יחידות של סיביות יש לחלק את הביטוי לעיל ב ln ⁡ ( 2 ) {\displaystyle \ln(2)} . במימוש נומרי, רצוי לבטא את התוצאה במונחים של פירוק שולסקי L 0 , L 1 {\displaystyle L_{0},L_{1}} כך ש Σ 0 = L 0 L 0 T {\displaystyle \Sigma _{0}=L_{0}L_{0}^{T}} ו Σ 1 = L 1 L 1 T {\displaystyle \Sigma _{1}=L_{1}L_{1}^{T}} . ואז עם פתרונות M ו- y למערכות הליניאריות המשולשות L 1 M = L 0 {\displaystyle L_{1}M=L_{0}} , ו L 1 y = μ 1 − μ 0 {\displaystyle L_{1}y=\mu _{1}-\mu _{0}} נקבל D KL ( N 0 ∥ N 1 ) = 1 2 ( ∑ i , j = 1 k ( M i j ) 2 − k + | y | 2 + 2 ∑ i = 1 k ln ⁡ ( L 1 ) i i ( L 0 ) i i ) . {\displaystyle D_{\text{KL}}\left({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1}\right)={\frac {1}{2}}\left(\sum _{i,j=1}^{k}(M_{ij})^{2}-k+|y|^{2}+2\sum _{i=1}^{k}\ln {\frac {(L_{1})_{ii}}{(L_{0})_{ii}}}\right).} אאאאא אנטרופיה משותפת ודיברכנץ קולבק-לייבלר אאאאא מקרה מיוחד, וכמות נפוצה בהסקת וריאציה, היא האנטרופיה היחסית בין נורמה רב משתנים אלכסונית, לבין התפלגות נורמלית סטנדרטית (עם ממוצע אפס ושונות אחת): D KL ( N ( ( μ 1 , … , μ k ) T , diag ⁡ ( σ 1 2 , … , σ k 2 ) ) ∥ N ( 0 , I ) ) = 1 2 ∑ i = 1 k ( σ i 2 + μ i 2 − 1 − ln ⁡ ( σ i 2 ) ) . {\displaystyle D_{\text{KL}}\left({\mathcal {N}}\left(\left(\mu _{1},\ldots ,\mu _{k}\right)^{\mathsf {T}},\operatorname {diag} \left(\sigma _{1}^{2},\ldots ,\sigma _{k}^{2}\right)\right)\parallel {\mathcal {N}}\left(\mathbf {0} ,\mathbf {I} \right)\right)={1 \over 2}\sum _{i=1}^{k}\left(\sigma _{i}^{2}+\mu _{i}^{2}-1-\ln \left(\sigma _{i}^{2}\right)\right).} עבור שתי התפלגות נורמלית במשתנה אחד, p ו- q האמור לעיל מפשט ל- D KL ( p ∥ q ) = log ⁡ σ 1 σ 0 + σ 0 2 + ( μ 0 − μ 1 ) 2 2 σ 1 2 − 1 2 {\displaystyle D_{\text{KL}}\left({\mathcal {p}}\parallel {\mathcal {q}}\right)=\log {\frac {\sigma _{1}}{\sigma _{0}}}+{\frac {\sigma _{0}^{2}+(\mu _{0}-\mu _{1})^{2}}{2\sigma _{1}^{2}}}-{\frac {1}{2}}} במקרה של התפלגויות נורמליות עם אותה תוחלת, נסמן k = σ 1 / σ 0 {\displaystyle k=\sigma _{1}/\sigma _{0}} , וניתן לפשט את הביטוי לעיל: D KL ( p ∥ q ) = log 2 ⁡ k + ( k − 2 − 1 ) / 2 / ln ⁡ ( 2 ) b i t s {\displaystyle D_{\text{KL}}\left({\mathcal {p}}\parallel {\mathcal {q}}\right)=\log _{2}k+(k^{-2}-1)/2/\ln(2)\mathrm {bits} } תהיינה שתי התפלגויות אחידות, עם תומך סגור p = [ A , B ] {\displaystyle p=[A,B]} המוכל בתומך q = [ C , D ] {\displaystyle q=[C,D]} ( C ≤ A < B ≤ D {\displaystyle C\leq A<B\leq D} ). אזי: D KL ( p ∥ q ) = log ⁡ D − C B − A {\displaystyle D_{\text{KL}}\left({\mathcal {p}}\parallel {\mathcal {q}}\right)=\log {\frac {D-C}{B-A}}} גדלים אחרים בתורת האינפורמציה קשורים לדיברגנץ קולבק-לייבלר ערך מורחב – אינפורמציה הדדית ניתן לבטא את האינפורמציה הדדית במונחי דיברגנץ קולבק-לייבלר I ⁡ ( X ; Y ) = D KL ( P ( X , Y ) ∥ P ( X ) P ( Y ) ) = E X ⁡ { D KL ( P ( Y ∣ X ) ∥ P ( Y ) ) } = E Y ⁡ { D KL ( P ( X ∣ Y ) ∥ P ( X ) ) } {\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&=D_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))\\[5pt]&=\operatorname {E} _{X}\{D_{\text{KL}}(P(Y\mid X)\parallel P(Y))\}\\[5pt]&=\operatorname {E} _{Y}\{D_{\text{KL}}(P(X\mid Y)\parallel P(X))\}\end{aligned}}} האינפורמציה ההדדית היא המספר הצפוי של סיביות נוספות שיש להעביר לזיהוי X ו- Y אם הם מקודדים רק באמצעות ההתפלגות השולית שלהם במקום ההתפלגות המשותפת. באותו אופן, אם ההסתברות המשותפת P ( X , Y ) {\displaystyle P(X,Y)} ידועה, זהו תוחלת מספר הסיביות הנוספות שיש לשלוח בממוצע כדי לזהות את Y אם הערך של X אינו ידוע. ערך מורחב – אנטרופיה (סטטיסטיקה) אם בוחרים עבור Q {\displaystyle Q} בהתפלגות בדידה של N איברים ( N = | X | {\displaystyle N=|{\mathcal {X}}|} ) ניתן לכתוב את האנטרופיה של P H ( X ) = log ⁡ ( N ) − D KL ( p X ( x ) ∥ P U ( X ) ) {\displaystyle \mathrm {H} (X)=\log(N)-D_{\text{KL}}\left(p_{X}(x)\parallel P_{U}(X)\right)} זהו מספר הסיביות שיהיה צורך לשדר כדי לזהות את X מתוך N אפשרויות סבירות באותה מידה, בהפחתת האנטרופיה היחסית של ההתפלגות האחידה על המשתנים המקריים של X, P U ( X ) {\displaystyle P_{U}(X)} , מההתפלגות האמיתית P ( X ) {\displaystyle P(X)} - כלומר פחות המספר הצפוי של סיביות שנשמרו, שהיה צריך להישלח אם הערך של X היה מקודד לפי ההתפלגות האחידה P U ( X ) {\displaystyle P_{U}(X)} ולא את ההתפלגות האמיתית P ( X ) {\displaystyle P(X)} . הגדרה זו של אנטרופיה שאנון מהווה את הבסיס להכללה האלטרנטיבית של אדווין תומפסון ג'יינס להתפלגות רציפות, הצפיפות המגבילה של נקודות בדידות (בניגוד לאנטרופיה הדיפרנציאלית הרגילה), המגדירה את האנטרופיה הרציפה lim N → ∞ H N ( X ) = log ⁡ ( N ) − ∫ p ( x ) log ⁡ p ( x ) m ( x ) d x , {\displaystyle \lim _{N\rightarrow \infty }H_{N}(X)=\log(N)-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx,} שהוא שווה ערך ל: log ⁡ ( N ) − D KL ( p ( x ) | | m ( x ) ) {\displaystyle \log(N)-D_{\text{KL}}(p(x)||m(x))} ערך מורחב – אנטרופיה מותנית ניתן לנסח את האנטרופיה המותנית באמצעות דיברגנץ קולבק-לייבלר H ( X ∣ Y ) = log ⁡ ( N ) − D KL ( P ( X , Y ) ∥ P U ( X ) P ( Y ) ) = log ⁡ ( N ) − D KL ( P ( X , Y ) ∥ P ( X ) P ( Y ) ) − D KL ( P ( X ) ∥ P U ( X ) ) = H ( X ) − I ⁡ ( X ; Y ) = log ⁡ ( N ) − E Y ⁡ [ D KL ( P ( X ∣ Y ) ∥ P U ( X ) ) ] {\displaystyle {\begin{aligned}\mathrm {H} (X\mid Y)&=\log(N)-D_{\text{KL}}(P(X,Y)\parallel P_{U}(X)P(Y))\\[5pt]&=\log(N)-D_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))-D_{\text{KL}}(P(X)\parallel P_{U}(X))\\[5pt]&=\mathrm {H} (X)-\operatorname {I} (X;Y)\\[5pt]&=\log(N)-\operatorname {E} _{Y}\left[D_{\text{KL}}\left(P\left(X\mid Y\right)\parallel P_{U}(X)\right)\right]\end{aligned}}} זהו מספר הסיביות שיש להעביר כדי לזהות את X מתוך N אפשרויות סבירות באותה מידה, בהפחתת האנטרופיה היחסית של התפלגות המכפלה P U ( X ) P ( Y ) {\displaystyle P_{U}(X)P(Y)} מההתפלגות המשותפת האמיתית P ( X , Y ) {\displaystyle P(X,Y)} - כלומר פחות המספר הצפוי של ביטים שנשמרו שהיה צריך להישלח אם הערך של X היה מקודד לפי ההתפלגות האחידה P U ( X ) {\displaystyle P_{U}(X)} במקום ההתפלגות המותנית P ( X | Y ) {\displaystyle P(X|Y)} של X בהינתן Y. דיברגנץ קולבק-לייבלר, באתר MathWorld (באנגלית) Csiszar, I (בפברואר 1975). "I-Divergence Geometry of Probability Distributions and Minimization Problems". Ann. Probab. 3 (1): 146–158. doi:10.1214/aop/1176996454. {{cite journal}}: (עזרה) Kullback, S.; Leibler, R.A. (1951). "On information and sufficiency". Annals of Mathematical Statistics. 22 (1): 79–86. doi:10.1214/aoms/1177729694. JSTOR 2236703. MR 0039968. Kullback 1959. Amari 2016, p. 28. MacKay, David J.C. (2003). Information Theory, Inference, and Learning Algorithms (1st ed.). Cambridge University Press. p. 34. ISBN 9780521642989 – via Google Books. "What's the maximum value of Kullback-Leibler (KL) divergence?". Statistics Stack Exchange (stats.stackexchange.com). Cross validated. "In what situations is the integral equal to infinity?". Mathematics Stack Exchange (math.stackexchange.com). Bishop, Christopher M. Pattern recognition and machine learning. p. 55. OCLC 1334664824. PANTELIMON G. POPESCU, SEVER S. DRAGOMIR, EMIL I. SLUS¸ANSCHI, OCTAVIAN N. STAN˘ AS¸IL ˘ A, BOUNDS FOR KULLBACK-LEIBLER DIVERGENCE, Electronic Journal of Differential Equations 2016, 2016, עמ' 6–1 Duchi J. "Derivations for Linear Algebra and Optimization" (PDF). p. 13. Belov, Dmitry I.; Armstrong, Ronald D. (2011-04-15). "Distributions of the Kullback-Leibler divergence with applications". British Journal of Mathematical and Statistical Psychology. 64 (2): 291–309. doi:10.1348/000711010x522227. ISSN 0007-1102. PMID 21492134. Buchner, Johannes (2022-04-29). An intuition for physicists: information gain from experiments. OCLC 1363563215.