אי-שוויון גיבס

בתורת האינפורמציה, אי-שוויון גיבס הוא טענה על האנטרופיה של התפלגות הסתברות בדידה. חסמים נוספים על האנטרופיה של התפלגויות הסתברות נובעים מאי-שוויון גיבס, כולל אי-שוויון פאנו. אי-השוויון הוצג לראשונה על ידי ג'יי ווילארד גיבס במאה ה-19. תהיינה P = { p 1 , … , p n } {\displaystyle P=\{p_{1},\ldots ,p_{n}\}} ו Q = { q 1 , … , q n } {\displaystyle Q=\{q_{1},\ldots ,q_{n}\}} התפלגויות הסתברות בדידות. אזי − ∑ i = 1 n p i log ⁡ p i ≤ − ∑ i = 1 n p i log ⁡ q i {\displaystyle -\sum _{i=1}^{n}p_{i}\log p_{i}\leq -\sum _{i=1}^{n}p_{i}\log q_{i}} השוויון בין האגפים מתקיים אם ורק אם p i = q i {\displaystyle p_{i}=q_{i}} לכל i = 1 , … n {\displaystyle i=1,\dots n} . במילים אחרות, האנטרופיה של התפלגות P {\displaystyle P} קטנה או שווה לאנטרופיה הצולבת(אנ') שלו עם כל התפלגות אחרת Q {\displaystyle Q} . ההפרש בין שני הגדלים הוא דיברגנץ קולבק-לייבלר (אנטרופיה היחסית), כך שניתן לכתוב את אי השוויון גם כ D K L ( P ‖ Q ) ≡ ∑ i = 1 n p i log ⁡ p i q i ≥ 0. {\displaystyle D_{\mathrm {KL} }(P\|Q)\equiv \sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}\geq 0.} למען פשטות הסימון, נשתמש בהוכחת הטענה בלוגריתם הטבעי, המסומן על ידי ln. נסמן ב I {\displaystyle I} את קבוצת כל ערכי i {\displaystyle i} שעבורם pi אינו אפס. מכיוון ש ln ⁡ x ≤ x − 1 {\displaystyle \ln x\leq x-1} עבור כל x > 0, עם שוויון אם ורק אם x=1, מקבלים − ∑ i ∈ I p i ln ⁡ q i p i ≥ − ∑ i ∈ I p i ( q i p i − 1 ) <= − ∑ i ∈ I q i + ∑ i ∈ I p i = − ∑ i ∈ I q i + 1 ≥ 0 {\displaystyle -\sum _{i\in I}p_{i}\ln {\frac {q_{i}}{p_{i}}}\geq -\sum _{i\in I}p_{i}\left({\frac {q_{i}}{p_{i}}}-1\right)<=-\sum _{i\in I}q_{i}+\sum _{i\in I}p_{i}=-\sum _{i\in I}q_{i}+1\geq 0} אי השוויון האחרון נובעת מכך ש pi ו- qi הם ערכים של התפלגות הסתברות, כך שסכום כל הערכים pi שאינם אפס הוא 1. עם זאת, ייתכן שחלק מה qi שאינם אפס הושמטו מאחר שבחירת האינדקסים I {\displaystyle I} נקבעת על סמך הדרישה ש pi אינו אפס. לכן, סכום ה- qi עשוי להיות קטן מ-1. עד כה, בהינתן קבוצת האינדקסים I {\displaystyle I} , יש לנו: − ∑ i ∈ I p i ln ⁡ q i p i ≥ 0 {\displaystyle -\sum _{i\in I}p_{i}\ln {\frac {q_{i}}{p_{i}}}\geq 0} , או לחלופין − ∑ i ∈ I p i ln ⁡ q i ≥ − ∑ i ∈ I p i ln ⁡ p i {\displaystyle -\sum _{i\in I}p_{i}\ln q_{i}\geq -\sum _{i\in I}p_{i}\ln p_{i}} . ניתן להרחיב את שני הסכומים לכל i = 1 , … , n {\displaystyle i=1,\ldots ,n} . כלומר כולל p i = 0 {\displaystyle p_{i}=0} , כאשר זוכרים כי הביטוי p ln ⁡ p {\displaystyle p\ln p} שואף ל-0 בגבול ש p {\displaystyle p} שואף ל-0, ו ( − ln ⁡ q ) {\displaystyle (-\ln q)} שואף ל ∞ {\displaystyle \infty } כאשר q {\displaystyle q} שואף ל-0. לסיכום מתקבל − ∑ i = 1 n p i ln ⁡ q i ≥ − ∑ i = 1 n p i ln ⁡ p i {\displaystyle -\sum _{i=1}^{n}p_{i}\ln q_{i}\geq -\sum _{i=1}^{n}p_{i}\ln p_{i}} השוויון מתקבל כאשר מתקיימים שני התנאים: לכל i ∈ I {\displaystyle i\in I} q i p i = 1 {\displaystyle {\frac {q_{i}}{p_{i}}}=1} כך שמתקבל השוויון ln ⁡ q i p i = q i p i − 1 {\displaystyle \ln {\frac {q_{i}}{p_{i}}}={\frac {q_{i}}{p_{i}}}-1} , ∑ i ∈ I q i = 1 {\displaystyle \sum _{i\in I}q_{i}=1} כלומר q i = 0 {\displaystyle q_{i}=0} אם i ∉ I {\displaystyle i\notin I} . במילים אחרות, q i = 0 {\displaystyle q_{i}=0} אם p i = 0 {\displaystyle p_{i}=0} . שני תנאים אלה יתקיימו אם ורק אם p i = q i {\displaystyle p_{i}=q_{i}} עֲבוּר i = 1 , … , n {\displaystyle i=1,\ldots ,n} , כלומר ההתפלגויות P {\displaystyle P} ו Q {\displaystyle Q} זהות. ניתן להוכיח את התוצאה באמצעות אי-שוויון ינסן: מכיוון שהלוגריתם הוא פונקציה קעורה ∑ i p i log ⁡ q i p i ≤ log ⁡ ∑ i p i q i p i = log ⁡ ∑ i q i = 0 {\displaystyle \sum _{i}p_{i}\log {\frac {q_{i}}{p_{i}}}\leq \log \sum _{i}p_{i}{\frac {q_{i}}{p_{i}}}=\log \sum _{i}q_{i}=0} כאשר אי-השוויון הראשון נובע מאי-השוויון של ינסן. השוויון האחרון נובע מכך ש Q {\displaystyle Q} היא התפלגות הסתברות, ולכן ∑ q i = 1 {\displaystyle \sum q_{i}=1} . יתר על כן, מכיוון שהלוגריתם הוא פונקציה קמורה, אז, בהתאם לתנאי השוויון של אי-שוויון ינסן, השוויון מתקבל רק כאשר מתקיימים שני התנאים: q 1 p 1 = q 2 p 2 = ⋯ = q n p n {\displaystyle {\frac {q_{1}}{p_{1}}}={\frac {q_{2}}{p_{2}}}=\cdots ={\frac {q_{n}}{p_{n}}}} ∑ i q i = 1 {\displaystyle \sum _{i}q_{i}=1} . נסמן ב σ {\displaystyle \sigma } את היחס בתנאי הראשון לעיל. נתקבל 1 = ∑ i q i = ∑ i σ p i = σ {\displaystyle 1=\sum _{i}q_{i}=\sum _{i}\sigma p_{i}=\sigma } כלומר p i = q i {\displaystyle p_{i}=q_{i}} לכל i = 1 , … n {\displaystyle i=1,\dots n} . במילים אחרות, השוויון באי-שוויון ינסן מתקבל אם ורק אם ההתפלגויות P {\displaystyle P} ו Q {\displaystyle Q} זהות. Pierre Bremaud (6 בדצמבר 2012). An Introduction to Probabilistic Modeling. Springer Science & Business Media. ISBN 978-1-4612-1046-7. {{cite book}}: (עזרה) David J. C. MacKay (25 בספטמבר 2003). Information Theory, Inference and Learning Algorithms. Cambridge University Press. ISBN 978-0-521-64298-9. {{cite book}}: (עזרה)