אנטרופיה (סטטיסטיקה)
הגדרה ואקסיומטיקה

אם X הוא מרחב הסתברות סופי, עם ההסתברויות הבאות  p_{1},\dots ,p_{n} המייצגות את המאורעות השונים במרחב, אזי האנטרופיה שלו מוגדרת לפי הנוסחה
 H(X)=-\mathbb {E} [\log X]=-\sum _{i=1}^{n}p_{i}\log _{2}(p_{i})
זהו ערך אי-שלילי, המקיים  H(X)\leq \log _{2}(n), עם שוויון רק כאשר ההסתברויות שוות כולן זו לזו. במובן זה, האנטרופיה מייצגת את הלוגריתם של גודל המרחב, ולא את הגודל עצמו. על־פי אותה נוסחה בדיוק אפשר לחשב את האנטרופיה של משתנה מקרי (המקבל מספר סופי של ערכים). בשני המקרים, האנטרופיה אינה מתחשבת בטיבם של המאורעות השונים במרחב, אלא בהסתברות שהם יתרחשו.
בנוסחת האנטרופיה לעיל, אם אחת או יותר מההסתברויות היא אפס, כלומר  p_{i}=0 אז הערך של האיבר המתאים בסכום הוא מהצורה  0\,log_{2}(0) שמחושב בסכום כאפס, בהתאמה לגבול \lim _{p\to 0^{+}}p\log(p)=0.
את "מספר האפשרויות" שמייצג X אפשר למדוד בדרכים נוספות, כגון ספירת מצבים נאיבית (n, במקרה שלנו), ממוצע הרמוני של ההסתברויות ( (\sum p_{i}^{-1}/n)^{-1}), ועוד.
ניתן להסתכל על מזווית קצת שונה. אם אנו מסתכלים על מספר מאורעות בלתי תלויים וזרים מתקיים השוויון
p(A_{1}\cup A_{2}\cup \dots \cup A_{n})=\sum _{1}^{n}p(n)
וכאשר ממשקלים את ההסתברות בערך המאורעות עצמם מתקבלת התוחלת של המשתנה המקרי
\operatorname {E} (X)=\sum _{i}x_{i}P(X=x_{i})
מנקודת מבט זו ניתן לראות את התוחלת על משתנה מקרי i.i.d כמדד כללי שמייחס להסתברות שאחד מהמאורעות יקרה.  A_{1}\cup A_{2}\cup \dots \cup A_{n}
לעומת זאת אנטרופיה היא מדד להסתברות שכל המאורעות יקרו ביחד  A_{1}\cap A_{2}\cap \dots \cap A_{n} וזאת בשל העובדה שפונקציית הלוגריתם הופכת כפל לסכום.
H(X)=E(x)=\sum (-p\cdot \ln(p))=\ln(\prod {\sqrt[{-p_{i}}]{p_{i}}})
שזהו למעשה ממוצע הנדסי משוקלל על ההסתברות.
הסיבה לכך שמדד האנטרופיה נחשב למדד המתאים בהקשרים רבים כל־כך קשורה לכמה תכונות יסודיות שהוא מקיים.
כדי שניתן יהיה להסביר תכונות אלה, עלינו להזכיר מושג יסודי אחר בסטטיסטיקה: התפלגות מותנית. אם X ו־Y שני משתנים מקריים, אז עבור כל ערך אפשרי y של Y, אפשר לבנות משתנה מקרי חדש  X\mid Y=y, "המשתנה המותנה", המייצג את הערכים שיכול לקבל X אם ידוע ש־Y קיבל את הערך y. כאשר הערך של Y אינו ידוע, מסמנים את המשתנה המותנה בסימון  X\mid Y; זהו, אם כך, משתנה מקרי, שהתפלגותו המדויקת תלויה בערך שיקבל Y.
פונקציית האנטרופיה H מקיימת את ארבע התכונות הבאות:
אדיטיביות: אם X ו־Y שני משתנים מקריים בלתי תלויים, אז  H(X,Y)=H(X)+H(Y). במילים אחרות, האנטרופיה של מכפלה ישרה של מרחבי התפלגות שווה לסכום האנטרופיות של שני המרחבים.
פיצול: אם X משתנה מקרי ו־Y פונקציה של X, אז  H(X,Y)=H(X\mid Y)+H(Y), כאשר  H(X\mid Y) מייצג את התוחלת של  H(X\mid Y=y) במעבר על כל הערכים האפשריים של Y.
רציפות: האנטרופיה של התפלגות ברנולי  b(p) היא פונקציה רציפה של p.
נורמליות: האנטרופיה של ההתפלגות האחידה על שני מצבים, היא 1.
משפט: פונקציית האנטרופיה H היא הפונקציה היחידה המקיימת את ארבע התכונות לעיל.
הוכחה: נניח ש-H היא פונקציה המוגדרת על משתנים מקריים, ומקיימת את תכונות האדיטיביות, הפיצול, הרציפות והנורמליות. ראשית נחשב את  H(p), שהוא הערך של H במשתנה ברנולי  b(p). יהיו  X,Y\sim b(p) משתני ברנולי בלתי תלויים. נסמן ב-Z את המשתנה המוגדר להיות 0 אם X=Y ו-1 אחרת. Z הוא פונקציה של הזוג הסדור (X,Y), ולפי אקסיומות הפיצול והאדיטיביות,  2H(p)=H(X)+H(Y)=H(X,Y)=H(X,Y|Z)+H(Z). אבל Z עצמו מתפלג ברנולי, עם הסתברות 2pq להיות 1 (כאשר q=1-p). בהינתן Z=1, הזוג (X,Y) מקבל את הערכים (0,1) ו-(1,0) בהסתברויות שוות; ובהינתן Z=0 (מאורע שהסתברותו א-פריורי היא p^2+q^2), ההסתברות ל-(1,1) היא q^2/(p^2+q^2). אם כך, לפי ההגדרה,  \ H(X,Y|Z)=(p^{2}+q^{2})H\left({\frac {p^{2}}{p^{2}+q^{2}}}\right)+2pqH\left({\frac {1}{2}}\right). לכן  2H(p)=(p^{2}+q^{2})H\left({\frac {p^{2}}{p^{2}+q^{2}}}\right)+2pqH\left({\frac {1}{2}}\right)+H\left(2pq\right). זוהי משוואה פונקציונלית, שהפתרון היחיד שלה הוא  \ H(p)=-p\log p-q\log q, עד כדי קבוע; הנורמליות קובעת שהלוגריתם הוא בבסיס 2. עבור משתנה המקבל n ערכים, אפשר לחשב את H באינדוקציה, על ידי התניה בקבלת הערך האחרון:  \ H(p_{1},\dots ,p_{n})=(1-p_{n})H({\frac {p_{1}}{1-p_{n}}},\dots ,{\frac {p_{n-1}}{1-p_{n}}})+H(p_{n}).