אי-שוויון צ'רנוף

בתורת ההסתברות, אי-שוויון צ'רנוף או חסם צ'רנוף הוא אי-שוויון המתאר את הקשר בין סכום של משתני ברנולי לבין התוחלת של סכום זה. אי-שוויון צ'רנוף מראה דעיכה מעריכית של ההסתברות לכך שסכום המשתנים יהיה רחוק מהתוחלת הצפויה, כפונקציה של המרחק הנמדד בסטיות תקן. במילים אחרות, ההסתברות שהסכום יהיה רחוק t סטיות תקן מהתוחלת קטנה כפונקציה מעריכית ב-t. באופן פורמלי, יהיו X 1 , X 2 , … , X n {\displaystyle X_{1},X_{2},\ldots ,X_{n}} מאורעות בלתי תלויים אשר מתרחשים בהסתברות   p {\displaystyle \ p} כך ש p ≥ 1 2 {\displaystyle p\geq {\frac {1}{2}}} (כלומר, X i ∼ Bernoulli ( p ) {\displaystyle \,X_{i}\sim {\mbox{Bernoulli}}(p)} ) אז מתקיים: Pr [ ∑ i = 1 n X i − n p > t n p ( 1 − p ) ] < e − t 2 / 2 {\displaystyle \Pr \left[\sum _{i=1}^{n}X_{i}-np>t{\sqrt {np(1-p)}}\right]<e^{-t^{2}/2}} מכיוון שסכום המאורעות מפולג בינומית, X 1 + ⋯ + X n ∼ B i n ( n , p ) {\displaystyle X_{1}+\cdots +X_{n}\sim Bin(n,p)} , תוחלת סכום המאורעות היא E [ X 1 + ⋯ + X n ] = n p {\displaystyle \mathbb {E} [X_{1}+\cdots +X_{n}]=np} , וסטיית התקן היא var 1 / 2 ⁡ ( X 1 + ⋯ + X n ) = n p ( 1 − p ) {\displaystyle \operatorname {var} ^{1/2}(X_{1}+\cdots +X_{n})={\sqrt {np(1-p)}}} . מכיוון שהחסם המתקבל מעריכי, אי שוויון צ'רנוף חזק יותר מאשר אי-שוויון צ'בישב, ואי-שוויון מרקוב, בהם דעיכת הזנב פולינומית. אי השוויון קרוי על שם המתמטיקאי הרמן צ'רנוף (Herman Chernoff), שהוכיח את אי-השוויון בשנת 1952. כיום משמש השם "אי שוויון צ'רנוף" לתיאור משפחה של אי שוויונות המבוססים על אי שוויון זה או על אי-שוויונות דומים לו כגון אי שוויון הופדינג ואי שוויון ברנשטיין (שניתן לראותם כמקרה פרטי של אי-שוויון זה). ניתן להכליל את אי השוויון ולקבל חסם על הסטייה מהתוחלת עם דעיכה אקספוננציאלית עבור משתנים מקריים בעלי פונקציה יוצרת מומנטים. עבור משתנה מקרי X {\displaystyle X} בעל פונקציה יוצרת מומנטים M ( t ) = E ⁡ ( e t X ) {\displaystyle M(t)=\operatorname {E} (e^{tX})} ו t חיובי, אפשר להשתמש באי-שוויון מרקוב עבור המשתנה המקרי e t X {\displaystyle e^{tX}} : P ⁡ ( X ≥ a ) = P ⁡ ( e t X ≥ e t a ) ≤ M ( t ) e − t a ( t > 0 ) {\displaystyle \operatorname {P} \left(X\geq a\right)=\operatorname {P} \left(e^{tX}\geq e^{ta}\right)\leq M(t)e^{-ta}\qquad (t>0)} . בגלל שהאי שוויון מתקיים לכל t > 0 {\displaystyle t>0} , אפשר להשתמש באינפימום, ולקבל: P ⁡ ( X ≥ a ) ≤ inf t > 0 M ( t ) e − t a {\displaystyle \operatorname {P} \left(X\geq a\right)\leq \inf _{t>0}M(t)e^{-ta}} . באופן דומה, עבור t < 0 {\displaystyle t<0} : P ⁡ ( X ≤ a ) ≤ inf t < 0 M ( t ) e − t a {\displaystyle \operatorname {P} \left(X\leq a\right)\leq \inf _{t<0}M(t)e^{-ta}} . אי שוויון צ'רנוף נפוץ בתחומים רבים של המדעים בעיקר בחישובים סטטיסטיים של מדגמים וכן באנליזה של אלגוריתמים אקראיים במדעי המחשב, על מנת לחסום את הסתברות השגיאה של מדגם/אלגוריתם נתון. למשל, נניח כי קיים אלגוריתם אקראי A שעונה את התשובה הנכונה בהסתברות 0.6 (ובהסתברות 0.4 עונה תשובה אחרת). דרך אפשרית לבניית אלגוריתם "משופר" תהיה להריץ את האלגוריתם A מספר רב של פעמים, ולענות את התשובה שחזרה על עצמה הכי הרבה פעמים. למשל, אם האלגוריתם A מחשב בעיה מסוימת שהתשובה עבורה היא "כן/לא", נגדיר אלגוריתם חדש B המריץ את האלגוריתם A מספר רב של פעמים (נניח, 100 פעמים) ועונה לפי הרוב. נצפה שכ-60 מההרצות יענו תשובה אחת (התשובה הנכונה), ושאר 40 ההרצות יענו תשובה אחרת. ונשאלת השאלה: מה ההסתברות של אלגוריתם B לטעות? אי השוויון של צ'רנוף נותן נוסחה פשוטה המגדירה את הסתברות הכישלון של B כפונקציה של מספר ההרצות. נשים לב שאלגוריתם B טועה אם התשובה הנכונה הופיעה פחות מ-50 פעמים, כלומר, סטיה של 10 הרצות מן התוחלת הצפויה של 60 פעמים (כ-2 סטיות תקן). כמובן שאם היינו מריצים 1000 פעמים, אלגוריתם B יטעה כאשר התשובה הנכונה תופיע פחות מ-500 פעמים, כלומר סטייה של 100 מהתוחלת הצפויה (כ-6.5 סטיות תקן). מכאן ניתן להעריך שהסתברות השגיאה של B במקרה הראשון (100 הרצות) היא מסדר גודל של e − 2 ≈ 0.135 {\displaystyle e^{-2}\approx 0.135} ואילו במקרה שני (1000 הרצות) הסתברות השגיאה של B קטנה באופן משמעותי (עקב הדעיכה המעריכית) והיא מסדר גודל של e − 21.8 ≈ 10 − 10 {\displaystyle e^{-21.8}\approx 10^{-10}} . באופן שקול, אם נתונה הסתברות השגיאה הרצויה מאלגוריתם B, ניתן לחשב את מספר ההרצות החוזרות של אלגוריתם A הנדרשות על מנת לעמוד בהסתברות זו. אי-שוויון צ'רנוף עבור משתנים בלתי-תלויים בהתפלגות זהה (i.i.d) יהיו X 1 , X 2 , … , X n {\displaystyle X_{1},X_{2},\ldots ,X_{n}} משתנים אקראיים מפולגים זהה ובלתי תלויים (i.i.d), כך ש־ X i ∈ { 0 , 1 } {\displaystyle X_{i}\in \{0,1\}} . נסמן X = X 1 + X 2 + ⋯ + X n {\displaystyle X=X_{1}+X_{2}+\cdots +X_{n}} , ונסמן את התוחלת של X i {\displaystyle X_{i}} ב־   μ = E [ X i ] {\displaystyle \ \mu =\mathbb {E} [X_{i}]} . אי השוויון קובע כי לכל ε > 0 {\displaystyle \varepsilon >0} Pr [ 1 n ∑ X i ≥ μ + ε ] ≤ ( ( μ μ + ε ) μ + ε ( 1 − μ 1 − μ − ε ) 1 − μ − ε ) n = e − D ( μ + ε ‖ μ ) n {\displaystyle {\begin{aligned}&\Pr \left[{\frac {1}{n}}\sum X_{i}\geq \mu +\varepsilon \right]&\qquad \leq \left({\left({\frac {\mu }{\mu +\varepsilon }}\right)}^{\mu +\varepsilon }{\left({\frac {1-\mu }{1-\mu -\varepsilon }}\right)}^{1-\mu -\varepsilon }\right)^{n}=e^{-D(\mu +\varepsilon \|\mu )n}\end{aligned}}} וכן, Pr [ 1 n ∑ X i ≤ μ − ε ] ≤ ( ( μ μ − ε ) μ − ε ( 1 − μ 1 − μ + ε ) 1 − μ + ε ) n = e − D ( μ − ε ‖ μ ) n , {\displaystyle {\begin{aligned}&\Pr \left[{\frac {1}{n}}\sum X_{i}\leq \mu -\varepsilon \right]&\qquad \leq \left({\left({\frac {\mu }{\mu -\varepsilon }}\right)}^{\mu -\varepsilon }{\left({\frac {1-\mu }{1-\mu +\varepsilon }}\right)}^{1-\mu +\varepsilon }\right)^{n}=e^{-D(\mu -\varepsilon \|\mu )n},\end{aligned}}} כאשר D ( x | | y ) = x ln ⁡ x y + ( 1 − x ) ln ⁡ 1 − x 1 − y {\displaystyle D(x||y)=x\ln {\frac {x}{y}}+(1-x)\ln {\frac {1-x}{1-y}}} הוא דיברגנס קולבק-ליבלר. וריאנט זה חוסם את ההסתברות שסכום המשתנים שונה מהתוחלת הצפויה, כאשר המרחק נמדד בכפולות של התוחלת (לעומת כפולות של סטיית התקן, כפי שמתקיים באי-שוויון לעיל). יהיו X 1 , X 2 , … , X n {\displaystyle X_{1},X_{2},\ldots ,X_{n}} אינדיקטורים בלתי תלויים (משתנים אקראיים המקבלים ערך 0 או 1), ונניח שהסתברות כל מאורע נתונה Pr ( X i = 1 ) = p i {\displaystyle \Pr(X_{i}=1)=p_{i}} . נסמן את הסכום בתור X = X 1 + X 2 + ⋯ + X n {\displaystyle X=X_{1}+X_{2}+\cdots +X_{n}} ואת התוחלת של הסכום   μ = E [ X ] {\displaystyle \ \mu =\mathbb {E} [X]} אזי מתקיים לכל δ > 0 {\displaystyle \delta >0} Pr [ X > ( 1 + δ ) μ ] < ( e δ ( 1 + δ ) ( 1 + δ ) ) μ {\displaystyle \Pr \left[X>(1+\delta )\mu \right]<\left({\frac {e^{\delta }}{(1+\delta )^{(1+\delta )}}}\right)^{\mu }} Pr [ X < ( 1 − δ ) μ ] < ( e − δ ( 1 − δ ) ( 1 − δ ) ) μ {\displaystyle \Pr \left[X<(1-\delta )\mu \right]<\left({\frac {e^{-\delta }}{(1-\delta )^{(1-\delta )}}}\right)^{\mu }} או באופן מעט פחות הדוק (אבל יותר נוח לשימוש) Pr [ X > ( 1 + δ ) μ ] < e − δ 2 μ / 3 for  0 < δ < 1 {\displaystyle \Pr \left[X>(1+\delta )\mu \right]<e^{-\delta ^{2}\mu /3}\quad \quad {\mbox{for }}0<\delta <1} Pr [ X < ( 1 − δ ) μ ] < e − δ 2 μ / 2 for  δ > 0 {\displaystyle \Pr \left[X<(1-\delta )\mu \right]<e^{-\delta ^{2}\mu /2}\quad \quad {\mbox{for }}\delta >0} או באופן כללי (Angluin/Valiant version) Pr [ X > ( 1 + δ ) μ ] < e − δ 2 2 + δ μ {\displaystyle \Pr \left[X>(1+\delta )\mu \right]<e^{-{\frac {\delta ^{2}}{2+\delta }}\mu }} אי תלות בין משתנים הוא תנאי מספיק אך לא הכרחי. הכללה של אי השוויון מתקיימת לכל קבוצה של n {\displaystyle n} משתנים בינאריים המקיימת לכל תת-קבוצה S {\displaystyle S} , Pr [ ⋀ i ∈ S X i = 1 ] ≤ δ | S | {\displaystyle \Pr \left[\bigwedge _{i\in S}X_{i}=1\right]\leq \delta ^{\left|S\right|}} כאשר δ {\displaystyle \delta } הוא קבוע כלשהו 0 ≤ δ ≤ 1 {\displaystyle 0\leq \delta \leq 1} , ו- |S| הוא מספר האיברים בקבוצה. במקרה זה נקבל: ∀   γ :   δ ≤ γ ≤ 1 , Pr [ ∑ X i ≥ γ n ] ≤ e − n D ( γ | | δ ) ≤ e − 2 n ( γ − δ ) 2 {\displaystyle \forall \ \gamma :\ \delta \leq \gamma \leq 1,\quad \Pr \left[\sum X_{i}\geq \gamma n\right]\leq e^{-nD\left(\gamma ||\delta \right)}\leq e^{-2n\left(\gamma -\delta \right)^{2}}} . אי-שוויון צ'רנוף מתקיים גם עבור משתנים שהם negatively related. משפט הגבול המרכזי חוק המספרים הגדולים Chernoff, H. (1952). "A Measure of Asymptotic Efficiency for Tests of a Hypothesis Based on the sum of Observations". Annals of Mathematical Statistics. 23 (4): 493–507. doi:10.1214/aoms/1177729330.