מבחן כי בריבוע

מִבְחַן כִי בָּרִבּוּעַ ( χ 2 {\displaystyle \chi ^{2}} , נהגה בכ' רפה, לעיתים נכתב חי בריבוע) הוא למעשה אוסף של מבחנים סטטיסטיים שמטרתם לבדוק את טיב ההתאמה של מודל התפלגותי לנתונים איכותיים או בדידים. המשותף לכל המבחנים האלה הוא שההתפלגות של סטטיסטי המבחן היא התפלגות כי בריבוע (במדויק או בקירוב). מבחנים אלה משמשים גם כבסיס למגוון מקדמי קשר (או מתאם), כגון מקדם הקשר של קראמר. השם "כי בריבוע" מקורו באות היוונית χ {\displaystyle \chi } , כי. לאחר שקרל פירסון פיתח את המדד הידוע כ-"מתאם פירסון" למדידת עוצמת הקשר בין משתנים כמותיים, הוא פנה לפיתוח מקדם דומה למדידת הקשר בין שני משתנים איכותיים (קטגוריים), שנתוניהם מוצגים בלוח שכיחות דו־ממדי. בשנת 1900 הציג את סטטיסטי כי-בריבוע, שמבטא רעיון דומה לרעיון של מקדם המתאם. בעוד שמקדם המתאם התבסס על ההפרשים בין התצפיות והממוצע שלהן. סטטיסטי כי בריבוע מבוסס על ההפרש בין מספר התצפיות בתא מסוים בלוח השכיחות הדו־ממדי, והמספר הצפוי של התצפיות באותו תא בהנחה כי יש אי תלות בין משתנים. פירסון הראה כי ההתפלגות האסימפטוטית של המדד שפיתח היא אכן התפלגות כי בריבוע, ומכאן שמו של המדד. יהיו X {\displaystyle X} ו- Y {\displaystyle Y} שני משתנים איכותיים (כלומר נמדדים בסולם מדידה שמי או סודר). נסמן את הערכים שהמשתנה X {\displaystyle X} יכול לקבל ב- i = 1 , . . . , I {\displaystyle i=1,...,I} ואת הערכים שהמשתנה Y {\displaystyle Y} יכול לקבל ב- j = 1 , . . . , J {\displaystyle j=1,...,J} . בהינתן מדגם בגודל n {\displaystyle n} , נסמן ב- O i j {\displaystyle O_{ij}} את מספר התצפיות במדגם עבורן X = i {\displaystyle X=i} ו- Y = j {\displaystyle Y=j} . אם X {\displaystyle X} ו- Y {\displaystyle Y} הם משתנים בלתי תלויים הרי שמתקיים P ( X = i , Y = j ) = P ( X = i ) P ( Y = j ) {\displaystyle P(X=i,Y=j)=P(X=i)P(Y=j)} לכל i {\displaystyle i} ולכל j {\displaystyle j} . תחת הנחה זו, ניתן לאמוד את הערך הצפוי של מספר התצפיות עבורן X = i {\displaystyle X=i} ו- Y = j {\displaystyle Y=j} , שנסמן ב- E i j {\displaystyle E_{ij}} על ידי: E i j = n i ⋅ n j n {\displaystyle E_{ij}={\frac {n_{i}\cdot n_{j}}{n}}} כאשר n {\displaystyle n} הוא גודל המדגם n i {\displaystyle n_{i}} הוא מספר התצפיות עבורן X = i {\displaystyle X=i} n j {\displaystyle n_{j}} הוא מספר התצפיות עבורן Y = j {\displaystyle Y=j} סטטיסטי כי בריבוע לבדיקת ההשערה כי X {\displaystyle X} ו- Y {\displaystyle Y} הם בלתי תלויים מוגדר כ- χ 2 = ∑ i j ( O i j − E i j ) 2 E i j {\displaystyle \chi ^{2}=\sum _{ij}{\frac {(O_{ij}-E_{ij})^{2}}{E_{ij}}}} והתפלגותו האסימפטוטית היא התפלגות כי בריבוע עם ( I − 1 ) ( J − 1 ) {\displaystyle (I-1)(J-1)} דרגות חופש. השערת אי התלות תידחה אם הערך המחושב של χ 2 {\displaystyle \chi ^{2}} גדול מערך קריטי הנקבע על פי רמת המובהקות α שנקבעה מראש, או אם ערך ה-p המחושב קטן מרמת המובהקות הזו. יהי X {\displaystyle X} משתנה איכותי שיכול לקבל את הערכים i = 1 , . . . , I {\displaystyle i=1,...,I} . התפלגותו של X {\displaystyle X} היא התפלגות מולטינומית. נסמן p i = P ( x = i ) {\displaystyle p_{i}=P(x=i)} . בהינתן מדגם בגודל n {\displaystyle n} , נסמן ב- O i {\displaystyle O_{i}} את מספר התצפיות במדגם עבורן X = i {\displaystyle X=i} . מודל מולטינומי עבור X {\displaystyle X} הוא מפרט (ספציפיקציה) של p = ( p 1 , … , p I ) {\displaystyle \mathbf {p} =(p_{1},\dots ,p_{I})} על ידי פרמטר θ {\displaystyle \theta } (שיכול להיות גם וקטור של פרמטרים, או וקטור ממימד 0, כלומר מפרט אי פרמטרי). בהינתן המודל p = p ( θ ) {\displaystyle \mathbf {p} =\mathbf {p(\theta )} } , ניתן לאמוד את θ {\displaystyle \theta } , ובעזרת אמדן זה אפשר לאמוד את הערך הצפוי של מספר התצפיות עבורן X = i {\displaystyle X=i} , שנסמן ב- E i {\displaystyle E_{i}} , על ידי E i = n p i {\displaystyle E_{i}=np_{i}} . סטטיסטי כי בריבוע לבדיקת ההשערה כי המודל מתאים לנתונים מוגדר כ- χ 2 = ∑ i ( O i − E i ) 2 E i {\displaystyle \chi ^{2}=\sum _{i}{\frac {(O_{i}-E_{i})^{2}}{E_{i}}}} , והתפלגותו האסימפטוטית היא התפלגות כי בריבוע עם d f = I − 1 − dim ⁡ ( θ ) {\displaystyle \mathrm {df} =I-1-\dim(\theta )} דרגות חופש. מבחן כי בריבוע לבדיקת השערת אי התלות בין שני משתנים הוא מקרה פרטי של מבחן כי בריבוע לבדיקת טיב ההתאמה של מודל מולטינומי. מבחן כי בריבוע לבדיקת השערת אי התלות פותח על ידי פירסון תוך שימוש בשיקולי מומנטים. עם זאת, ניתן לבדוק את השערת אי התלות בפרט, ואת טיב ההתאמה של מודל מולטינומי בכלל, על ידי שימוש במבחן יחס הנראות, על פי הלמה של ניימן ופירסון. סטטיסטי מבחן יחס הנראות שונה מסטטיסטי מבחן כי בריבוע, אך שני המבחנים שקולים אסימפטוטית. מבחן יחס הנראות לבדיקת השערת אי התלות הוא G 2 = ∑ i j O i j log ⁡ O i j E i j {\displaystyle G^{2}=\sum _{ij}O_{ij}\log {\frac {O_{ij}}{E_{ij}}}} והתפלגותו האסימפטוטית היא התפלגות כי בריבוע עם ( I − 1 ) ( J − 1 ) {\displaystyle (I-1)(J-1)} דרגות חופש. באופן דומה, מבחן יחס הנראות לבדיקת טיב ההתאמה של מודל מולטינומי הוא G 2 = ∑ i O i log ⁡ O i E i {\displaystyle G^{2}=\sum _{i}O_{i}\log {\frac {O_{i}}{E_{i}}}} , והתפלגותו האסימפטוטית היא התפלגות כי בריבוע עם d f = I − 1 − dim ⁡ ( θ ) {\displaystyle \mathrm {df} =I-1-\dim(\theta )} דרגות חופש. ניתן להראות כי סטטיסטי χ 2 {\displaystyle \chi ^{2}} הוא קירוב של סטטיסטי G 2 {\displaystyle G^{2}} על ידי פיתוח טור טיילור של פונקציית הלוגריתם הטבעי סביב 1 והשמטת האיברים מסדר 3 ומעלה. בסקר שנערך בארצות הברית בשנת 2000 נשאלו 2,757 איש לגבי העדפתם הפוליטית. הנתונים המקובצים לפי מין מופיעים בטבלה הבאה: לדוגמה, 468 גברים הביעו תמיכה במפלגה הרפובליקנית ו-484 נשים הביעו תמיכה במפלגה הדמוקרטית. נסמן ב- X {\displaystyle X} את משתנה המין, כאשר 1 מסמל גבר ו-2 מסמל אישה, ומכאן שמספר הערכים שמשתנה זה מקבל הוא I = 2 {\displaystyle I=2} . כמו כן נסמן ב- Y {\displaystyle Y} את משתנה ההעדפה הפוליטית כאשר 1, 2, ו-3 מסמלים העדפה של המפלגה הרפובליקנית, העדפה עצמאית או העדפה של המפלגה הדמוקרטית בהתאמה, וכאן J = 3 {\displaystyle J=3} . על פי סימול זה, O 11 = 468 {\displaystyle O_{11}=468} ו- O 23 = 484 {\displaystyle O_{23}=484} . הערכים הצפויים E i j {\displaystyle E_{ij}} מופיעים בטבלה בסוגריים. לדוגמה: מספר הנשים במדגם הוא n 2 ⋅ = 1200 {\displaystyle n_{2\cdot }=1200} , ומספר התומכים במפלגה הדמוקרטית הוא n ⋅ 3 = 1246 {\displaystyle n_{\cdot 3}=1246} . לכן המספר הצפוי של נשים התומכות במפלגה הדמוקרטית תחת ההנחה כי אין קשר בין המין וההעדפה הפוליטית הוא E 23 = n 2 ⋅ ⋅ n ⋅ 3 n = 1200 ⋅ 1246 2757 = 542.3 {\displaystyle E_{23}={\frac {n_{2\cdot }\cdot n_{\cdot 3}}{n}}={\frac {1200\cdot 1246}{2757}}=542.3} . בחישוב הערך של χ 2 {\displaystyle \chi ^{2}} נקבל כי ( E 23 − O 23 ) 2 E 23 = ( 484 − 542.3 ) 2 542.3 = 6.27 {\displaystyle {\frac {(E_{23}-O_{23})^{2}}{E_{23}}}={\frac {(484-542.3)^{2}}{542.3}}=6.27} לאחר שנבצע חישובים דומים עבור כל ששת הצירופים האפשריים של ערכי X {\displaystyle X} ו- Y {\displaystyle Y} , החישוב הסופי יראה כי χ 2 = 30.07 {\displaystyle \chi ^{2}=30.07} . בחישוב מבחן יחס הנראות נקבל כי G 2 = 30.0 {\displaystyle G^{2}=30.0} . מספר דרגות החופש הוא d f = ( I − 1 ) ( J − 1 ) = ( 2 − 1 ) ⋅ ( 3 − 1 ) = 2 {\displaystyle \mathrm {df} =(I-1)(J-1)=(2-1)\cdot (3-1)=2} . ערך ה-p עבור χ 2 {\displaystyle \chi ^{2}} הוא p -value = 0.0000029 {\displaystyle p{\mbox{-value}}=0.0000029} ולכן אם קבענו מראש כי רמת המובהקות של המבחן תהיה α = 0.05 {\displaystyle \alpha =0.05} נדחה את השערת האפס האומרת כי אין קשר בין המין וההעדפה הפוליטית. קוביית משחק הוגנת היא כזו שהסיכויים שלה ליפול על כל פאה הם שווים, כלומר ההסתברות כי תוצאת ההטלה תהיה 1 שווה להסתברות כי תוצאת ההטלה תהיה 2 וכן הלאה. כל אחת מההסתברויות האלה שווה ל-1/6. השערת האפס היא כי הקוביה הוגנת. השערה זו מתורגמת לאמירה המתמטית כי המודל הוא מודל התפלגות אחידה על המספרים 1 , . . . , 6 {\displaystyle 1,...,6} , כלומר זוהי התפלגות מולטינומית עם p i = 1 6 {\displaystyle p_{i}={\frac {1}{6}}} לכל i {\displaystyle i} . מודל זה אינו תלוי בפרמטר. נניח כי הטלנו את הקוביה 100 פעמים והתקבלו התוצאות: 18,16,16,15,22,13 (כלומר, התוצאה "1" התקבלה 18 פעמים, התוצאה "2" התקבלה 16 פעמים, וכן הלאה). תחת ההנחה כי הקוביה הוגנת השכיחויות הצפויות שוות כולן 100/6, כלומר כ-16.7 עבור כל אחת מהתוצאות. החישובים של מבחן כי בריבוע מוצגים בטבלה הבאה: קיבלנו כי χ 2 = 2.84 {\displaystyle \chi ^{2}=2.84} . מספר דרגות החופש כאן הוא d f = 5 {\displaystyle \mathrm {df} =5} , מכיוון ש- I = 6 {\displaystyle I=6} ו- dim ⁡ ( θ ) = 0 {\displaystyle \dim(\theta )=0} , מכיוון שההסתברויות p i {\displaystyle p_{i}} לא היו תלויות בפרמטר. ניתן לחשב כי ערך ה-p הוא p -value = 0.7246 {\displaystyle p{\mbox{-value}}=0.7246} . בהנחה שקבענו מראש כי רמת המובהקות של המבחן היא α = 0.05 {\displaystyle \alpha =0.05} , לא נדחה את השערת האפס. בשפת פייתון ניתן לחשב את המבחן על ידי הפקודה: import numpy as np from scipy.stats import chisquare f_exp = np.ones(6)*100/6 f_obs = np.array([18, 16, 16, 15,22,13]) chisquare(f_obs=f_obs, f_exp=f_exp) לצורך סקר על העדפת מוצרים נערך מדגם שכלל 110 אנשים, שנתבקשו לדווח איזה מוצר הם מעדיפים מבין שלושה מוצרים. תוצאות הסקר (העדפה ומין הנשאל) נתונות בטבלה: עורכי הסקר מעוניינים לדעת האם יש הבדלים בין ההעדפות של הגברים וההעדפות של הנשים, ולכן השערת האפס אומרת כי אין הבדל בין התפלגות ההעדפות של הגברים והתפלגות ההעדפות של הנשים. בהנחה כי השערת האפס נכונה עלינו לאמוד כאן שני פרמטרים: את ההסתברות כי אדם (גבר או אשה) מעדיף את מוצר 1 ואת ההסתברות כי אדם (גבר או אשה) מעדיף את מוצר 2. האמדן להסתברות כי אדם מעדיף את מוצר 3 מתקבל על ידי השלמה ל-1. האמדנים האלה הם θ 1 = p 1 = 33 / 110 = 0.3 {\displaystyle \theta _{1}=p_{1}=33/110=0.3} ו- θ 2 = p 2 = 48 / 110 = 0.436 {\displaystyle \theta _{2}=p_{2}=48/110=0.436} . מכאן נקבל כי האמדן ל- p 3 {\displaystyle p_{3}} הוא 0.264 {\displaystyle 0.264} . כמו כן נניח כי ההסתברות שאדם במדגם הוא גבר שווה להסתברות כי האדם הוא אשה, ולכן שתי הסתברויות אלה שוות ל-0.5. על סמך האמדנים האלה נוכל לחשב כי (כאשר X = 1 {\displaystyle X=1} מסמל גבר): E 11 = 110 ⋅ 0.3 ⋅ 0.5 = 16.5 {\displaystyle E_{11}=110\cdot 0.3\cdot 0.5=16.5} , וכן הלאה לכל התאים בלוח השכיחות. החישוב הסופי מעלה כי χ 2 = 5.26 {\displaystyle \chi ^{2}=5.26} . נאמדו 2 פרמטרים ( dim ⁡ ( θ ) = 2 {\displaystyle \dim(\theta )=2} ), ולכן נקבל כי d f = 6 − 1 − 2 = 3 {\displaystyle \mathrm {df} =6-1-2=3} . שימו לב כי מספר דרגות החופש כאן שונה ממספר דרגות החופש בבדיקת השערת אי תלות. חישוב ערך ה-p מעלה כי p -value = 0.1537 {\displaystyle p{\mbox{-value}}=0.1537} . בהנחה שקבענו מראש כי רמת המובהקות של המבחן היא α = 0.05 {\displaystyle \alpha =0.05} לא נדחה את השערת האפס, ונסיק כי לא נצפו הבדלים בהעדפות בין גברים ונשים. המבחן המדויק של פישר מבחן כי בריבוע, באתר MathWorld (באנגלית) Karl Pearson, On the criterion that a given system of deviations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen from random sampling, Philosophical Magazine, 5 50, 1900, עמ' 157–175 doi: doi:10.1080/14786440009463897 Chi-squared distribution table with sigma values Agresti, Alan, 2, An Introduction to Categorical Data Analysis, Hoboken, New Jersey: JohnWiley & Sons, Inc., 2007, עמ' 37-38, ISBN 978-0-471-22618-5