המבחן המדויק של פישר

המבחן המדויק של פישר או בקיצור מבחן פישר הוא מבחן סטטיסטי לבדיקת השערת אי התלות בין שני משתנים איכותיים. מבחן זה שימושי כאשר גודל המדגם הוא קטן, ולכן הקירובים האסימפטוטיים של מבחנים כגון מבחן חי בריבוע אינם תקפים. עם זאת, המבחן עצמו תקף גם עבור מדגמים גדולים, אף על פי שבאופן מעשי יש קושי לבצע את החישובים הנדרשים כאשר המדגם גדול. רונלד פישר הציג את המבחן בשנת 1922. ההקשר המפורסם ביותר של המבחן הוא ניסוי "הליידי טועמת התה", המתואר בספרו של פישר משנת 1935. הליידי, ד"ר מוריאל בריסטול, טענה כי היא מסוגלת לזהות על ידי טעימה אם ספל תה הוכן באופן שבו תחילה נמזגו המים הרותחים ולאחר מכן הוסף להם חלב, או להפך. כדי לבחון את טענתה, פישר ערך ניסוי בו הוגשו לליידי לטעימה 8 ספלי תה, כאשר בארבעה מהם נמזגו תחילה המים הרותחים ואז נוסף להם החלב, ובארבעה נמזג תחילה החלב ולאחר מכן נוספו המים הרותחים. הניסוי יצר לוח שכיחות של שני משתנים איכותיים, שכל אחד מהם מקבל שני ערכים. משתנה אחד מציין את האופן בו הוכן ספל התה, והשני מציין את קביעתה של הליידי לגבי אופן הכנת התה. המבחן המקורי שהציג פישר התאים ללוח שכיחות דו־ממדי בעל שתי שורות ושתי עמודות, אולם בהמשך הוא הוכלל ללוח שכיחות דו־ממדי כלשהו, כלומר כאשר כל משתנה יכול לקבל מספר כלשהו של ערכים . במקרה הכללי, נוסחאות החישוב מסובכות יותר ובדרך כלל לא ניתן לבצע את החישובים באופן ידני. נתון לוח השכיחות הבא מסדר 2 × 2 {\displaystyle 2\times 2} עבור שני משתנים, X {\displaystyle X} ו- Y {\displaystyle Y} : כאשר n = a + b + c + d {\displaystyle n=a+b+c+d} . בלי הגבלת הכלליות נניח כי a = min { a , b , c , d } {\displaystyle a=\min\{a,b,c,d\}} . השערת האפס אומרת כי המשתנים X {\displaystyle X} ו- Y {\displaystyle Y} הם בלתי תלויים. אם נניח כי סכומי השורות והעמודות a + b , c + d , a + c , b + d {\displaystyle a+b,\quad c+d,\quad a+c,\quad b+d} ידועים וקבועים, אזי ההסתברות כי השכיחות של התצפיות במדגם עבורן X = x 1 {\displaystyle X=x_{1}} ו- Y = y 1 {\displaystyle Y=y_{1}} היא a {\displaystyle a} ניתנת לחישוב על ידי שימוש בהתפלגות ההיפרגאומטרית: p ( a ) = ( a + b a ) ( c + d d ) ( n a + c ) {\displaystyle p(a)={\frac {{a+b \choose a}{c+d \choose d}}{n \choose a+c}}} תחת השערת האפס, הערך הצפוי של a {\displaystyle a} הוא ( a + b ) ( c + d ) n {\displaystyle {\frac {(a+b)(c+d)}{n}}} . ערכים של a {\displaystyle a} הקטנים מהערך הצפוי או גדולים מהערך הצפוי מהווים עדות כנגד השערת אי התלות. לכן לפי הגדרת ערך ה-p, הוא שווה להסתברות כי תתקבל עדות השווה בעצמתה לעדות שהתקבלה במדגם p ( a ) {\displaystyle p(a)} או גדולה ממנה. המשמעות היא לכן כי ערך ה-p שווה לסכום ההסתברויות של כל הלוחות האפשריים שהסתברותם שווה ל- p ( a ) {\displaystyle p(a)} או קטנה ממנו. בהינתן סכומי השורות והעמודות, השכיחות של התצפיות במדגם עבורן X = x 1 {\displaystyle X=x_{1}} ו- Y = y 1 {\displaystyle Y=y_{1}} יכולה להיות כל מספר שלם בין 0 לבין M = min { a + b ,   a + c } {\displaystyle M=\min\{a+b,\ a+c\}} . לכן ערך ה-p של מבחן פישר הוא P v a l u e = ∑ m :   p ( m ) ≤ p ( a ) p ( m ) {\displaystyle Pvalue=\sum _{m:\ p(m)\leq p(a)}p(m)} שימו לב כי זהו מבחן דו-צדדי, במובן שעדות נגד השערת היא התלות יכולה להתקבל גם מערכי m {\displaystyle m} הקטנים מ- a {\displaystyle a} וגם מערכי m {\displaystyle m} הגדולים מ- a {\displaystyle a} . ניתן להגדיר גם מבחן חד צדדי, שבו עדות נגד השערת היא התלות יכולה להתקבל רק מערכי m {\displaystyle m} הקטנים מ- a {\displaystyle a} . במקרה זה P v a l u e = ∑ m :   m ≤ a   &   p ( m ) ≤ p ( a ) p ( m ) {\displaystyle Pvalue=\sum _{m:\ m\leq a\ \&\ p(m)\leq p(a)}p(m)} בקורס "מבוא לסטטיסטיקה" לומדים 24 סטודנטים, מחציתם גברים ומחציתם נשים. 10 מהם לומדים לקראת המבחן, ו-14 התייאשו והפסיקו ללמוד. האם יש קשר בין מין הסטודנט לבין גישת הסטודנטים למבחן (לומדים או מיואשים)? נתוני הסטודנטים מוצגים בלוח השכיחות הבא: ההסתברות כי בהינתן סך השורות וסך העמודות יתקבל לוח השכיחות הזה בו a = 2 {\displaystyle a=2} היא: p ( 2 ) = ( 10 2 ) ( 14 10 ) ( 24 12 ) ≈ 0.01666 {\displaystyle p(2)={\frac {{10 \choose 2}{14 \choose 10}}{24 \choose 12}}\approx 0.01666} . מכיוון שכאן M = min { 10 ,   12 } = 10 {\displaystyle M=\min\{10,\ 12\}=10} , נחשב את ערכי p ( m ) {\displaystyle p(m)} כעבור כל ערכי m {\displaystyle m} מ-0 ועד 10. תוצאות החישובים נתונות בטבלה הבאה: לכן P v a l u e = 0.00003 + 0.00135 + 0.01666 + 0.01666 + 0.00135 + 0.00003 ≈ 0.0361 {\displaystyle Pvalue=0.00003+0.00135+0.01666+0.01666+0.00135+0.00003\approx 0.0361} . בהנחה כי החלטנו מראש לבדוק את השערת אי התלות ברמת מובהקות α = 0.05 {\displaystyle \alpha =0.05} נדחה את השערת האפס של אי התלות בין מין הסטודנט וגישתו למבחן. בתוכנת R ניתן לחשב את מבחן פישר הדו צדדי לנתונים אלה על ידי הפקודה: fisher.test(matrix(c(2, 8,10 ,4), nrow=2), alternative="two.sided") ובפייתון על ידי הפקודה: import numpy as np from scipy.stats import fisher_exact table = np.array([[2, 8], [1, 4]]) res = fisher_exact(table, alternative='two-sided') מספר חוקרים טענו כי בפועל רמת המובהקות של מבחן פישר נמוכה מרמת המובהקות המוצהרת . במילים אחרות, אם מבצעים את מבחן פישר ומשתמשים ברמת מובהקות α {\displaystyle \alpha } , ההסתברות לטעות מסוג ראשון (דחיה מוטעית של השערת האפס) בדרך כלל קטנה מ- α {\displaystyle \alpha } . הדבר נובע מחישוב ערך ה-p על סמך התפלגות בדידה. עם זאת, המונח "טעות מסוג ראשון" מוגדר בהקשר של מבחני יחס הנראות על פי הלמה של ניימן ופירסון, ומבחן פישר אינו מבחן יחס נראות. ביקורת נוספת נוגעת לכך שהמבחן מחושב תחת ההנחה כי ההתפלגויות השוליות של המשתנים נתונות . המבחן יהיה מדויק רק עבור ההתפלגות המותנית של לוח השכיחות בהינתן ההתפלגויות השוליות, אך אינו מדויק ביחס ללוח השכיחות המקורי, מכיוון שבמדגם נוסף מאותו גודל עשוי להתקבל לוח שכיחות עם התפלגויות שוליות שונות. ניתן לבנות מבחן מדויק שאינו מותנה בהתפלגויות השוליות. מבחן ברנרד הוא דוגמה למבחן כזה. התפלגות היפרגאומטרית מבחן חי בריבוע Bishop, Y. M. M.; Fienberg, S. E.; Holland, P. W. (1975). Discrete Multivariate Analysis: Theory and Practice. MIT Press. ISBN 978-0-262-02113-5. MR 0381130. Agresti, Alan (2007). An introduction to categorical data analysis, 2nd Edition. John Wiley & Sons. ISBN 978-0-471-22618-5. Agresti, Alan (2002). Categorical data analysis, 2nd Edition. John Wiley & Sons. ISBN 0-471-36093-7. Agresti, A. (1992). A survey of exact inference for contingency tables. Statistical science, 7(1), 131-153. מחשבון מקוון לחישוב מבחן פישר נוסחת חישוב מבחן פישר ללוח שכיחות מסדר כלשהו - וולפרם Fisher, R. A., On the interpretation of χ 2 {\displaystyle \chi ^{2}} from contingency tables, and the calculation of P, Journal of the Royal Statistical Society, 1 85, 1922, עמ' 87-94 doi: 10.2307/2340521 Fisher, R. A. (1956) [The Design of Experiments (1935)]. "Mathematics of a Lady Tasting Tea". In James Roy Newman (ed.). The World of Mathematics, volume 3 (PDF). Courier Dover Publications. ISBN 978-0-486-41151-4. Fisher, R. A., The Design of Experiments, 9th edition (1971), Macmillan, 1935, ISBN 0-02-844690-9 Mehta, C. R., & Patel, N. R., A network algorithm for performing Fisher's exact test in r× c contingency tables, Journal of the American Statistical Association, 382 78, 1983, עמ' 427-434 doi: 10.1080/01621459.1983.10477989 Liddell, D., Practical tests of 2× 2 contingency tables, Journal of the Royal Statistical Society. Series D (The Statistician), 4 25, 1976, עמ' 295-304 doi: 10.2307/2988087 Berkson, J., In dispraise of the exact test, Journal of Statistical Planning and Inference, 1 2, 1978, עמ' 27-42 doi: 10.1016/0378-3758(78)90019-8 D'agostino, R. B., Chase, W., & Belanger, A., The appropriateness of some common procedures for testing the equality of two independent binomial populations, The American Statistician, 3 42, 1988, עמ' 198-202 Barnard, G. A., A new test for 2× 2 tables, Nature, 3954 156, 1945, עמ' 177 doi: 10.1038/156177a0