פרדוקס סימפסון

פרדוקס סימפסון (או אפקט יוּל-סימפסון) הוא פרדוקס בתחום הסטטיסטיקה בו תוצאה (מתאם או מגמה מסוימת) הבאה לידי ביטוי בקבוצות נתונים, מתהפכת כאשר מאחדים את קבוצות הנתונים השונות. תוצאות כאלה מתקבלות לעיתים במחקרים של מדעי החברה ומחקרים רפואיים, בדרך כלל, על ידי ניתוח נמהר של הנתונים. הפרדוקס נעלם כשבוחנים לעומק את הקשרים הסיבתיים בין הנתונים. דרך אפשרית להתמודד עם הפרדוקס היא להשתמש במבחן קוקראן-מנטל-הנזל. אדוארד ה' סימפסון תיאר לראשונה את התופעה במאמר בשנת 1951, אך אפקטים דומים הוזכרו כבר בעבודותיהם של הסטטיסטיקאים קרל פירסון (1899) ואדני יול (1903). השם "פרדוקס סימפסון" ניתן על ידי קולין ר' בליית' בשנת 1972. פרדוקס משקל הלידה הנמוך הוא תצפית פרדוקסלית הקשורה למשקל הלידה של תינוקות (ולתמותת תינוקות) לאימהות מעשנות. בכל מדינה יש משקל סף אשר תינוקות הנולדים מתחת למשקל זה מסווגים כבעלי משקל לידה נמוך. באוכלוסייה מסוימת, שיעור תמותת התינוקות בקרב תינוקות בעלי משקל לידה נמוך גבוה בהרבה מאשר בקרב שאר התינוקות. שיעור תמותת התינוקות בקרב תינוקות במשקל רגיל זהה בקירוב בין תינוקות של אימהות מעשנות לבין לא-מעשנות, ושיעור תמותת התינוקות בקרב תינוקות במשקל לידה נמוך הוא דווקא נמוך יותר עבור תינוקות של אימהות מעשנות מאשר עבור אימהות לא-מעשנות. עם זאת, בהסתכלות כוללת שיעור תמותת התינוקות של תינוקות של אימהות מעשנות גבוה מזה של אימהות לא-מעשנות. זאת משום שלאימהות מעשנות נולדים תינוקות בעלי משקל לידה נמוך בשיעור גבוה יותר, ולתינוקות בעלי משקל לידה נמוך שיעור תמותת תינוקות גבוה יותר. הטבלה הבאה מדגימה את היחסים של תמותת התינוקות בין אימהות מעשנות לאימהות לא-מעשנות: שיעור תמותת תינוקות אחד המקרים המפורסמים של פרדוקס סימפסון קשור לחשש של אוניברסיטת קליפורניה בברקלי מתביעה נגדה, בטענה שהיא מפלה נשים בקבלה לתואר שני. נתוני הקבלה לסתיו 1973 הראו כי לגבר סיכויים גבוהים יותר להתקבל מאישה. הפער היה כה גדול שלא ניתן היה להסבירו כצירוף מקרים סטטיסטי. אולם, כאשר נבחנו הנתונים מכל פקולטה בנפרד, לא נמצאה אף אחת שמפלה נשים, אך נמצאה אחת שמפלה לכאורה גברים. התברר כי ההסבר לפרדוקס הוא שנשים נטו להגיש מועמדות לפקולטות תחרותיות בעלות אחוז קבלה נמוך ואילו גברים העדיפו כאלו שמקבלות את רוב המועמדים המתאימים. במחקר רפואי שבוצע הושוו שיעורי ההצלחה של שני טיפולים אפשריים עבור אבנים בכליות. הטבלה הבאה מציגה את שיעורי ההצלחה של שני סוגי הטיפול למול אבנים קטנות או גדולות בכליות. טיפול א' מתייחס לניתוחים פתוחים, בעוד טיפול ב' מתייחס לטיפול פחות חודרני הנעשה בעזרת חור קטן. הטיפול המוצלח יותר בכל שורה מודגש. המסקנה הפרדוקסלית היא שבעוד בעבור כל סוג אבן בנפרד טיפול א' עדיף, כשמסתכלים על הסה"כ טיפול ב' עדיף. זאת משום שלא התחשבנו ב"משתנה המתערב" - חומרת המקרה. עבור מקרים "קלים" - אבנים קטנות, העדיפו הרופאים להעניק את טיפול ב', בעוד עבור מקרים "קשים" העניקו את טיפול א'. לכן הקבוצות 2 ו-3 גדולות משמעותית מקבוצות 1 ו-4. כמו כן, סיכויי ההצלחה במקרים קשים של אבנים גדולות הם נמוכים משיעורי ההצלחה עבור אבנים קטנות. כיוון שמספר המקרים הקשים שקיבל את טיפול ב' קטן משמעותית, הוא פחות משפיע על סה"כ אחוזי ההצלחה בלי להפריד למקרים. דוגמה מפורסמת לפרדוקס בוחנת את נתוני החבטות של שחקני בייסבול. ייתכן מצב בו שחקן אחד חובט בממוצע שנתי יותר משחקן שני במשך שנתיים ברצף אולם אם מאחדים בין השנים דווקא לשחקן השני יהיה ממוצע רב שנתי גבוה יותר. התופעה מתרחשת כאשר יש פער גדול בין כמות המשחקים בין השנים. דוגמה אמיתית לנתונים כאלה בוחנת את נתוני החבטות של דרק ג'יטר מול דייוויד ג'סטיס בשנים 1995/6: נניח כי יש בידינו ארבעה כובעים (שני שחורים ושני אפורים), 41 כדורים (23 אדומים ו-18 לבנים) ושני שולחנות (A ו-B). הכדורים מסודרים בכובעים באופן הבא: בכובע השחור המונח על שולחן A נמצאים 5 כדורים אדומים ו-6 לבנים. בכובע האפור המונח על שולחן A נמצאים 3 כדורים אדומים ו-4 לבנים. בכובע השחור המונח על שולחן B נמצאים 6 כדורים אדומים ו-3 לבנים. בכובע האפור המונח על שולחן B נמצאים 9 כדורים אדומים ו-5 לבנים. נניח ונרצה להוציא כדור אדום. ההסתברות להוצאת כדור אדום מהכובעים הנמצאים על שולחן A: ההסתברות להוצאת כדור אדום מתוך הכובע השחור היא 0.4545 = 5/11 = 35/77. ההסתברות להוצאת כדור אדום מן הכובע האפור היא 0.4285 = 3/7 =33/77. קיבלנו שההסתברות לכדור אדום גבוהה יותר בכובע השחור. כעת נחשב את ההסתברות להוצאת כדור אדום מהכובעים הנמצאים על שולחן B: ההסתברות להוצאת כדור אדום מתוך הכובע השחור היא 0.6666 = 6/9 = 28/42. ההסתברות להוצאת כדור אדום מתוך הכובע האפור היא 0.6428 = 9/14 = 27/42. כלומר קיבלנו שגם כאן הסיכויים לכדור אדום גבוהים יותר בכובע השחור. ועכשיו נבדוק מה קורה אם נחבר את הכדורים בשני הכובעים השחורים זה עם זה ואת הכדורים בכובעים האפורים אחד עם השני: ההסתברות לקבלת כדור אדום מתוך הכובע השחור היא 0.55 = 11/20 = 231/420. ההסתברות לקבלת כדור אדום מתוך הכובע האפור היא 0.5714 = 12/21 = 240/420. קיבלנו כי ההסתברות לקבלת כדור אדום גבוהה יותר בכובע האפור מאשר בכובע השחור. מבחן קוקראן-מנטל-הנזל מריוס כהן, "פרדוקס סימפסון", גליליאו 107, יולי 2007 הפוך על הפוך. הפודקאסט ״רפואה נתמכת ראיות״, כמה מבין החולים קשה מחוסנים- על פרדוקס סימפסון https://open.spotify.com/episode/6T5uLggK2MTlRBjMQaPy2D מדיה וקבצים בנושא פרדוקס סימפסון בוויקישיתוף יוסי לוי, The Simpson, באתר "נסיכת המדעים" (בעברית) פרדוקס סימפסון, סרטון בערוץ "של ד"ר רועי יוזביץ'", באתר יוטיוב How statistics can be misleading - Mark Liddell - סרטון אנימציה של 4 דקות המסביר את פרדוקס סימפסון. גדי אלכסנדרוביץ', פרדוקס סימפסון, באתר "לא מדויק", 6 בספטמבר 2021 פרדוקס סימפסון, באתר MathWorld (באנגלית) .Sex Bias in Graduate Admissions: Data from Berkeley, Bickel et al., Science Vol. 187, 1975