שיעור התגליות השגויות

שיעור התגליות השגויות (FDR - False Discovery Rate) הוא שמה של שיטה סטטיסטית לבדיקת השערות מרובות, שפותחה בידי שני סטטיסטיקאים מאוניברסיטת תל אביב, הפרופסורים יואב בנימיני ויוסף הוכברג. שיטה זו הוצעה על ידי בנימיני והוכברג כבר ב-1989 אך בתחילה היא נתקלה בהתנגדות, עד שב-1995 מאמרם התקבל בכתב העת Journal of the Royal Statistical Society, ומאז הוא דורג בין 25 המאמרים המצוטטים ביותר בסטטיסטיקה. בנימיני זכה בפרס ישראל לשנת 2012 בעיקר עקב תגליותיו בנושא זה.

הצורך בשיטה

כמעט כל תחומי המדע המודרני מבוססים על בדיקת השערות בניסויים או בתצפיות, בהתבסס על מדגם מקרי. בתחום הסטטיסטי של בדיקת השערות פותחו כללים לקבל או לדחות השערה מדעית, באמצעות עימותה עם השערה שמרנית המכונה "השערת האפס". למשל, בבדיקה האם תרופה חדשה שפותחה מאריכה את תוחלת החיים של החולים המשתמשים בה, קיימות שיטות מקובלות לדגום חולים המשתמשים בתרופה וחולים שאינם משתמשים בתרופה, למדוד את תוחלת החיים שלהם ולהכריע בין השערת האפס : "תוחלת החיים של המשתמשים בתרופה אינה ארוכה יותר" ולבין ההשערה החלופית : "תוחלת החיים של המשתמשים בתרופה ארוכה יותר", אשר תוביל לפרסום תגלית מדעית שהתרופה יעילה. בשיטות טיפוסיות נוהגים לחשב מהי ההסתברות p לקבל את תוחלות החיים שנמדדו בפועל בהנחה שהשערת האפס נכונה, ולדחות השערה זו אם ורק אם p קטן מרמת מובהקות שרירותית כלשהי. רמת מובהקות מקובלת מאוד בתחומי הרפואה והביולוגיה הוא 0.05, כלומר רק אם הסיכוי p יהיה קטן מ-0.05 תידחה השערת האפס, וניתן יהיה לפרסם מאמר מדעי המדווח על תגלית - התרופה יעילה באופן "מובהק סטטיסטית". הערך 0.05 הוא שרירותי, שכן עקרונית ניתן היה להחליט כל ערך אחר, והוא מקובל במדע בזכות שמרנותו - הוא מקל בהרבה על קבלת השערת האפס מאשר על דחייתה, ולמעשה מכתיב כי תוכרז תגלית שגויה לכל היותר ב-0.05 (היינו 5%) מן המקרים בהם השערת האפס נכונה.
ואולם השיטות המסורתיות של בדיקת השערות אינן מספקות כאשר יש צורך בבדיקת השערות מרובות. למשל, נניח שבעת ביצוע מחקר בגנטיקה מעוניינים לבדוק את ההשפעה של 10,000 גנים. לשם כך דוגמים פרטים מן האוכלוסייה ומודדים את ההשפעה של 10,000 גנים בכל אחד מהם, כך שיש לבדוק 10,000 השערות: לכל גן נבדקת השערת האפס שאין לו השפעה לעומת ההשערה שיש לו השפעה. רמת מובהקות של 0.05 נראית שמרנית דיה לבדיקת השערה יחידה, אך אם תאומץ לבדיקת כל אחת מ-10,000 ההשערות יש לצפות שאפילו אם אין לאף גן השפעה כלשהי, תתקבלנה בממוצע 0.05*10,000=500 תגליות שגויות של גנים שהם כביכול בעלי השפעה "מובהקת סטטיסטית". מכאן עולה הצורך במבחן סטטיסטי מתוקן להשוואות מרובות. תיקון מסורתי כזה הוא תיקון בונפרוני (על שם המתמטיקאי האיטלקי קרלו אמיליו בונפרוני) אשר דוחה את השערת האפס רק אם ההסתברות p לקבלת התוצאות קטנה מרמת המובהקות המקורית מחולקת במספר ההשערות, במקרה זה ערך מתוקן של 0.05/10,000=0.000005 בלבד. הוכח ששימוש בתיקון בונפרוני מבטיח שההסתברות לקבל ולו תגלית שגויה אחת לא תהיה גדולה מרמת המובהקות.
החסרון בתיקון בונפרוני היא העוצמה הסטטיסטית הנמוכה מאוד שלו. היינו, על מנת להבטיח שאפילו תגלית שגויה אחת לא תעשה, תיקון בונפרוני הוא שמרן מדי, ונוטה להחמיץ תגליות מדעיות אמיתיות. בשל כך נמנעו מדענים רבים מן השימוש בו, או בכל תיקון אחר להשוואות מרובות, וחשפו את עצמם לתגליות שגויות. מצב זה החמיר במיוחד מאז סוף המאה ה-20, משום שההתקדמות הטכנולוגית מאפשרת מדידה אוטומטית של יותר ויותר משתנים בכל ניסוי ותצפית. בשנת 1995 הציעו בנימיני והוכברג להחליף את תיקון בונפרוני ב"שיעור התגליות השגויות" (FDR, ראשי תיבות באנגלית של False Discovery Rate), והראו שהעוצמה הסטטיסטית שלו גדולה בהרבה. כלומר, גם במחקרים המודדים משתנים רבים מאוד בו-זמנית ניתן להבטיח "שמרנות מדעית" ועדיין לקבל תגליות אמיתיות.
הרעיון בבסיס השיטה שהתוו בנימיני והוכברג היה לבקר את היחס שבין מספר התגליות השגויות לבין סך התגליות, במקום את ההסתברות לעשות תגלית שגויה אחת ויחידה. על פי רעיון זה ככל שמתקבלות פחות תגליות, הביטחון באמיתותן יורד, ולכן יש לדרוש שמרנות מחמירה יותר. למעשה, כאשר מספר התגליות הוא אחד בלבד, שיעור התגליות השגויות מתנהג כמו תיקון בונפרוני. לעומת זאת ככל שמתקבלות תגליות רבות יותר, הביטחון שלפחות חלק מהן נכונות עולה, ולכן ניתן לדרוש פחות שמרנות. המשפט שהוכיחו בנימיני והוכברג קובע שקיים כלל הכרעה אשר השימוש בו מסוגל להבטיח כל רמה נדרשת של שיעור תגליות שגויות.

הוכחה

ההוכחה המובאת אינה זו המקורית של בנימיני והוכברג, אלא של Helmut Finner, ‏Thorsten Dickhaus ו-Markus Roters.
נסמן . נשים לב שמתקיים השוויון הקבוצתי .
נניח ללא הגבלת הכלליות כי ההשערות הנכונות הן  עבור  ונשים לב שבסימונים שלנו מתקיים . כמו כן קל לראות כי , ולכן נסיק בהתאם לתוחלת של פונקציה בשני משתנים ומהגדרת הסתברות מותנית:
כעת נשים לב שהצבה של משתנה מקרי בפונקציית ההתפלגות שלו עצמו חסומה על ידי ההתפלגות האחידה, ולכן , ונקבל את החסם:
אם נפרק את הסכום שקיבלנו לאיבר הראשון, , ועוד שאר האיברים, נקבל את הסכום הטלסקופי:
כעת נשים לב שמכך שהקבוצה  היא PRDS נובע כי:
נשים לב עוד כי מהגדרת כלל ההכרעה נובע שעבור  דוחים, כלומר , ולכן . מכאן נקבל בדיוק את החסם הנדרש במשפט: