میزان کشف اشتباه
میزان کشف اشتباه یک روش برای بررسی میزان خطای نوع اول در آزمون فرض‌های همزمان است، که در آن‌ها سطح معنی‌داری تفاوت آماره‌های مختلف در تعداد زیادی آزمون مشابه همزمان سنجیده می‌شود. میزان کشف اشتباه در واقع یک معیار آزادانه‌تر نسبت به میزان خطای خانوادگی (family-wise error rate) است و نشان‌دهندهٔ نسبت فرض‌های واقعاً صفری که توسط آزمون‌ها رد می‌شوند به تمام فرضهایی که توسط آزمون‌ها رد می‌شوند، است .(منظور از کشف در اینجا فرض صفر رد شده‌است) می‌توان نشان داد که در مجموع کنترل این معیار نسبت به کنترل میزان خطای خانوادگی توان آماری بالاتری بدست می‌دهد.
از دهه آخر قرن بیستم، محاسبات الکترونیکی به تنها ابزار برای پیش‌برد تبدیل شد. تقریباً تمامی کاربردهای آمار توسط مجموعه ای از پلتفورم‌های کامپیوتری اجرا می‌شدند. ابزارهایی مانند SAS, SPSS, Minitab, Matlab, S، و بعدها R.
این روند از ابتدای قرن بیست و یکم سرعت گرفت و ابزارهای آماری بیشتر و کاراتر برای تحلیل حجم عظیم داده‌ها ابداع شد. این پیشرفت سریع در واقع مانند دو جنبه داشت، از طرفی ابداع روزافزون روش‌های آماری که به دنبال مجموعه داده‌های بزرگتر بودند و از طرفی تلاش برای نگه داشتن بنیان‌های علمی آمار و تصحیح روش‌های نوین.
برای بسیاری از آماردان‌ها، میکروآرایه‌ها برای اولین بار به عنوان نمونه ای از داده‌های بزرگ-مقیاس مطرح شدند. تکنولوژی میکروآرایه که در واقع یک انقلاب در ابزارهای زیست-پزشکی نوین در اواخر قرن بیستم بود، بررسی فعالیت هزاران ژن را در یک آزمایش ممکن می‌ساخت. با این امکان، نیاز به انجام هزاران آزمون فرض همزمان ایجاد شد. آزمون‌هایی که در نهایت بنا است تا تعداد محدودی از ژن‌ها را به عنوان ژن‌های تأثیرگذار (و با میزان بیان معنی‌دار-متفاوت در گروه تحت آزمون) معرفی کنند.
با رایج شدن تکنولوژی‌های پرتوان، محدودیت‌های فنی یا مالی محققین را مجبور می‌کرد که مجموعه‌داده‌های با تعداد کم نمونه (برای مثال تعداد کم افراد تحت آزمایش) و برای هر نمونه تعداد زیادی متغیر (برای مثلاً هزاران سطح بیان ژنی) جمع‌آوری کنند. در این مجموعه‌داده‌ها، با استفاده از روش‌های کلاسیک تعداد بسیار کمی از متغیرهای اندازه‌گیری‌شده سطح معنی داری آماری بالایی نشان می‌دادند. این چالش در بسیاری از جوامع علمی نیاز به روشی جایگزین را برای معیار میزان خطای خانوادگی و آزمون‌های فرض هم‌زمان تصحیح نشده ایجاد کرد. تا پیش از آن از این روش‌ها به منظور تعیین و رتبه‌بندی متغیرهای تأثیرگذار در مقالات استفاده می‌شد، در حالی که نتایج به دست آمده از این روش‌ها با واقعیت فاصله زیادی داشتند. برای حل این مسئله معیارهای مختلفی پیشنهاد شد که از برخی از آن‌ها در مقالات هم استفاده می‌شد. این معیارها نسبت به میزان خطای خانوادگی آزادانه‌تر عمل کردند.
میزان کشف اشتباه در سال ۱۹۹۵ توسط بنجامینی و هوشبرگ به عنوان یک روش آزادانه‌تر و مسلماً مناسب‌تر در حل این مسئله معرفی شد. معرفی میزان کشف اشتباه یک اتفاق بسیار مهم در این رشته بود، زیرا برای اولین بار به عنوان جایگزین مناسبی برای میزان خطای خانوادگی به خصوص در علوم طبیعی مانند ژنتیک، بیوشیمی و علوم گیاهی شناخته شد. در سال ۲۰۰۵، مقالهٔ بنجامینی و هوشبرگ به عنوان یکی از ۲۵ پرارجاع‌ترین مقالات در زمینهٔ شناخته‌شد.
پیش از معرفی میزان کشف اشتباه در سال ۱۹۹۵ ایده‌های متنوعی مد نظر آماردانان بود. در سال ۱۹۷۹، هولم رویهٔ هولم را پیشنهاد کرد، یک الگوریتم گام به گام برای کنترل کردن میزان خطای خانوادگی که حداقل به اندازهٔ رویهٔ اصلاح بونفرونی دارای توان آماری بود. این الگوریتم گام به گام پی-مقدارها را مرتب می‌کند و به ترتیب فرض‌های صفر را با شروع از کوچکترین پی-مقدار رد می‌کند.
بنجامینی در سال ۲۰۱۰ گفت میزان کشف خطا و مقاله‌اش با هوشبرگ در سال ۱۹۹۵ از دو مقاله با موضوع آزمون‌های هم‌زمان منشأ گرفته‌است:
رویهٔ بنجامینی-هوشبرگ در مقاله آن‌ها در سال ۱۹۹۵ ثابت شد. در سال ۱۹۸۶، سیمِس همان رویه را تحت عنوان رویهٔ سیمس پیشنهاد کرد. این رویه می‌تواند میزان خطای خانوادگی را در حالت ضعیف، زمانی که آماره‌ها مستقل هستند، کنترل کند. در سال ۱۹۸۸، هومل نشان داد که روی سیمس میزان خطای خانوادگی را در حالت قوی آن کنترل نمی‌کند. بر اساس رویهٔ سیمس، هوشبرگ رویهٔ هوشبرگ را در سال ۱۹۸۸ پیشنهاد کرد که می‌توانست میزان خطای خانوادگی را رد حالت قوی و زمانی که مفروضاتی برای وابستگی آماره‌ها وجود داشت، کنترل کند.
بر اساس تعاریف زیر می‌توان formula_4 را به عنوان نسبت از اکتشافات اشتباه به تمام اکتشافات تعریف کرد:
حال میزان کشف اشتباه را می‌توان این‌گونه تعریف کرد:
formula_6
که در آن formula_4 زمانی که formula_8 برابر ۰ می‌شود. می‌خواهیم میزان کشف خطا را کمتر از یک حد formula_9 نگه داریم.
تنظیمات برای بسیاری از روش‌ها به گونه است که ما formula_10 فرض صفر تحت آزمون داریم که formula_11 پی-مقدارهای مربوط به هر آزمون است. ما این پی-مقدارها را از کوچک به بزرگ مرتب می‌کنیم و ترتیب جدید را formula_12 نام‌گذاری می‌کنیم. یک روش که از یک پی-مقدار کوچک به یک مقدار بزرگ می‌رود را روش بالا-گام می‌نامیم. روش پایین-گام هم به همین نحو تعریف می‌شود.
روش بنجامینی-هوشبرگ (که یک روش بالا-گام است)، میزان کشف اشتباه را در سطح نگه می‌دارد. این روش این‌گونه عمل می‌کند:
به لحاظ هندسی، این روش معادل این است که formula_17 را نسبت به K رسم کنیم، یک خط از مبدأ با شیب formula_18 بکشیم و تمام فرض‌های صفر که بالای خط قرار می‌گیرند را رد کنیم.
روش بنجامینی-هوشبرگ زمانی که m آزمون مستقل و همچنین در بسیاری از سناریوهای شامل وابستگی معتبر است. به علاوه نامساوی زیر نیز ارضا می‌شود: اگر تخمینی از formula_20 در روش بنجامینی-هوشبرگ قرار داده شود، دیگر نمی‌توان تضمین کرد که میزان کشف اشتباه در سطح مورد نظر کنترل شود. ممکن است تصحیح‌هایی برای تخمین‌گر مورد نیاز باشد و برای این هم رویکردهای مختلفی پیشنهاد شده‌اند.
توجه داشته باشید که میانگین formula_13 برای این m آزمون برابر formula_22، میانگین(FDR formula_13) یا MFDR، است. به گونه‌ای که formula_13 برای m آزمون مستقل (و یا دارای همبستگی مثبت) تنظیم شده‌است. محاسبه MFDR که در اینجا نشان‌داده خواهد شد، تنها برای یک مقدار است و قسمتی از روش بنجامینی و هوشبرگ نیست. (AFDR را در پایین ببینید)
روش بنجامینی-هوشبرگ-یکوتیکلی میزان کشف اشتباه را تحت فرض همبستگی مثبت کنترل می‌کند. این فرض، آستانه را اصلاح می‌کند و بزرگترین k را این‌گونه میابد که:formula_25
با استفاده از MFDR و فرمول‌های بالا، یک MFDR تصحیح شده، یا AFDR، برای m آزمون مستقل برابر است با formula_29.
راه دیگر برای حل مسئله وابستگی استفاده از روش‌های بوت استرپ و تصادفی‌سازی است.
فرض کنیدformula_30 نسبت تمام فرضهای صفر صحیح به تمام فرض‌ها باشد و بنابراین formula_31 نسبت تمام فرض‌های ناصفر درست خواهد بود. حال ضرب formula_32در میانگین پی-مقدارهای فرضهای رد شده تقسیم بر تعداد فرضهای رد شده تخمینی از میزان کشف اشتباه را بدست می‌دهد.
استفاده از روشی که از معیار میزان کشف اشتباه استفاده می‌کند تطبیقی و مقیاس‌پذیر است. به این معنی که کنترل کردن میزان کشف خطا می‌تواند بسیار آزادانه یا سخت‌گیرانه عمل کند، بسته به تعداد فرض‌های تحت آزمون و سطح معنی داری.
معیار میزان کشف تطبیق پیدا می‌کند به گونه‌ای که تعداد کشف‌های اشتباه (V) نسبت به کل کشف‌ها (R) سنجیده‌می‌شود. این مورد برعکس میزان خطای خانوادگی است. برای مثال اگر ۱۰۰ فرض برای ۱۰۰ جهش ژنتیکی نقطه‌ای برای یافتن رابطه با رخ‌نمود مدنظر باشد:* اگر ما ۴ کشف (R) انجام دهیم، داشتن دو کشف غلط (V) بسیار هزینه‌بر است. در حالی که، * اگر ۵۰ اکتشاف انجام دهیم و ۲ تا از آن‌ها غلط باشند هزینهٔ ما چندان زیاد نیست.
معیار میزان کشف اشتباه مقیاس‌پذیر است به گونه‌ای که نسبت کشف‌های اشتباه به کل کشف‌ها (Q)، برای مقادیر مختلف کل کشف‌ها (R)، معقول باقی می‌ماند.
برای مثال:
معیار میزان کشف خطا در حالتی که یک تصحیح را روی مجموعه‌ای از فرض‌ها انجام می‌دهد، یا دو تصحیح را زمانی انجام می‌دهد که مجموعه به دو بخش تقسیم شده‌است تفاوتی ندارد، به نحوی که در هر دو حالت نحوه عملکرد تصحیح یکسان است.
کنترل میزان کشف اشتباه با استفاده از روش بنجامینی-هوشبرگ گام-بالا خطی در سطح q، ویژگی‌های مختلفی مرتبط با ساختار وابستگی بین آماره‌های آزمون m فرض صفر دارد. در هر یک از شرایط زیر برای آماره‌های آزمون داریم:
اگر تمام فرض‌های صفر درست باشند (formula_39)، کنترل میزان کشف اشتباه در سطح q کنترل روی میزان خطای خانوادگی را تضمین می‌کند (به این استفاده «کنترل ضعیف میزان خطای خانوادگی هم می‌گویند): formula_40 فقط به خاطر این‌که رد کردن حداقل یکی از فرض‌های صفر درست formula_41 دقیقاً معادل formula_42formula_43 دقیقاً معادل formula_44formula_45, formula_46). اما چنانچه تعدادی کشف درست صورت گیرد (formula_47) خواهیم داشت . در این حالت جا برای بالابردن توان تشخصی وجود خواهد داشت. این همچنین به این معنا است که هر روشی که میزان خطای خانوادگی را کنترل کند، می‌تواند میزان کشف اشتباه را هم کنترل کند.
پیش و پس از میزان کشف اشتباه، انواع و اقسام میزان‌ها معرفی شدند که برخی از آن‌ها در ادامه آمده‌است:
میزان پوشش خطا در واقع تعبیری از بازهٔ اطمینان است. میزان پوشش خطا متوسط میزان پوشش اشتباه را نشان می‌دهد. به عبارت دیگر پوششی که پارامترهای صحیح را نمی‌پوشاند. این میزان یک پوشش همزمان در سطح 1-\alpha را برای تمام پارامترهای تحت نظر مسئله بدست می‌دهد. بازه‌هایی با احتمال پوشش ۱−q می‌توانند میزان پوشش خطا را در سطح q نگه دارند. روش‌های زیادی هم برای کنترل این میزان ایجاد شده‌اند.
تا کنون برخی دانشمندان تلاش کرده‌اند به گونه‌ای میزان کشف اشتباه را به روش‌های بیزی مرتبط کنند، از آن برای انتخاب مدل استفاده کنند و بازهٔ اطمینان را به میزان پوشش اشتباه مرتبط کنند.
کولهون در سال ۲۰۱۴ از عبارت میزان کشف اشتباه برای تعریف احتمال اینکه یک نتیجهٔ معنی‌دار یک مثبت اشتباه یا (false positive) باشد، استفاده کرد. این نتیجهٔ حاصل یک تحقیق برای پاسخ به این سؤال بود که «چگونه باید پی-مقدار پیدا شده در یک آزمون بی جهت (unbiased) را تفسیر کرد؟». در کارهای بعدی کولهون، آن مقدار را میزان مثبت اشتباه (false positive rate) به جای میزان کشف اشتباه خواند تا از ایجاد کژتابی با مفاهیم قبلی جلوگیری کند. روش‌هایی برای کنترل این میزان هم ایجاد شده‌است.