میزان کشف اشتباه

میزان کشف اشتباه یک روش برای بررسی میزان خطای نوع اول در آزمون فرض‌های همزمان است، که در آن‌ها سطح معنی‌داری تفاوت آماره‌های مختلف در تعداد زیادی آزمون مشابه همزمان سنجیده می‌شود. میزان کشف اشتباه در واقع یک معیار آزادانه‌تر نسبت به میزان خطای خانوادگی (family-wise error rate) است و نشان‌دهندهٔ نسبت فرض‌های واقعاً صفری که توسط آزمون‌ها رد می‌شوند به تمام فرضهایی که توسط آزمون‌ها رد می‌شوند، است .(منظور از کشف در اینجا فرض صفر رد شده‌است) می‌توان نشان داد که در مجموع کنترل این معیار نسبت به کنترل میزان خطای خانوادگی توان آماری بالاتری بدست می‌دهد.

مقدمه

از دهه آخر قرن بیستم، محاسبات الکترونیکی به تنها ابزار برای پیش‌برد تبدیل شد. تقریباً تمامی کاربردهای آمار توسط مجموعه ای از پلتفورم‌های کامپیوتری اجرا می‌شدند. ابزارهایی مانند SAS, SPSS, Minitab, Matlab, S، و بعدها R.
این روند از ابتدای قرن بیست و یکم سرعت گرفت و ابزارهای آماری بیشتر و کاراتر برای تحلیل حجم عظیم داده‌ها ابداع شد. این پیشرفت سریع در واقع مانند دو جنبه داشت، از طرفی ابداع روزافزون روش‌های آماری که به دنبال مجموعه داده‌های بزرگتر بودند و از طرفی تلاش برای نگه داشتن بنیان‌های علمی آمار و تصحیح روش‌های نوین.
برای بسیاری از آماردان‌ها، میکروآرایه‌ها برای اولین بار به عنوان نمونه ای از داده‌های بزرگ-مقیاس مطرح شدند. تکنولوژی میکروآرایه که در واقع یک انقلاب در ابزارهای زیست-پزشکی نوین در اواخر قرن بیستم بود، بررسی فعالیت هزاران ژن را در یک آزمایش ممکن می‌ساخت. با این امکان، نیاز به انجام هزاران آزمون فرض همزمان ایجاد شد. آزمون‌هایی که در نهایت بنا است تا تعداد محدودی از ژن‌ها را به عنوان ژن‌های تأثیرگذار (و با میزان بیان معنی‌دار-متفاوت در گروه تحت آزمون) معرفی کنند.
با رایج شدن تکنولوژی‌های پرتوان، محدودیت‌های فنی یا مالی محققین را مجبور می‌کرد که مجموعه‌داده‌های با تعداد کم نمونه (برای مثال تعداد کم افراد تحت آزمایش) و برای هر نمونه تعداد زیادی متغیر (برای مثلاً هزاران سطح بیان ژنی) جمع‌آوری کنند. در این مجموعه‌داده‌ها، با استفاده از روش‌های کلاسیک تعداد بسیار کمی از متغیرهای اندازه‌گیری‌شده سطح معنی داری آماری بالایی نشان می‌دادند. این چالش در بسیاری از جوامع علمی نیاز به روشی جایگزین را برای معیار میزان خطای خانوادگی و آزمون‌های فرض هم‌زمان تصحیح نشده ایجاد کرد. تا پیش از آن از این روش‌ها به منظور تعیین و رتبه‌بندی متغیرهای تأثیرگذار در مقالات استفاده می‌شد، در حالی که نتایج به دست آمده از این روش‌ها با واقعیت فاصله زیادی داشتند. برای حل این مسئله معیارهای مختلفی پیشنهاد شد که از برخی از آن‌ها در مقالات هم استفاده می‌شد. این معیارها نسبت به میزان خطای خانوادگی آزادانه‌تر عمل کردند.

روش‌های کنترل

تنظیمات برای بسیاری از روش‌ها به گونه است که ما  فرض صفر تحت آزمون داریم که  پی-مقدارهای مربوط به هر آزمون است. ما این پی-مقدارها را از کوچک به بزرگ مرتب می‌کنیم و ترتیب جدید را  نام‌گذاری می‌کنیم.
یک روش که از یک پی-مقدار کوچک به یک مقدار بزرگ می‌رود را روش بالا-گام می‌نامیم. روش پایین-گام هم به همین نحو تعریف می‌شود.

تخمین میزان کشف اشتباه

فرض کنید نسبت تمام فرضهای صفر صحیح به تمام فرض‌ها باشد و بنابراین  نسبت تمام فرض‌های ناصفر درست خواهد بود. حال ضرب در میانگین پی-مقدارهای فرضهای رد شده تقسیم بر تعداد فرضهای رد شده تخمینی از میزان کشف اشتباه را بدست می‌دهد.

نسبت فرض‌های درست

اگر تمام فرض‌های صفر درست باشند ()، کنترل میزان کشف اشتباه در سطح q کنترل روی میزان خطای خانوادگی را تضمین می‌کند (به این استفاده «کنترل ضعیف میزان خطای خانوادگی هم می‌گویند):  
فقط به خاطر این‌که رد کردن حداقل یکی از فرض‌های صفر درست   دقیقاً معادل  دقیقاً معادل , ). اما چنانچه تعدادی کشف درست صورت گیرد () خواهیم داشت FWER ≥ FDR. در این حالت جا برای بالابردن توان تشخصی وجود خواهد داشت. این همچنین به این معنا است که هر روشی که میزان خطای خانوادگی را کنترل کند، می‌تواند میزان کشف اشتباه را هم کنترل کند.

میزان پوشش اشتباه

میزان پوشش خطا در واقع تعبیری از بازهٔ اطمینان است. میزان پوشش خطا متوسط میزان پوشش اشتباه را نشان می‌دهد. به عبارت دیگر پوششی که پارامترهای صحیح را نمی‌پوشاند. این میزان یک پوشش همزمان در سطح 1-\alpha را برای تمام پارامترهای تحت نظر مسئله بدست می‌دهد. بازه‌هایی با احتمال پوشش ۱−q می‌توانند میزان پوشش خطا را در سطح q نگه دارند. روش‌های زیادی هم برای کنترل این میزان ایجاد شده‌اند.

رویکردهای بیزی

تا کنون برخی دانشمندان تلاش کرده‌اند به گونه‌ای میزان کشف اشتباه را به روش‌های بیزی مرتبط کنند، از آن برای انتخاب مدل استفاده کنند و بازهٔ اطمینان را به میزان پوشش اشتباه مرتبط کنند.

میزان مثبت اشتباه در تک آزمون‌ها

کولهون در سال ۲۰۱۴ از عبارت میزان کشف اشتباه برای تعریف احتمال اینکه یک نتیجهٔ معنی‌دار یک مثبت اشتباه یا (false positive) باشد، استفاده کرد. این نتیجهٔ حاصل یک تحقیق برای پاسخ به این سؤال بود که «چگونه باید پی-مقدار پیدا شده در یک آزمون بی جهت (unbiased) را تفسیر کرد؟». در کارهای بعدی کولهون، آن مقدار را میزان مثبت اشتباه (false positive rate) به جای میزان کشف اشتباه خواند تا از ایجاد کژتابی با مفاهیم قبلی جلوگیری کند. روش‌هایی برای کنترل این میزان هم ایجاد شده‌است.