روش اعتبارسنجی متقاطع

نمودار k-fold اعتبارسنجی متقاطع با k=۴.
اعتبارسنجی متقاطع ، یک روش ارزیابی مدل است که تعیین می‌نماید نتایج یک تحلیل آماری بر روی یک مجموعه داده تا چه اندازه قابل تعمیم و مستقل از داده‌های آموزشی است. این تکنیک بطور ویژه در کاربردهای پیش‌بینی مورد استفاده قرار می‌گیرد تا مشخص شود مدل موردنظر تا چه اندازه در عمل مفید خواهد بود. بطور کلی یک دور از اعتبارسنجی ضربدری شامل افراز داده‌ها به دو زیرمجموعه مکمل، انجام تحلیل بر روی یکی از آن زیرمجموعه‌ها (داده‌های آموزشی) و اعتبارسنجی تحلیل با استفاده از داده‌های مجموعه دیگر است (داده‌های اعتبارسنجی یا تست). برای کاهش پراکندگی، عمل اعتبارسنجی چندین بار با افرازهای مختلف انجام و از نتایج اعتبارسنجی‌ها میانگین گرفته می‌شود. در اعتبارسنجی متقاطع K لایه، داده‌ها به K زیرمجموعه افراز می‌شوند. از این K زیرمجموعه، هر بار یکی برای اعتبارسنجی و K-1 تای دیگر برای آموزش بکار می‌روند. این روال K بار تکرار می‌شود و همه داده‌ها دقیقا یکبار برای آموزش و یکبار برای اعتبارسنجی بکار می‌روند. در نهایت میانگین نتیجه این K بار اعتبارسنجی به عنوان یک تخمین نهایی برگزیده می‌شود. به‌طور معمول از روش اعتبارسنجی پنج لایه یا ده لایه در پژوهش‌های مدل‌سازی و پیش‌بینی استفاده می‌شود.
هدف اعتبارسنجی متقابل
فرض کنید ما یک مدل با یک یا چند پارامتر ناشناخته داریم و یک مجموعه داده که مدل مناسب است (مدل آموزشی). اگر ما یک نمونه مستقل از داده‌های اعتبارسنجی از همان جمعیت را به عنوان داده‌های آموزش در نظر بگیریم، به‌طور کلی معلوم می‌شود که این مدل داده‌های اعتبارسنجی متناسب با داده‌های آموزش نمی‌باشد. اندازه این تفاوت احتمالا بزرگ است، به خصوص اگر اندازه مجموعه داده‌های آموزشی کوچک باشد یا زمانی که تعداد پارامترهای موجود در مدل بزرگ باشد. اعتبارسنجی متقابل یک راه برای برآورد اندازه این اثر است. در رگرسیون خطی، مقادیر پاسخ واقعی و n تا بردار pبعدی واریانس را داریم. اجزای هر بردار به صورت است. اگر ما از کمترین مربعات برای متناسب سازی یک تابع به فرم هیپرپلن به داده‌های استفاده کنیم، در واقع از خطای میانگین مربعات استفاده کرده‌ایم. این خطا برای پارامتر تخمین زده شده a به صورت زیر است:
اگر مدل به درستی مشخص شده باشد می‌توان آن را در زیر فرض‌های خفیف نشان داد، که ارزش مورد انتظار MSE برای مجموعه آموزشی است؛ بنابراین اگر ما مدل را محاسبه کنیم و محاسبات MSE را بر روی مجموعه آموزش انجام دهیم، ما یک ارزیابی دارای بایاس و محرمانه از اینکه چگونه مدل یک مجموعه داده مستقل مناسب خواهد بود، دریافت خواهیم کرد. تخمین بایاس شده را دربرآورد نمونه از تناسب می‌نامند، در حالیکه اعتبارسنجی متقابل یک برآورد غیر نمونه است.
انواع متداول اعتبارسنجی متقابل
دو نوع متقابل اعتبارسنجی متمایز موجود است، اعتبارسنجی جامع و غیر جامع.
اعتبارسنجی جامع
روش‌های اعتبارسنجی جامع روش‌های اعتبارسنجی متقابل هستند که تمام روش‌های ممکن برای تقسیم نمونه اصلی را به یک آموزش و یک مجموعه اعتبارسنجی تست می‌کنند.
اعتبار سنجی خارج از صفحه
اعتبارسنجی خارج از صفحه، شامل استفاده از مشاهدات P به عنوان اعتبار سنجی و مشاهدات باقی مانده به عنوان مجموعه آموزشی است. این امر در تمام روش‌ها برای کاهش نمونه اصلی در مجموعه اعتبار سنجی مشاهدات و یک مجموعه آموزشی تکرار می‌شود. این روش نیازمند آموزش و تایید مدل بار است جایی که تعداد مشاهدات در نمونه اصلی است و ضریب دو جمله‌ای است. برای و هر مقدار متوسط بزرگ این روش می‌تواند از نظر محاسباتی غیر عملی باشد. برای مثال با و صد در صد .
اعتبار سنجی یک طرفه
اعتبار سنجی یک طرفه (loocv) یک مورد خاص از اعتبار سنجی متقابل با است. این فرایند شبیه جک نایف است؛ با این حال، با اعتبار سنجی متقابل، آمار روی نمونه سمت چپ را محاسبه می‌کند، در حالی که جک نایف تنها یک آمار از نمونه‌های نگه‌داشته شده را محاسبه می‌کند. اعتبار سنجی یک طرفه نیازمند زمان محاسباتی کمتری نسبت به اعتبار سنجی متقابل است زیرا تنها به این دلیل وجود دارد که به جای عبور می‌کند. اگرچه ممکن است هنوز به زمان محاسبات زیادی نیاز داشته باشد، که در این صورت روش‌های دیگری مانند روش اعتبار سنجی k فولد ممکن است مناسب‌تر باشد.
الگوریتم شبه کد
ورودی
x{ بردار طول N با مقادیر x - مقدار نقاط داده
y{بردار طول N با مقادیر y از نقاط داده
خروجی
err{تخمین خطای پیش‌بینی
مراحل
err ← ۰
برای i ← 1, . . . , N
تعریف زیر مجموعه‌هایی که اعتبار سنجی را تعریف کنید:
x_in ← (x1, . . . , xi − 1, xi + 1, . . . , xN)
y_in ← (y1, . . . , yi − 1, yi + 1, . . . , yN
x_out ← xi
(x_in, y_in, x_out, y_out)
err ← err + (yi − y_out)^2
end for
err ← err/N
اعتبار سنجی فراگیر
روش‌های اعتبار سنجی فراگیر، تمام روش‌های تقسیم نمونه اصلی را محاسبه نمی‌کنند. این روش‌ها تقریب‌هایی از اعتبار سنجی متقابل را نشان می‌دهند.
اعتبار سنجی متقابل k-fold:
در این نوع اعتبار سنجی متقابل، نمونه اصلی به‌طور تصادفی به زیر نمونه‌های فرعی با اندازه k تقسیم می‌شود. از زیر نمونه‌های فرعی k، یک زیر نمونه منفرد به عنوان داده‌های اعتبار سنجی برای تست مدل حفظ می‌شودو زیر نمونه‌های k - ۱ به عنوان داده‌های آموزشی استفاده می‌شوند. سپس فرایند اعتبارسنج متقابل، که k بار تکرار می‌شود، با هر یک از نمونه‌های k به‌طور دقیق یک بار به عنوان داده‌های اعتبار سنجی مورد استفاده قرار می‌گیرد. پس از آن نتایج k می‌تواند برای تولید یک برآورد واحد به‌طور میانگین قرار بگیرد. مزیت این روش بیش از نمونه‌گیری تصادفی تکراری است (مراجعه به پایین) و در واقع این است که همه مشاهدات برای هر دو آموزش و اعتبار مورد استفاده قرار می‌گیرند، و هر مشاهده برای اعتبارسنجی به‌طور دقیق استفاده می‌شود.
برای مثال، تعیین k = ۲، در اعتبار سنجی متقابل k-fold برابر ۲ است. در اعتبار سنجی متقابل 2-fold ما به‌طور تصادفی مجموعه داده‌ها را به دو دسته و جابجا می‌کنیم. به طوری که هر دو مجموعه با اندازه مساوی باشند. این روش یک اعتبار سنجی متقابل خارج از صفحه است. این دسته‌ها به گونه‌ای انتخاب شده‌اند که مقدار پاسخ متوسط تقریبا در همه دسته‌ها برابر است. در طبقه‌بندی دوتایی، این به این معنی است که هر دسته تقریبا شامل نسبت‌های مشابه دو نوع از برچسب‌های کلاس می‌باشد.
روش برگزاری:
در روش holdout، ما به‌طور تصادفی نقاط داده را به دو مجموعه و اختصاص می‌دهیم که به ترتیب مجموعه آموزشی و مجموعه تست نامیده می‌شوند. اندازه هر یک از مجموعه‌ها اختیاری است اگر چه معمولا مجموعه تست از مجموعه آموزشی کوچک‌تر است. در اعتبار سنجی متقابل معمول، چندین دور با هم جمع می‌شوند؛ در مقابل، روش برگزاری، به تنهایی، شامل یک اجرا است.
اعتبار سنجی تصادفی زیر نمونه تکراری
این روش که به عنوان اعتبار سنجی مونت کارلو شناخته می‌شود، داده‌ها را به‌طور تصادفی به آموزش و اعتبار سنجی تقسیم می‌کند. برای هر کدام از این تفکیک، مدل متناسب با داده‌های آموزشی است، و دقت پیش‌بینی با استفاده از داده‌های اعتبار سنجی ارزیابی می‌شود.نتایج پس از آن تقسیم می‌شود. مزیت این روش این است که نسبت بخش آموزش / اعتبار سنجی به تعداد تکرارها بستگی ندارد. عیب این روش این است که برخی از مشاهدات ممکن است هرگز در اعتبار سنجی زیر نمونه انتخاب نشوند، در حالی که برخی دیگر ممکن است بیش از یک‌بار انتخاب شوند. به عبارت دیگر، اعتبار مجموعه‌ها ممکن است همپوشانی داشته باشند. این روش همچنین تغییر مونت کارلو را نشان می‌دهد، به این معنی که اگر تحلیل با تقسیم تصادفی متفاوتی تکرار شود، نتایج تغییر خواهند کرد. همان‌طور که تعداد تقسیم تصادفی به بی‌نهایت نزدیک می‌شود، نتیجه اعتبار سنجی نمونه‌گیری تصادفی تکرار شونده به سمت اعتبارسنجی متقابل از متمایل می‌شود. در یک نوع لایه‌ای از این روش، نمونه‌های تصادفی به گونه‌ای تولید می‌شوند که مقدار پاسخ میانگین (یعنی متغیر وابسته در رگرسیون) در مجموعه آموزشی و آزمایش برابر است.
معیارهای تناسب
هدف از اعتبار سنجی، تخمین سطح مورد انتظار تناسب یک مدل به مجموعه داده‌است که مستقل از داده‌هایی است که برای آموزش مدل به کار رفته‌است. این روش می‌تواند برای تخمین هر نوع اندازه‌گیری کمی مناسب که برای داده‌ها و مدل مناسب است، استفاده شود. برای مثال، برای مشکلات طبقه‌بندی دوتایی، هر مورد در مجموعه اعتبار سنجی به درستی یا نادرستی پیش‌بینی می‌شود. در این شرایط نرخ خطای طبقه‌بندی را می‌توان برای خلاصه کردن تناسب مورد استفاده قرار داد، اگرچه اقدامات دیگری مانند ارزش پیش‌بینی‌کننده مثبت نیز می‌تواند مورد استفاده قرار گیرد. هنگامی که مقدار پیش‌بینی‌شده به‌طور پیوسته توزیع می‌شود، خطای مربع میانگین، خطای جذر میانگین ریشه یا انحراف مطلق میانه می‌تواند برای خلاصه کردن خطاها بکار رود.
ویژگی‌های آماری
فرض کنید که ما یک معیار برای ترکیب F را انتخاب کرده و از اعتبار سنجی متقابل برای تولید برآوردی ازیک مدل داده‌های مستقل تنظیم‌شده از همان جمعیت به عنوان داده‌های آموزشی استفاده کنیم. اگر ما یک مجموعه آموزشی مستقل چندگانه را پس از توزیع یک‌سان تصور کنیم مقادیر حاصله برای تغییر خواهد کرد. خواص آماری از این تنوع حاصل می‌شود. برآورد کننده اعتبار سنجی (F) تقریبا بدون بایاس برای EF است. دلیل اینکه کمی دارای بایاس است این است که مجموعه آموزشی در اعتبار سنجی متقابل کمی کوچک‌تر از مجموعه داده واقعی است. در تقریبا تمام شرایط، تاثیر این بایاس در این حالت محافظه کارانه خواهد بود که تناسب برآورد شده کمی در جهت پیشنهاد تناسب ضعیف متمایل خواهد بود. در عمل، این بایاس به ندرت یک نگرانی محسوب می‌شود. واریانس می‌تواند بزرگ باشد. به همین دلیل، اگر دو روش آماری بر اساس نتایج اعتبارسنجی مقایسه شود، مهم است که توجه داشته باشید که روش با عملکرد برآورد بهتر، در واقع بهتر از دو روش دیگر نیست. برخی از پیشرفت در ایجاد فاصله‌های اطمینان حول برآورده‌ای اعتبار سنجی متقابل انجام شده‌است، اما این مسئله یک مشکل دشوار در نظر گرفته می‌شود.
مسائل محاسباتی
اکثر فرمهای اعتبار سنجی متقابل، تا زمانی که اجرای روش پیش‌بینی مورد مطالعه موجود باشد، آسان است. به‌طور خاص، روش پیش‌بینی می‌تواند یک " جعبه سیاه " باشد - نیازی به دسترسی داخلی به اجرای آن نیست. اگر روش پیش‌بینی هزینه‌بر باشد، اعتبار سنجی متقابل می‌تواند بسیار کند باشد چون آموزش باید به‌طور مکرر انجام شود. در برخی موارد از جمله حداقل مربعات و رگرسیون هسته، اعتبار سنجی متقابل می‌تواند به‌طور قابل‌توجهی با استفاده از مقادیر خاص از قبل محاسبه شود که در آموزش یا با استفاده از قواعد به روز رسانی سریع مانند فرمول شرمن - موریسون نیز مورد نیاز هستند. با این حال باید مراقب باشید که "کل خیره شدن" مجموعه اعتبار سنجی از روش آموزش حفظ شود، در غیر این صورت ممکن است منجر به بایاس شود.
محدودیت‌ها و سوء استفاده
اگر اعتبار سنجی و مجموعه آموزشی از همان جمعیت کشیده شوند و تنها در صورتی که تعصبات انسانی کنترل شوند، اعتبار سنجی تنها نتایج معنی‌دار به دست می‌دهد. در بسیاری از کاربردهای مدلسازی پیشگویانه، ساختار سیستم مورد مطالعه در طول زمان تکامل می‌یابد. هر دوی اینها می‌توانند تفاوت‌های سیستماتیک بین آموزش و مجموعه‌های اعتبار سنجی را معرفی کنند. به عنوان مثال، اگر مدلی برای پیش‌بینی ارزش‌های سهام برای یک دوره پنج ساله خاص آموزش داده شود، برای درمان دوره پنج ساله بعدی به عنوان یک رسم از همان جمعیت غیر واقعی است. به عنوان مثال دیگر، فرض کنید یک مدل برای پیش‌بینی خطر فرد برای تشخیص بیماری خاص در سال آینده داده شده‌است. اگر مدل با استفاده از داده از یک مطالعه شامل تنها یک گروه خاص جمعیت آموزش‌دیده باشد (به عنوان مثال جوانان یا مذکر)، اما بعد از آن برای جمعیت عمومی اعمال می‌شود، اعتبار سنجی متقابل از مجموعه آموزشی می‌تواند تا حد زیادی از عملکرد پیش‌بینی‌کننده واقعی متفاوت باشد. در بسیاری از کاربردها، مدل‌ها نیز ممکن است به‌طور نادرستی مشخص بوده و به عنوان تابعی از تعصبات و/ یا انتخاب‌های دل‌خواه متفاوت باشند. هنگامی که این اتفاق رخ می‌دهد، ممکن است این توهم باشد که سیستم در نمونه‌های خارجی تغییر می‌کند، در حالی که دلیل آن این است که مدل یک پیش‌بینی‌کننده انتقادی را از دست داده‌است و / یا یک پیشگویی اشتباه است. شواهد جدید این است که اعتبار سنجی متقابل به خودی خود دارای اعتبار بیرونی نیست، در حالی که یک شکل از اعتبار سنجی تجربی شناخته‌شده به عنوان نمونه‌گیری جایگزین که کنترل خطای انسانی را کنترل می‌کند، می‌تواند پیش‌بینی‌کننده بیشتری از اعتبار خارجی باشد.دلیل موفقیت نمونه گیری جابجایی یک کنترل داخلی ساخته شده برای بایاس انسانی در ساخت مدل است.
در ادامه روش‌های دیگری که اعتبار سنجی را مورد سواستفاده قرار می‌دهد بیان می‌کنیم:
با انجام یک آنالیز اولیه برای شناسایی مناسب‌ترین ویژگی‌ها با استفاده از کل مجموعه داده‌ها- اگر انتخاب ویژگی یا تنظیم مدل با روش مدل‌سازی مورد نیاز باشد، باید در هر مجموعه آموزشی تکرار شود.در غیر این صورت، پیش‌بینی‌ها به طور حتم بایاس خواهند داشت. اگر اعتبار سنجی متقابل برای تصمیم گیری بر روی ویژگی‌هایی که استفاده می‌شود مورد استفاده قرار گیرد، یک اعتبار درونی متناوب برای انجام انتخاب ویژگی در هر مجموعه آموزشی باید انجام شود.
با اجازه دادن به برخی از داده‌های آموزشی که باید در مجموعه تست گنجانده شوند. این می‌تواند به علت جفت شدن در مجموعه داده‌ها اتفاق بیفتد، که در آن برخی از نمونه‌های دقیقا یکسان یا تقریبا یکسان در مجموعه داده وجود دارد. توجه داشته باشید که تا حدی، حتی در نمونه‌های کاملا مستقل آموزش و اعتبار سنجی، همواره است. زیرا برخی از مشاهدات نمونه‌های آموزشی، مقادیر تقریبی یکسان از پیش بینی‌ها را به عنوان مشاهدات نمونه‌های اعتبار سنجی می‌سنجند. اگر چنین یک مدل معتبر متقابل از مجموعه k-fold انتخاب شده باشد، بایاس انسانی در کار خواهد بود و تعیین می‌کند که مدل معتبر است.
اعتبار متقاطع برای مدل‌های سری زمانی
از آنجا که ترتیب داده‌ها مهم است، اعتبار سنجی متقابل ممکن است برای مدل‌های سری‌های زمانیمشکل‌ساز باشد.یک رویکرد مناسب ممکن است استفاده از زنجیره سازی جلوسو باشد.
کاربرد
اعتبار متقابل را می‌توان برای مقایسه عملکرد رویه‌های مدلسازی پیشگویانه مختلف مورد استفاده قرار داد.برای مثال، فرض کنید که ما به نویسه خوان نوری علاقه‌مند هستیم و ما در حال بررسی استفاده از هر دو ماشین بردار پشتیبانی و الگوریتم نزدیکترین همسایگان k هستیم.با استفاده از اعتبار سنجی متقابل، می‌توانیم این دو روش را به صورت دقیق مقایسه کنیم.اگر ما روش‌های مبتنی بر نرخ خطای نمونه آن‌ها را مقایسه کنیم، به نظر می‌رسد روش KNN بهتر عمل کند. اعتبار سنجی متقابل نیز می‌تواند در انتخاب متغیر استفاده شود.فرض کنید که ما از سطوح بیان ۲۰ پروتیین برای پیش‌بینی اینکه آیا یک بیمار سرطانی به یک دارو واکنش شان می‌دهد یا خیر استفاده می‌کنیم.یک هدف عملی تعیین این است که کدام زیرمجموعه از ۲۰ ویژگی باید برای تولید بهترین مدل پیش‌بینی ستفاده شود.برای اکثر روش‌های مدل سازی، اگر ما از زیرمجموعه‌های ویژگی با استفاده از نرخ خطا در نمونه مقایسه کنیم، بهترین عملکرد زمانی رخ خواهد داد که تمام 20 ویژگی استفاده شود.با این حال تحت اعتبار متقابل، مدل با بهترین تناسب، به طور کلی شامل یک زیر مجموعه از ویژگی‌هایی است که واقعا مفید هستند.
بوستینگ
جمع آوری بوت استرپ
بوت‌استرپینگ (آمار)
انتخاب مدل
نمونه‌سازی مجدد (آمار)
ثبات ( نظریه یادگیری )
اعتبار ( آمار )