راهنمای نهایی ارزیابی و انتخاب مدل ها در یادگیری ماشین

در سطح بالا، یادگیری ماشین اتحاد آمار و محاسبات است. معمای یادگیری ماشین حول مفهوم الگوریتم ها یا مدل هایی می چرخد که در واقع برآوردهای آماری بر روی استروئیدها هستند.با این حال، هر مدل داده شده بسته به توزیع داده ها محدودیت های متعددی دارد. هیچ یک از آنها می تواند به طور کامل دقیق از آنجایی که آنها فقط برآورد (حتی اگر در استروئیدها). این محدودیت ها به طور مردمی با نام سوگیری و واریانس شناخته می شوند.یک مدل با سوگیری بالا با توجه ن کردن زیاد به نقاط تمرینی بیش از حد ساده خواهد شد (به عنوان مانند: در رگرسیون خطی، صرف نظر از توزیع داده ها، مدل همیشه یک رابطه خطی را فرض خواهد کرد).مدلی با واریانس بالا با عمومی ن کردن نقاط آزمونی که قبلاً ندیده است خود را به داده های آموزشی محدود خواهد کرد (به عنوان مثال: جنگل تصادفی با (.max_depth = Noneمسئله زمانی مطرح می شود که محدودیت ها ظریف باشند، مانند زمانی که باید بین یک الگوریتم جنگلی تصادفی و یک الگوریتم تقویت کننده گرادیان یا بین دو تغییر الگوریتم درخت تصمیم یکسان انتخاب کنیم. هر دو تمایل به واریانس بالا و سوگیری پایین.این جایی است که انتخاب مدل و ارزیابی مدل به بازی می آیند!در این مقاله در مورد آن صحبت خواهیم کرد:• انتخاب مدل و ارزیابی مدل چه هستند؟• روش های انتخاب مدل موثر (نمونه گیری مجدد و رویکردهای احتمالاتی)• روش های ارزیابی مدل محبوب• مدل یادگیری ماشین مهم تجارت آفانتخاب مدل و ارزیابی مدل چه هستند؟ارزیابی مدل روشی برای ارزیابی درستی مدل ها بر روی داده های آزمون است. داده های آزمون شامل نقاط داده ای است که قبلاً توسط مدل دیده نشده اند.انتخاب مدل تکنیکی برای انتخاب بهترین مدل پس از ارزیابی مدل های فردی بر اساس معیارهای مورد نیاز است.انواع انتخاب مدل :روش های نمونه گیریروش های نمونه گیری مجدد روش ها، همان طور که از نامش پیداست، تکنیک های ساده تنظیم مجدد نمونه های داده برای بازرسی در صورتی هستند که مدل بر روی نمونه های داده ای که بر روی آن آموزش دیده اند، به خوبی عمل کند. به عبارت دیگر، نمونه برداری مجدد به ما کمک می کند تا بفهمیم آیا مدل به خوبی عمومی خواهد شد یا نهاسپلیت های تصادفیاسپلیت های تصادفی برای نمونه برداری تصادفی درصدی از داده ها در مجموعه های آموزش، آزمایش، و ترجیحاً اعتبارسنجی استفاده می شوند. مزیت این روش این است که شانس خوبی وجود دارد که جمعیت اصلی در هر سه مجموعه به خوبی نشان داده شود. به عبارت رسمی تر، تقسیم تصادفی از نمونه برداری مغرضانه از داده ها جلوگیری خواهد کرد.توجه به استفاده از مجموعه اعتبارسنجی در انتخاب مدل بسیار مهم است. مجموعه اعتبارسنجی مجموعه آزمون دوم است و ممکن است یکی بپرسد، چرا دو مجموعه آزمون دارند؟در فرایند انتخاب ویژگی ها و تنظیم مدل، از مجموعه آزمون برای ارزیابی مدل استفاده می شود. یعنی پارامترهای مدل و مجموعه ویژگی ها به گونه ای انتخاب می شوند که نتیجه مطلوبی بر روی مجموعه آزمون می دهند. به این ترتیب از مجموعه اعتبارسنجی که نقاط داده ای کاملاً غیرممکن دارد (در ماژول های تنظیم و انتخاب ویژگی ها استفاده نشده است) برای ارزیابی نهایی استفاده می شود.تقسیم مبتنی بر زمانبرخی از انواع داده ها وجود دارد که در آن تقسیم تصادفی امکان پذیر نیست. به عنوان مثال اگر مجبور به آموزش مدلی برای پیش بینی آب و هوا کنیم، نمی توانیم داده ها را به طور تصادفی به مجموعه های آموزشی و آزمایش تقسیم کنیم. این خواهد شد تا الگوی فصلی jumble! چنین داده هایی اغلب با اصطلاح – سری زمانی به آن ها گفته می شود.در چنین مواردی از یک انشعاب عاقلانه زمانی استفاده می شود. مجموعه آموزشی می تواند داده هایی برای سه سال گذشته و 10 ماه سال جاری داشته باشد. دو ماه اخیر را می توان برای مجموعه آزمایش یا اعتبارسنجی رزرو کرد.همچنین یک مفهوم از مجموعه پنجره وجود دارد - که در آن مدل تا یک تاریخ خاص آموزش دیده و آزمایش بر روی تاریخ های آینده به طور آزمایشی به گونه ای که پنجره آموزش نگه می دارد افزایش تغییر در یک روز (در نتیجه، مجموعه آزمون نیز کاهش می یابد توسط یک روز). مزیت این روش این است که مدل را تثبیت می کند و زمانی که مجموعه تست بسیار کوچک است از اضافه کاری جلوگیری می کند (بگویید، ۳ تا ۷ روز).با این حال، اشکال داده های سری زمانی این است که رویدادها یا نقاط داده به طور متقابل مستقل نیستند. یک رویداد ممکن است بر هر ورودی داده ای که پس از آن دنبال می شود تاثیر بگذارد.به عنوان مثال، تغییر در حزب حاکم ممکن است آمار جمعیت را برای سال های پس از آن به طور قابل توجهی تغییر دهد. یا همه گیر بدنام کروناویروس قرار است تا چند سال آینده تاثیر گسترده ای بر داده های اقتصادی داشته باشد.هیچ مدل یادگیری ماشینی نمی تواند از داده های گذشته در چنین موردی یاد بگیرد زیرا نقاط داده قبل و بعد از رویداد تفاوت های عمده ای دارند.اعتبارسنجی متقابلتکنیک اعتبارسنجی متقابل با به هم زدن تصادفی مجموعه داده ها و سپس تقسیم آن به گروه های k کار می کند. پس از آن، در طول هر گروه، گروه باید به عنوان یک مجموعه آزمون در نظر گرفته شود در حالی که تمام گروه های دیگر با هم به مجموعه آموزش clubbed. مدل بر روی گروه آزمون آزمایش می شود و فرایند برای گروه های k ادامه می یابد.به این ترتیب، تا پایان فرایند، یک نتیجه k متفاوت بر روی گروه های آزمون مختلف k دارد. پس از آن بهترین مدل را می توان به راحتی با انتخاب یکی با بالاترین نمره انتخاب کرد.فرایند برای K-Fold چینه ای شبیه به K-Fold cross-validation با یک نقطه اختلاف است - بر خلاف در k-fold cross-validation، مقادیر متغیر هدف در k-fold چینه ای مورد توجه قرار می گیرد.اگر به عنوان مثال، متغیر هدف یک متغیر قاطع با 2 کلاس است، سپس k چینه ای برابر تضمین می کند که هر برابر آزمون می شود نسبت مساوی از دو کلاس زمانی که در مقایسه با مجموعه آموزش.این باعث می شود ارزیابی مدل دقیق تر و آموزش مدل کمتربوت استراپبوت استراپ یکی از قدرتمندترین راه ها برای به دست آوردن یک مدل تثبیت شده است. از آنجا که مفهوم نمونه گیری تصادفی را دنبال می کند به تکنیک تقسیم تصادفی نزدیک است.مرحله اول انتخاب یک حجم نمونه (که معمولاً برابر با اندازه مجموعه داده های اصلی است) است. پس از آن، یک نقطه داده نمونه باید به طور تصادفی از مجموعه داده های اصلی انتخاب شود و به نمونه بوت استراپ اضافه شود. پس از اضافه شدن، نمونه باید دوباره به نمونه اصلی قرار داده شود. این فرایند باید برای N تکرار شودبنابراین، این یک تکنیک نمونه برداری است که نمونه بوت استراپ را با نمونه برداری از نقاط داده از مجموعه داده های اصلی با جایگزینی ایجاد می کند. این بدان معنی است که نمونه bootstrap می تواند شامل نمونه های متعددی از همان نقطه داده باشد.مدل بر روی نمونه bootstrap آموزش دیده و سپس بر روی تمام آن نقاط داده که آن را به نمونه bootstrappedارزیابی می شود. به این ها نمونه های خارج از کیسه می نامند.اقدامات احتمالاتیاقدامات احتمالاتی نه تنها عملکرد مدل بلکه پیچیدگی مدل را در نظر می گیرد. پیچیدگی مدل اندازه گیری توانایی مدل در گرفتن واریانس در داده ها است.به عنوان مثال یک مدل بسیار مغرضانه مانند الگوریتم رگرسیون خطی کمتر پیچیده است و از سوی دیگر یک شبکه عصبی بر روی پیچیدگی بسیار زیاد است.نکته مهم دیگری که در اینجا باید به آن توجه داشت این است که عملکرد مدل در نظر گرفته شده در اقدامات احتمالاتی از محاسبه می شودکمی منصفانه از نقطه ضعف با این حال نهفته است در این واقعیت است که اقدامات احتمالاتی عدم قطعیت مدل ها را در نظر نمی گیرد و شانس انتخاب مدل های ساده تر بیش از مدل های پیچیده است.معیار اطلاعات آکایک (AIC)این دانش رایج است که هر مدلی کاملاً دقیق نیست. همیشه برخی از از دست دادن اطلاعات است که می تواند با استفاده از متریک اطلاعات KL اندازه گیری وجود دارد. واگرایی کولبک-لیبلر یا KL اندازه گیری تفاوت توزیع احتمال دو متغیر است.یک آماردان به نام هیروتوگو آکایکه رابطه اطلاعات KL و احتمال حداکثر را مورد توجه قرار داد (در احتمال حداکثر، یکی می خواهد با توجه به پارامترها و توزیع احتمال مشخص، احتمال شرطی مشاهده یک دیتاپوینت X را به حداکثر برسد) و مفهوم معیار اطلاعات (یا IC) را توسعه داد. بنابراین IC یا AIC آکایک اندازه گیری از دست دادن اطلاعات است. این است که چگونه اختلاف بین دو مدل مختلف گرفته می شود و مدل با کمترین از دست دادن اطلاعات به عنوان مدل انتخاب پیشنهاد شده است.?K تعداد متغیرها یا پیش بینی کننده های مستقلL حداکثر احتمال مدلN تعداد نقاط داده در مجموعه آموزش (به خصوص مفید در صورت مجموعه داده های کوچک)محدودیت AIC این است که با مدل های عمومی سازی چندان خوب نیست چرا که تمایل به انتخاب مدل های پیچیده ای دارد که اطلاعات آموزشی کمتری را از دست می دهند.معیار اطلاعات بیز (BIC).BIC از مفهوم احتمال بیز گرفته شده بود و برای مدل هایی که تحت برآورد احتمال حداکثر آموزش دیده اند مناسب است.?K تعداد متغیرهای مستقلL حداکثر احتمالN تعداد نقاط نمونه / داده ها در مجموعه آموزشBIC مدل را برای پیچیدگی آن مجازات می کند و ترجیحاً زمانی مورد استفاده قرار می گیرد که اندازه مجموعه داده ها خیلی کوچک نیست (در غیر این صورت تمایل به تسویه حساب بر روی مدل های بسیار ساده دارد).حداقل طول توضیحات (MDL)MDL از نظریه اطلاعات که به کمیت هایی مانند آنتروپی می پردازد که میانگین تعداد بیت های مورد نیاز برای نشان دادن یک رویداد از یک توزیع احتمال یا یک متغیر تصادفی را اندازه گیری می کند، مشتق شده است.MDL یا حداقل طول توصیف حداقل تعداد بیت های مورد نیاز برای نشان دادن مدل است.?d مدلD پیش بینی های انجام شده توسط مدلL(h) تعداد بیت های مورد نیاز برای نشان دادن مدلL(D | h) تعداد بیت های مورد نیاز برای نشان دادن پیش بینی ها از مدل3به حداقل رساندن ریسک ساختاری (SRM)مدل های یادگیری ماشین با مشکل اجتناب ناپذیر تعریف یک نظریه عمومی شده از مجموعه ای از داده های متناهی روبرو هستند. این منجر به موارد بیش از حد که در آن مدل می شود مغرضانه به داده های آموزش است که منبع یادگیری اولیه آن است. SRM تلاش می کند تا پیچیدگی مدل را در برابر موفقیت آن در اتصالات بر روی داده ها متعادل کند.چگونه مدل های ML را ارزیابی کنیم؟مدل ها را می توان با استفاده از چند متریک ارزیابی کرد. با این حال، انتخاب درست یک متریک ارزیابی بسیار مهم است و اغلب بستگی به مشکلی دارد که در حال حل است. درک روشنی از طیف گسترده ای از متریک ها می تواند به ارزیاب کمک کند تا بر یک مطابقت مناسب از بیانیه مشکل و یک متریک شانس داشته باشد.متریک های طبقه بندیبرای هر پیش بینی مدل طبقه بندی، ماتریسی به نام ماتریس سردرگمی می تواند ساخته شود که تعداد موارد آزمون را به درستی و نادرست طبقه بندی شده نشان می دهد. به نظر می رسد چیزی شبیه به این (با توجه به 1 -مثبت و 0 -منفی کلاس های هدف هستند):Actual 0Actual 1Predicted 0True Negatives (TN)False Negatives (FN)Predicted 1False Positives (FP)True Positives (TP).TNتعداد موارد منفی به درستی طبقه بندی شدهTPتعداد موارد مثبت به درستی طبقه بندی شدهFN تعداد موارد مثبت به اشتباه به عنوان منفی طبقه بندی شدهFP تعداد موارد منفی به درستی به عنوان مثبت طبقه بندیدقتدقت ساده ترین متریک است و می تواند به عنوان تعداد موارد آزمون به درستی طبقه بندی شده تقسیم بر تعداد کل موارد آزمون تعریف شده است.?این را می توان به اکثر مشکلات عمومی اعمال می شود اما بسیار مفید نیست که آن را به مجموعه داده های نامتعادل می آید.به عنوان مثال، اگر ما در حال تشخیص تقلب در داده های بانکی هستیم، نسبت تقلب به پرونده های عدم تقلب می تواند ۱:۹۹ باشد. در چنین مواردی اگر از دقت استفاده شود، مدل با پیش بینی تمام موارد آزمون به عنوان عدم تقلب، ۹۹٪ دقیق خواهد بود. مدل دقیق ۹۹٪ کاملاً بی فایده خواهد بود.اگر یک مدل به گونه ای ضعیف آموزش دیده باشد که تمام نقاط داده ۱۰ (می گویند) را به عنوان عدم تقلب پیش بینی کند، در ۱۰ نقطه داده تقلب گم خواهد شد. اگر دقت اندازه گیری شود، نشان خواهد داد که آن مدل ۹۹۰ نقطه داده را به درستی پیش بینی می کند و به این ترتیب، دقت (۹۹۰/۱۰)*۱۰۰ = ۹۹٪!به همین دلیل است که دقت یک شاخص کاذب از سلامت مدل است.بنابراین، برای چنین موردی، متریک مورد نیاز است که می تواند بر روی ده نقطه داده تقلب که به طور کامل توسط مدل از دست رفته تمرکز کند.دقت متریک است که برای شناسایی درستی طبقه بندی به کار می رود.?به طور شهودی، این معادله نسبت طبقه بندی های مثبت صحیح به تعداد کل طبقه بندی های مثبت پیش بینی شده است. هر چه کسر بیشتر باشد، دقت بیشتر است، به این معنی که بهتر است توانایی مدل برای طبقه بندی صحیح کلاس مثبت است.در مشکل تعمیر و نگهداری پیش بینی (که در آن باید از قبل پیش بینی زمانی که یک ماشین نیاز به تعمیر) ، دقت می آید به بازی. هزینه نگهداری معمولاً بالا است و به این ترتیب، پیش بینی های نادرست می تواند منجر به زیان برای شرکت شود. در چنین مواردی توانایی مدل در طبقه بندی صحیح کلاس مثبت و پایین آوردن تعداد مثبت های کاذب فوق العاده است!فراخوانفراخوان به ما می گوید تعداد موارد مثبت به درستی از تعداد کل موارد مثبت شناسایی شده است.?بازگشت به مشکل تقلب، ارزش فراخوان در موارد تقلب بسیار مفید خواهد بود زیرا ارزش فراخوان بالا نشان خواهد داد که بسیاری از موارد تقلب از تعداد کل تقلب شناسایی شد.نمره F1 میانگین هارمونیک فراخوان و دقت است و بنابراین، نقاط قوت هر یک را متعادل می کند. این مفید است در مواردی که هر دو یادآوری و دقت می تواند با ارزش – مانند در شناسایی قطعات هواپیما که ممکن است نیاز به تعمیر. در اینجا دقت برای صرفه جویی در هزینه شرکت مورد نیاز خواهد بود (چرا که قطعات هواپیما بسیار گران قیمت هستند) و فراخوان مورد نیاز خواهد بود تا اطمینان حاصل شود که ماشین آلات پایدار است و نه تهدیدی برای زندگی انسان.?AUC-ROCمنحنی ROC یک قطعه از نرخ مثبت واقعی (فراخوان) در برابر نرخ مثبت کاذب (TN / (TN+FP)) است. AUC-ROC مخفف Area Under the Receiver Operating Characteristics و هر چه منطقه بالاتر باشد، عملکرد مدل بهتر است. اگر منحنی در جایی نزدیک خط مورب ۵۰٪ باشد، پیشنهاد می کند که مدل به طور تصادفی متغیر خروجی را پیش بینی می کند.Log Lossاز دست دادن لاگ یک متریک طبقه بندی بسیار مؤثر است و معادل -۱ log (تابع درست هد) است که در آن تابع احتمال نشان می دهد که مدل فکر می کند مجموعه نتایج مشاهده شده چقدر بوده است. از آنجا که تابع احتمال مقادیر بسیار کوچکی را فراهم می کند، یک راه بهتر برای تفسیر آن ها با تبدیل مقادیر به لاگ است و منفی اضافه می شود تا ترتیب متریک معکوس شود به گونه ای که یک نمره زیان پایین تر مدل بهتری را پیشنهاد می کند.بهره و بلند کردن نمودارنمودارهای بهره و بالابر ابزارهایی هستند که عملکرد مدل را درست مانند ماتریس سردرگمی اما با یک تفاوت ظریف و در عین حال قابل توجه ارزیابی می کنند. ماتریس سردرگمی عملکرد مدل را بر روی کل جمعیت یا کل مجموعه آزمون تعیین می کند، در حالی که نمودارهای بهره و بالابر مدل را بر روی بخش هایی از کل جمعیت ارزیابی می کنند. بنابراین برای هر درصد از جمعیت (محور ایکس) نمره (محور y) داریم.نمودارهای بالابر بهبودی را که یک مدل در مقایسه با پیش بینی های تصادفی به ارمغان می آورد اندازه گیری می کنند. به بهبود به عنوان 'بالابر' گفته می شود.نمودار K-Sنمودار K-S یا نمودار کولموگروف-اسمیرنوف درجه جدایی بین دو توزیع – توزیع کلاس مثبت و توزیع کلاس منفی را تعیین می کند. هر چه تفاوت بیشتر باشد، مدل در جدا کردن موارد مثبت و منفی بهتر است.متریک های رگرسیونمدل های رگرسیون بر خلاف مدل های طبقه بندی که متغیرهای خروجی گسسته دارند، یک متغیر خروجی پیوسته ارائه می دهند. بنابراین، متریک برای ارزیابی مدل های رگرسیون بر این اساس طراحی شده است.میانگین خطای مربعی یا MSEMSE یک متریک ساده است که تفاوت بین مقدار واقعی و مقدار پیش بینی شده (خطا) را محاسبه می کند، آن را مربع می کند و سپس میانگین تمام خطاها را فراهم می کند.?MSE بسیار حساس به پرت است و ارزش خطای بسیار بالا نشان می دهد حتی اگر چند پرت در پیش بینی های مدل در غیر این صورت به خوبی نصب شده وجود دارد.خطای مربعی میانگین ریشه یا RMSERMSE ریشه MSE است و مفید است زیرا به پایین آوردن مقیاس خطاها نزدیک تر به ارزش های واقعی کمک می کند و آن را قابل تفسیرتر می کند.میانگین خطای مطلق یا MAEMAE میانگین مقادیر خطای مطلق (واقعیات – پیش بینی ها) است.?اگر کسی می خواهد به چشم پوشی از ارزش های پرت به درجه خاصی، MAE انتخاب از آن را کاهش می دهد مجازات پرت به طور قابل توجهی با حذف شرایط مربع است.ریشه میانگین مربع خطا ورود یا RMSLEدر RMSLE، همان معادله RMSE به جز یک تابع لاگ اضافه شده همراه با مقادیر واقعی و پیش بینی شده دنبال می شود.?x مقدار واقعی و y مقدار پیش بینی شده است. این کمک می کند تا به مقیاس پایین اثر پرت با downplaying نرخ خطای بالاتر با تابع ورود به سیستم. همچنین RMSLE به گرفتن خطای نسبی (با مقایسه تمام مقادیر خطا) از طریق استفاده از سیاهههای مربوط کمک می کند.R-SquaredR-Square به شناسایی نسبت واریانس متغیر هدف که می تواند با کمک متغیرها یا پیش بینی کننده های مستقل گرفته شود کمک می کند.?اما R-square مشکل غول پیکری دارد. بگویید، یک ویژگی نامربوط جدید به مدلی با وزن اختصاص داده شده w اضافه می شود. اگر مدل مطلقاً هیچ همبستگی بین پیش بینی کننده جدید و متغیر هدف پیدا کند، w ۰ است. با این حال، تقریباً همیشه یک همبستگی کوچک به دلیل تصادفی بودن وجود دارد که وزن مثبت کوچکی (w>0) را اضافه می کند و حداقل از دست دادن جدیدی به دلیل پرکارکردگی به دست می آید.به همین دلیل است که R مربع افزایش می یابد با هر علاوه بر ویژگی های جدید. بنابراین، ناتوانی آن در کاهش ارزش زمانی که ویژگی های جدید اضافه می شود، توانایی خود را برای شناسایی در صورتی که مدل بهتر با ویژگی های کمتر انجام داد، محدود می کند.R-Squared تنظیم شدهR-Square تنظیم شده با رد ناتوانی آن در کاهش ارزش با ویژگی های اضافه شده، مشکل میدان R را حل می کند. این مجازات نمره به عنوان ویژگی های بیشتر اضافه شده است.?نامدار در اینجا عنصر سحر و جادو است که با افزایش تعداد ویژگی های افزایش می یابد. بنابراین افزایش قابل توجهی در R2 برای افزایش ارزش کلی مورد نیاز است.متریک خوشه بندیالگوریتم های خوشه بندی گروه هایی از نقاط داده را پیش بینی می کنند و از این رو متریک های مبتنی بر فاصله بیشترین اثربخشی را دارند.اندیت دانشاخص دان بر روی شناسایی خوشه هایی تمرکز دارد که واریانس پایینی دارند (در میان تمام اعضای خوشه) و جمع و جور هستند. میانگین مقادیر خوشه های مختلف نیز باید از هم دور باشند.با این حال، نقطه ضعف شاخص دان این است که با تعداد خوشه های بیشتر و ابعاد بیشتر، هزینه محاسبات افزایش می یابد.ضریب سیلوتضریب سیلوت ردیابی می کند که چگونه هر نقطه در یک خوشه به هر نقطه در خوشه های دیگر در محدوده -۱ تا +۱ نزدیک است.:• مقادیر سیلوت بالاتر (نزدیک تر به +۱) نشان می دهد که نقاط نمونه از دو خوشه مختلف دور هستند.• نشان می دهد که نقاط نزدیک به مرز0 تصمیم گیری• و مقادیر نزدیک تر به -1 نشان می دهد که نقاط به اشتباه به خوشه اختصاص داده شده است.روش آرنجاز روش آرنج برای تعیین تعداد خوشه ها در یک مجموعه داده با رسم تعداد خوشه های روی محور ایکس در برابر درصد واریانس توضیح داده شده بر روی محور y استفاده می شود. نقطه ای در محور x که منحنی به طور ناگهانی خم می شود (آرنج) در نظر گرفته می شود تا تعداد مطلوب خوشه ها را پیشنهاد کند.تجارت کردنسوگیری در مقابل واریانسدر ابتدای این مقاله ذکر سوگیری و واریانس برای درک نیاز به ارزیابی و انتخاب مدل مهم بود. اما درک آن با جزئیات بیشتر برای درک مفاهیم ارزیابی و انتخاب به خوبی ضروری است.سوگیری زمانی رخ می دهد که یک مدل به طور دقیق با فرضیات اداره می شود - مانند مدل رگرسیون خطی فرض می کند که رابطه متغیر خروجی با متغیرهای مستقل یک خط مستقیم است. این امر منجر به کم کردن زمانی می شود که مقادیر واقعی به طور غیر خطی با متغیرهای مستقل مرتبط باشند.واریانس بالا است زمانی که یک مدل بر روی مجموعه آموزش بیش از حد تمرکز می کند و تغییرات را بسیار نزدیک یاد می گیرد، به خطر انداختن بر روی عمومی سازی. این امر منجر به پرت شدن بیش از حد می شود.یک مدل بهینه مدلی است که کمترین سوگیری و واریانس را دارد و از آنجا که این دو ویژگی به طور غیر مستقیم متناسب هستند، تنها راه رسیدن به این امر از طریق یک معامله بین این دو است. بنابراین انتخاب مدل باید به گونه ای باشد که سوگیری و واریانس مانند تصویر زیر با هم تداخل داشته باشند..این امر را می توان با تنظیم دوباره هیپرپارانترهای مدل در استفاده به دست آورد (Hyperparameters پارامترهای ورودی هستند که به توابع مدل تغذیه می شوند). پس از هر بار، ارزیابی مدل باید با استفاده از یک متریک مناسب صورت گیرد.منحنی های یادگیری بهترین راه برای ردیابی پیشرفت آموزش مدل یا ساخت تا استفاده از منحنی های یادگیری است. این منحنی ها به شناسایی نقاط مطلوب در مجموعه ای از ترکیب های هایپرپارامتر کمک می کنند و به طور گسترده ای در انتخاب مدل و فرایند ارزیابی مدل کمک می کنند.به طور معمول، یک منحنی یادگیری راهی برای ردیابی یادگیری یا بهبود عملکرد مدل در محور y و زمان یا تجربه بر روی محور ایکس است.دو منحنی یادگیری محبوب ترین هستند:• آموزش منحنی یادگیری – آن را به طور موثر رسم ارزیابی اضافه کاری نمره متریک در طول یک فرایند آموزش و در نتیجه، کمک می کند تا برای ردیابی یادگیری و یا پیشرفت مدل در طول آموزش.• منحنی یادگیری اعتبارسنجی – در این منحنی، نمره متریک ارزیابی در برابر زمان بر روی مجموعه اعتبار سنجی رسم می شود.گاهی اوقات ممکن است آنقدر اتفاق می افتد که منحنی آموزش نشان می دهد بهبود اما منحنی اعتبار سنجی نشان می دهد عملکرد مانعاین نشان دهنده این واقعیت است که مدل بیش از حد در حال پر کردن است و نیاز به بازگشت به ادامه های قبلی دارد. به عبارت دیگر منحنی یادگیری اعتبارسنجی مشخص می کند که مدل چقدر خوب در حال عمومی شدن است. بنابراین، یک tradeoff بین منحنی یادگیری آموزش و منحنی یادگیری اعتبار سنجی وجود دارد و تکنیک انتخاب مدل باید بر نقطه ای تکیه کند که هم منحنی ها با هم تداخل دارند و هم در پایین ترین حد خود قرار دارند.