موضوع مقاله: آموزش، اعتبارسنجی و مجموعه‌های آزمایشی | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # آموزش، اعتبارسنجی و مجموعه‌های آزمایشی | مقدمه: در بحث یادگیری ماشین، مطالعه و ساخت الگوریتم‌هایی که می‌تواند بر اساس مجموعه داده، یادگیری و پیشگیری کند، مرسوم است. | ## بخش 1: آموزش، اعتبارسنجی و مجموعه‌های آزمایشی | این الگوریتم‌ها از طریق پیش‌بینی یا تصمیم‌گیری مبتنی بر داده، از طریق ساختن یک مدل ریاضی بر اساس داده‌های ورودی عمل می‌کنند. داده‌های مورد استفاده برای ساخت مدل نهایی معمولاً از مجموعه داده‌های متعدد تهیه می‌شود. این مدل در ابتدا بر روی یک مجموعه داده آموزشی ساخته می‌شود، تا یا استفاده از مجموعه ای از مثالها، توانایی متناسب کردن پارامترهای مدل فراهم شود. (به عنوان مثال وزن اتصالات بین سلولهای عصبی در شبکه‌های عصبی مصنوعی) این مدل (به عنوان مثال یک شبکه عصبی) با استفاده از یک روش یادگیری نظارت شده، مانند روش‌های بهینه‌سازی همچون نزول گرادیان یا نزول شیب تصادفی، روی مجموعه داده‌های آموزشی، آموزش داده می‌شود. در عمل، مجموعه داده‌های آموزشی اغلب متشکل از جفت‌های یک بردار ورودی (یا اسکالر) و بردار خروجی مربوطه (یا اسکالر) است، جایی که کلید پاسخ معمولاً به عنوان متغیر هدف (یا برچسب) نشان داده می‌شود. مدل فعلی از روی مجموعه داده‌های آموزشی ساخته می‌شود و برای هر بردار ورودی در مجموعه داده‌های آموزشی، نتیجه ای حاصل می‌شود که سپس با هدف مقایسه می‌شود. پارامترهای مدل، بر اساس نتیجه مقایسه و الگوریتم یادگیری خاص مورد استفاده، تنظیم می‌شوند. به‌طور پیوسته، از مدل ساخته شده بر اساس مجموعه داده، برای پیش‌بینی نتایج مشاهدات در یک مجموعه داده دوم به نام مجموعه داده اعتبار سنجی استفاده می‌شود. مجموعه داده‌های اعتبارسنجی، ارزیابی بی طرفانه ای از مدل ساخته شده متناسب که بر روی مجموعه داده‌های آموزشی، در زمان تنظیم مدل ابرپارامترها ارایه می‌دهد. مجموعه داده‌های اعتبار سنجی را می‌توان برای منظم سازی با توقف زودهنگام استفاده کرد. (متوقف کردن آموزش هنگامی که خطای مجموعه داده اعتبار سنجی افزایش می‌یابد، استفاده می‌شود، زیرا این نشانه بیش برازش است). این مراحل در عمل با پیچیدگی‌هایی مواجه است که ناشی از نوسان میزان خطا در مجموعه اعتبار سنجی است. این پیچیدگی موجب به وجود آمدن قوانینی مبتنی بر هدف است که این قوانینی می‌تواند تصمیم بگیرد آیا بیش برازش اتفاق افتاده‌است یا خیر. سرانجام، مجموعه داده آزمایشی مجموعه داده‌ای است که برای ارائه ارزیابی بی طرفانه از مدل نهایی متناسب با مجموعه داده‌های آموزشی استفاده می‌شود. | ## بخش 2: آموزش، اعتبارسنجی و مجموعه‌های آزمایشی | اگر داده‌های مجموعه داده‌های آزمایشی هرگز در آموزش استفاده نشده باشد، (به عنوان مثال در اعتبارسنجی متقابل)، مجموعه داده‌های آزمون نیز مجموعه داده‌های نگهداری نامیده می شود. مجموعه داده‌های آموزشی یک م مجموعه داده آموزشی، مجموعه ای از نمونه‌ها است که در طول فرایند یادگیری استفاده می‌شود و برای ساخت مدل‌های پیشگو استفاده می‌شود. (1997, last modified 2002-05-17) بیشتر رویکردهایی که از طریق داده‌های آموزشی برای روابط علمی جستجو می‌شوند، منجر به بیش برازش می‌شوند، به این معنی که آنها می‌توانند روابط آشکار را در داده‌های آموزشی که به‌طور کلی نگهداری نمی‌شوند، شناسایی و بهره‌برداری کنند. نمونه ای از ابرپارامتر برای شبکه‌های عصبی مصنوعی شامل تعداد واحدهای پنهان در هر لایه است.Ripley, B.D. برای جلوگیری از بیش برازش، در صورت نیاز به تنظیم هر پارامتر طبقه‌بندی کننده، لازم است علاوه بر مجموعه داده‌های آموزش و مجموعه داده‌های آزمون، یک مجموعه داده اعتبار سنجی نیز داشته باشید. به عنوان مثال، اگر مناسب‌ترین طبقه‌بندی کننده مسئله را جستجو کنیم، از مجموعه داده‌های آموزشی برای آموزش الگوریتم‌های نامزد استفاده می‌شود، از مجموعه داده‌های اعتبار سنجی برای مقایسه عملکرد آنها و تصمیم‌گیری در مورد انتخاب یکی از آنها استفاده می‌شود و در نهایت، از مجموعه داده‌های آزمایشی برای به دست آوردن ویژگی‌های عملکردی مانند دقت، حساسیت، ویژگی، اندازه‌گیری F و غیره استفاده می‌شود. مجموعه داده اعتبارسنجی به صورت ترکیبی عمل می‌کند: این داده‌های آموزشی است که برای آزمایش استفاده می‌شود، اما نه به عنوان بخشی از آموزش سطح پایین و نه به عنوان بخشی از آزمایش نهایی. 372 استفاده و کاربرد این فرایند در توقف زودهنگام است، جایی که مدل‌های کاندیدا تکرارهای پی در پی یک شبکه هستند و با بزرگ شدن خطای مجموعه اعتبار سنجی، با انتخاب مدل قبلی (مدل با حداقل خطا)، آموزش متوقف می‌شود. مجموعه داده آزمایش مجموعه داده ای است که مستقل از مجموعه آموزش است، اما از توزیع احتمال مشابه مجموعه داده آموزش پیروی می‌کند. اگر مدل ساخته شده بر اساس داده‌های آموزشی عملکرد خوبی بر داده‌های آزمایشی نیز داشته باشد، میزان بیش برازش به حداقل می رشد. برازش بهتر مجموعه داده آموزش بر خلاف مجموعه داده آزمون معمولاً به بیش برازش اشاره دارد. بنابراین یک مجموعه آزمون مجموعه ای از مثالها است که فقط برای ارزیابی عملکرد (به عنوان مثال تعمیم) یک طبقه‌بندی کننده کاملاً مشخص استفاده می‌شود.Ripley, B.D. دو مدل پیشگو بر اساس داده‌های آموزشی ساخته شده‌اند و هر دو با مجموعه آموزشی و آزمایشی نمایش داده شده‌اند. در مجموعه آموزش، MSE تناسب نشان داده شده با نارنجی ۴ است در حالی که MSE برای تناسب نشان داده شده با رنگ سبز ۹ است. | ## بخش 3: آموزش، اعتبارسنجی و مجموعه‌های آزمایشی | در مجموعه آزمون، MSE برای تناسب نشان داده شده با نارنجی ۱۵ و MSE برای تناسب نشان داده شده با رنگ سبز ۱۳ است. منحنی نارنجی یک مدل با بیش برازش ساخته‌است زیرا MSE آن هنگام مقایسه مجموعه آزمایش با مجموعه آموزش تقریباً یک عامل چهار افزایش می‌یابد. میزان بیش برازش در منحنی سبز کمتر است، زیرا MSE آن کمتر از عامل ۲ افزایش می‌یابد. سردرگمی در اصطلاحات مجموعه اصطلاحات آزمون و مجموعه اعتبارسنجی، گاهی اوقات به گونه ای به کار می‌روند که معنای آنها هم در صنعت و هم در محیط‌های آموزشی به صورت اشتباه به کار می‌روند. در کاربرد اشتباه، «مجموعه آزمون» به «مجموعه توسعه» تبدیل می‌شود و «مجموعه اعتبار سنجی» مجموعه مستقلی است که برای ارزیابی عملکرد یک طبقه‌بندی کننده کاملاً مشخص استفاده می‌شود.ادبیات مربوط به یادگیری ماشین اغلب معنای مجموعه‌های «اعتبار سنجی» و «آزمون» را برعکس می‌کند. اعتبار سنجی متقابل یک مجموعه داده را می‌توان به‌طور مکرر به یک مجموعه داده آموزشی و یک مجموعه داده اعتبار سنجی تقسیم کرد: این به اعتبارسنجی متقابل معروف است. این تقسیم‌بندی‌های مکرر را می‌توان به روش‌های مختلف انجام داد، مانند تقسیم به ۲ کردن یک مجموعه داده و استفاده از آنها به عنوان آموزش و اعتبار سنجی، و بعد از آن اعتبار سنجی و آموزش، یا انتخاب مکرر یک زیر مجموعه تصادفی به عنوان مجموعه داده اعتبار سنجی. برای تأیید عملکرد مدل، گاهی اوقات از یک مجموعه داده آزمون اضافی که از اعتبار سنجی Holdout استفاده می‌شود. طبقه‌بندی سلسله مراتبی مثال دیگر از تنظیم پارامترها طبقه‌بندی سلسله مراتبی است (که بعضاً به عنوان تجزیه فضای نمونه نامیده می‌شود)، که یک مسئله کامل چند کلاسه با چندین متغیر هدف را به مجموعه ای از مشکلات طبقه‌بندی کوچکتر تقسیم می‌کند. در این روش طبقه‌بندی استفاده از الگوریتم‌های طبقه‌بندی کننده و مرزهای طبقه‌بندی ساده‌تر و همچنین انتخاب ویژگی‌ها سبب شده‌است تا عملکردی با دقت بالا ارایه شود.. هنگام انجام تجزیه طبقه‌بندی، انتخاب اصلی ترتیب ترکیب مراحل طبقه‌بندی کوچکتر است که مسیر طبقه‌بندی نامیده می‌شود. بسته به نوع کاربرد، می‌توان آن را از ماتریس سردرگمی استخراج کرد و با کشف دلایل خطاهای معمول و یافتن راه‌هایی برای جلوگیری از ایجاد سیستم در آینده این موارد را ایجاد کرد. در مجموعه اعتبار سنجی، می‌توان فهمید که کدام کلاسها به‌طور اشتباه تشخیص داده شده‌اند و سپس تجزیه فضای نمونه به صورت زیر انجام می‌شود: کلاسها به عنوان یک کلاس مشترک واحد در نظر گرفته می‌شوند و سرانجام، به عنوان مرحله دوم طبقه‌بندی، کلاس مشترک در دو کلاس که در ابتدا اشتباه تشخیص داده شده‌اند، طبقه‌بندی می‌شود. | ## جمع‌بندی | آیا برای تقسیم یک مجموعه داده به مجموعه‌های آموزش و اعتبار سنجی ، یک قانون کلی وجود دارد؟