موضوع مقاله: آدابوست | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # آدابوست | مقدمه: در واقع آدابوست یک متا الگوریتم است که به منظور ارتقاء عملکرد، و رفع مشکل رده‌های نامتوازن همراه دیگر الگوریتم‌های یادگیری استفاده می‌شود. | ## بخش 1: آدابوست | در این الگوریتم، طبقه‌بندی هر مرحله جدید به نفع نمونه‌های غلط طبقه‌بندی شده در مراحل قبل تنظیم می‌گردد. آدابوست نسبت به داده‌های نویزی و پرت حساس است؛ ولی نسبت به مشکل بیش برازش از بیشتر الگوریتم‌های یادگیری برتری دارد. طبقه‌بندی پایه که در اینجا استفاده می‌شود فقط کافیست از طبقه‌بندی تصادفی (۵۰٪) بهتر باشد و به این ترتیب عملکرد الگوریتم در تکرارهای بیشتر بهبود می‌یابد. حتی طبقه‌بندهای با خطای بالاتر از تصادفی با گرفتن ضریب منفی عملکرد کلی را بهبود می‌بخشند. در هر دور وزن نمونه‌های غلط طبقه‌بندی شده افزایش و وزن نمونه‌های درست طبقه‌بندی شده کاهش داده می‌شود؛ بنابراین طبقه‌بند جدید تمرکز بر نمونه‌هایی که سخت‌تر یادگرفته می‌شوند، خواهند داشت. به بیان ساده‌تر طرز کار این الگوریتم به این صورت است که عملکرد مدلهایی که به تنهایی ضعیف عمل می‌کنند را با یکدیگر ترکیب کرده و باعث بهبود عملکرد آنها می‌شود. پس در نظرگرفتن پیش‌بینی که مجموع چند الگوریتم یادگیری ضعیف ارائه می‌دهد می‌تواند در نهایت به اندازهٔ عملکرد یک الگوریتم قوی قابل اتکا باشد. | ## بخش 2: آدابوست | الگوریتم طبقه‌بندی دوگانه داده شده‌ها: مجموعه یادگیری: که تعداد تکرارها: مقداردهی اولیه: برای برای خانواده طبقه‌بندهای ضعیف ℋ طبقه‌بند را پیدا کن که میزان خطا نسبت به توزیع کمینه شود، در این معادله یک تابع نشانگر است: خطای را با نمایش می‌دهیم: اگر که یک آستانه تعیین شده قبلی است، توقف انجام شود. بروز رسانی: که یک عامل نرمال‌سازی با مقدار است که موجب می‌شود یک توزیع احتمالاتی مجاز را نشان دهد (مجموع روی همه ‌ها یک شود) خروجی نهایی طبقه‌بند توجه شود که معادله بروز رسانی توزیع بگونه‌ای بروز می‌شود که بنابراین بعد از انتخاب بهینه طبقه‌بند برای توزیع آندسته از نمونه‌ها که طبقه‌بند آن‌ها را غلط طبقه‌بندی می‌کند وزن بیشتری نسبت به بقیه داده می‌شود؛ بنابراین وقتی الگوریتم طبقه‌بندها را براساس توزیع تست می‌کند، طبقه‌بندی انتخاب می‌شود که نمونه‌های غلط طبقه‌بندی شده را بهتر تشخیص دهد. مراحل الگوریتم آدابوست الگوریتم آدابوست مطابق مراحل زیر به صورت مکرر کار می‌کند در ابتدا برای این الگوریتم الزامی است یک زیرمجموعه آموزشی انتخاب شود. با استفاده از مجموعه آموزشی که بر اساس پیش‌بینی صحیح آخرین آموزش ایجاد شده به صورت مکرر مدل یادگیری‌ماشینی آدابوست را آموزش می‌دهیم. تمام نمونه‌های آموزشی در فرایند آموزش دارای وزنی خواهند بود که براساس خطای ناشی از مدل یادگیری‌ماشین به‌دست می‌آید. این الگوریتم وزن بالاتری را به مشاهداتی که به صورت اشتباه طبقه‌بندی شده‌اند اختصاص می‌دهد تا در تکرارهای بعدی این مشاهدات برای فرایند طبقه‌بندی احتمال بالاتری را به‌دست آورند. این مراحل تا زمانی تکرار می‌شوند که داده‌های آموزشی کامل و بدون هیچ خطایی توسط مدل آموزش ببیند. | ## بخش 3: آدابوست | برای انجام طبقه‌بندی کافی است یک رای به ازای هر الگوریتم یادگیری ساخته‌شده در نظر گرفته شود. ایجاد مدل در پایتون در این مرحله مطابق کد زیر کتابخانه‌های مورد نیاز را وارد می‌کنیم. به‌طور خاص تابعی که حداقل می‌شود نمایی است: و ما به‌دنبال تابعی به شکل زیر هستیم: مجهولِ تابع هزینه ، است که خود به بستگی دارد. حال برای راحتتر شدن کار فرض می‌کنیم که مقادیر ثابت هستند و هدف ما پیدا کردن و است. با این اوصاف تابع را می‌توان به شکل پایین نوشت: اگر را با نمایش دهیم، تابع هزینه ما به شکل پایین تغییر شکل خواهد داد: اگر مجموعه تمام داده‌هایی که توسط به درستی پیش‌بینی می‌شوند را با و مجموعه تمام داده‌هایی که توسط نادرست پیش‌بینی می‌شوند را با نمایش دهیم. تابع هزینه به شکل پایین تغییر خواهد کرد: حال اگر را نسبت به بهینه کنیم، از آنجا که و نسبت به ثابت هستند، فقط باید را نسبت به کمینه کنیم؛ یعنی بعد از پیدا کردن باید را پیدا کنیم اگر را بنامیم تابع هزینه ما تبدیل می‌شود به که اگر از آن نسبت به مشتق بگیریم و جواب را در نقطه صفر به‌دست بیاوریم به این جواب می‌رسیم: . همان است یعنی پس ارتباط با به این شکل خواهد بود: از آنجا که به‌روز کردن به این شکل تغییر خواهد کرد: اگر تمام ‌ها را در یک مقدار ثابتی ضرب کنیم تأثیری در جواب نهایی و و نخواهد داشت. | ## جمع‌بندی | با نرمال‌سازی به معادله بازگشتی پایین می‌رسیم، در این معادله : همان است، و از آنجا که در جواب تأثیری ندارد، می‌توان آن را حذف کرد.