آدابوست
آدابوست تطبیقی بوده و یک الگوریتم یادگیری ماشین است که توسط یاو فروند و رابرت شاپیر ابداع شد. در واقع آدابوست یک متا الگوریتم است که به منظور ارتقاء عملکرد، و رفع مشکل رده‌های نامتوازن همراه دیگر الگوریتم‌های یادگیری استفاده می‌شود. در این الگوریتم، طبقه‌بند هر مرحله جدید به نفع نمونه‌های غلط طبقه‌بندی شده در مراحل قبل تنظیم می‌گردد. آدابوست نسبت به داده‌های نویزی و پرت حساس است؛ ولی نسبت به مشکل بیش برازش از بیشتر الگوریتم‌های یادگیری برتری دارد. طبقه‌بند پایه که در اینجا استفاده می‌شود فقط کافیست از طبقه‌بند تصادفی (۵۰٪) بهتر باشد و به این ترتیب بهبود عملکرد الگوریتم با تکرارهای بیشتر بهبود می‌یابد. حتی طبقه‌بندهای با خطای بالاتر از تصادفی با گرفتن ضریب منفی عملکرد کلی را بهبود می‌بخشند. در الگوریتم آدابوست در هر دور formula_1 یک طبقه‌بند ضعیف اضافه می‌شود. در هر فراخوانی بر اساس اهمیت نمونه‌ها، وزن‌ها formula_2 بروز می‌شود. در هر دور وزن نمونه‌های غلط طبقه‌بندی شده افزایش و وزن نمونه‌های درست طبقه‌بندی شده کاهش داده می‌شود؛ بنابراین طبقه‌بند جدید تمرکز بر نمونه‌هایی که سخت‌تر یادگرفته می‌شوند، خواهند داشت.
داده شده‌ها:
مقداردهی اولیه: formula_6 برای formula_7
formula_11
خطای formula_12 را با formula_13 نمایش می‌دهیم:
formula_14formula_19
formula_24
بنابراین بعد از انتخاب بهینه طبقه‌بند formula_27 برای توزیع formula_28 آندسته از نمونه‌ها formula_29 که طبقه‌بند formula_27 آن‌ها را غلط طبقه‌بندی می‌کند وزن بیشتری نسبت به بقیه داده می‌شود؛ بنابراین وقتی الگوریتم طبقه‌بندها را براساس توزیع formula_31 تست می‌کند، طبقه‌بندی انتخاب می‌شود که نمونه‌های غلط طبقه‌بندی شده را بهتر تشخیص دهد.
عمل تقویت کردن را می‌توان به صورت حداقل کردن یک تابع هزینه محدب روی یک مجموعه محدب از توابع در نظر گرفت. به‌طور خاص تابعی که حداقل می‌شود نمایی است:
formula_32
و ما بدنبال تابعی به شکل زیر هستیم:
formula_33
مجهولِ تابع هزینه formula_34، formula_35 است که خود به formula_36 بستگی دارد. در نتیجه بهینه‌سازی تابع هزینه در نهایت باید نسبت به formula_37 صورت بگیرد.
حال برای راحتتر شدن کار فرض می‌کنیم که مقادیر formula_38 ثابت هستند و هدف ما پیدا کردن formula_39و formula_40 است. با این اوصاف تابع formula_34را می‌توان به شکل پایین نوشت:
formula_42
اگر formula_43را با formula_44 نمایش دهیم، تابع هزینه ما به شکل پایین تغییر شکل خواهد داد:
formula_45
اگر مجموعه تمام داده‌هایی که توسط formula_46به درستی پیش‌بینی می‌شوند را با formula_47 و مجموعه تمام داده‌هایی که توسط formula_46 نادرست پیش‌بینی می‌شوند را با formula_49 نمایش دهیم. تابع هزینه به شکل پایین تغییر خواهد کرد:
formula_50
حال اگر formula_51را نسبت formula_52 بهینه کنیم، از آنجا کهformula_53 و formula_54 نسبت به formula_52 ثابت هستند، فقط باید formula_56 را نسبت به formula_52 کمینه کنیم؛ یعنی formula_58
بعد از پیدا کردن formula_52 باید formula_60 را پیدا کنیم اگر formula_61 را formula_62 بنامیم تابع هزینه ما تبدیل می‌شود به formula_63که اگر از آن نسبت به formula_60 مشتق بگیریم و جواب را در نقطه صفر بدست بیاوریم به این جواب می‌رسیم: formula_65.
حال که formula_66 و formula_67 را پیدا کردیم باید ببینیم که formula_68 به چه شکل نسبت به formula_44 بروز می‌شود. formula_68 همان formula_71 است یعنی
formula_72
پس ارتباط formula_68 با formula_44 به این شکل خواهد بود:
formula_75
از آنجا که formula_76 به‌روز کردن formula_68 به این شکل تغییر خواهد کرد:
formula_78
اگر تمام formula_68‌ها را در یک مقدار ثابتی ضرب کنیم تأثیری در جواب نهایی formula_80 و formula_81 و formula_82 نخواهد داشت. ازین رو همیشه می‌توان مقدار آن‌ها را نرمال‌سازی کرد. با نرمال‌سازی formula_68 به معادله بازگشتی پایین می‌رسیم، در این معادله formula_84 :
formula_85
formula_68 همان formula_87است، و از آنجا که formula_88در جواب formula_89 تأثیری ندارد، می‌توان آن را حذف کرد. حال اگر formula_90 را همان formula_5 بگیریم به الگوریتم آدابوست خواهیم رسید.