אלגוריתם AdaBoost
השוואה עם אלגוריתמים אחרים

Boosting מול Bagging (יער אקראי)
AdaBoost שייך למשפחת אלגוריתמי ה-Boosting, שבהם המסווגים הבסיסיים מאומנים באופן סדרתי (טורי) תוך שימוש בתוצאות קודמיהם. זאת בניגוד למשפחת ה-Bagging (כגון יער אקראי), שבה מודלים מרובים מאומנים במקביל על דגימות אקראיות של הנתונים. בשתי הגישות משלבים מספר מודלים חלשים לכדי מודל חזק, אך האופן שבו הדבר מתבצע שונה: AdaBoost משנה באופן אדפטיבי את משקלי הדוגמאות כדי להתמקד במקרים קשים בכל סבב, בעוד שביער אקראי כל עץ מקבל משקל שווה, והעצים שונים זה מזה בשל דגימת נתונים ומאפיינים שונה בכל עץ.
יער אקראי מסתמך על הפחתת שונות (variance) על ידי ממוצע של מודלים לא תלויים יחסית, בעוד Boosting מכוון להפחתת הטיה (bias) באופן סדרתי – כל מודל מתקן את קודמו. כתוצאה מכך, AdaBoost נוטה להתאים את עצמו חזק לנתוני האימון ועלול להיות רגיש יותר לרעש, בעוד שיער אקראי עקב אופיו הממוצע יותר חסין לרעש ולחריגות. מצד שני, AdaBoost לעיתים קרובות מגיע לדיוק גבוה יותר על האימון ויכול להתמקד גם במקרים חריגים, בעוד שיער אקראי עשוי "לדלל" את השפעתם של מקרים נדירים.
עוד הבדל פרקטי הוא שיער אקראי יכול לנצל עיבוד מקבילי (מאחר שכל עץ נבנה באופן עצמאי) ובדרך כלל דורש פחות כוונון של היפר-פרמטרים, בעוד AdaBoost הוא תהליך טורי שקשה יותר להאיץ בחומרה מקבילית. בסופו של דבר, שתי השיטות פופולריות ומשלימות זו את זו: יערות אקראיים טובים ביציבות ובמניעת הישררות יתר (overfitting), ואילו Boosting (לרבות AdaBoost) מצטיין בהגעה לביצועי שיא כאשר הנתונים נקיים מרעש או לאחר טיוב זהיר.
AdaBoost מול אלגוריתמי Boosting מודרניים
AdaBoost היה אחת הגרסאות הראשונות והבסיסיות של Boosting. אחריו פותחו וריאנטים ושיפורים רבים. חיזוק גרדיאנט היא מסגרת כללית שבה boosting מוגדר כבעיה של אופטימיזציה נומרית: במקום לעדכן משקלי דגימות באופן אקספוננציאלי כל מודל חדש מותאם לטעויות (residuals) שהמודל המשולב הנוכחי עדיין עושה, תוך שימוש במתודולוגיית Gradient descent על פונקציית עלות כללית.
יתרון הגישה הזו הוא שניתן לבחור פונקציית loss שונה (למשל לוגיסטית, ריבועית וכו'), מה שנותן גמישות רבה – למשל, חיזוק גרדיאנט מיושם לא רק לסיווג בינארי אלא גם לרגרסיה, לסיווג רב-מחלקות ועוד. הוא מאפשר שימוש בלומדים חלשים מעט יותר מורכבים (כמו עצים בעלי עומק של 4–8 רמות במקום "עצים טיפשים" בני רמה אחת הנפוצים ב-AdaBoost), והוא כולל מנגנונים להפחתת הישררות יתר כמו רגולריזציה (חיזוק מדורג, קיצוץ ערכי עלים, ועוד).
השוואה לשיטות למידה אחרות
AdaBoost משתייך לשיטות האנסמבל, ולכן שונה בגישתו ממסווגים "בודדים" כמו עצי החלטה עמוקים, מכונת וקטורים תומכים (SVM) או רשתות עצביות. בהשוואה לעץ החלטה גדול, AdaBoost לרוב יבנה מספר רב של עצים קטנים (או מסווגים פשוטים אחרים), ולכן עשוי ללכוד דפוסים באופן שונה – לעיתים מדויק יותר עבור פרטים אך אולי פחות "גלובלי" מאשר עץ עמוק אחד.
בהשוואה לרשת עצבית, AdaBoost אינו דורש הגדרת שכבות והיפר-פרמטרים רבים, אך רשתות יכולות לנצל טוב יותר כמויות נתונים גדולות במיוחד וללמוד ייצוגים מורכבים, בעוד AdaBoost מסתמך על מאפיינים קיימים ולומד רק משקלים על גביהם.
אחד היתרונות של AdaBoost על פני מודלים כמו SVM הוא בפשטות העדכון – אין צורך בפתרון בעיה קמורה גלובלית מורכבת, אלא רק בחישובים סגורים בכל סבב – וכן בכך שקל לשלב אותו עם אלגוריתמים קיימים (למשל, לקחת סיווגים חלשים קיימים ולשפרם דרך Boosting). מצד שני, בבעיות עם מרחב מאפיינים עצום או רציף מאוד, מודלים כמו SVM עם גרעין או רשתות עמוקות עשויים לתפוס מבנים לא-ליניאריים באופן יעיל יותר מאשר צירוף של רבים מאוד של חלוקים ליניאריים.