חיזוק גרדיאנט

Gradient boosting (מילולית: הגברת גרדיאנט) היא טכניקת למידת מכונה המשמשת בין היתר במשימות רגרסיה וסיווג. היא נותנת מודל חיזוי בצורה של תמהיל (ensemble) של מודלי חיזוי חלשים, שהם בדרך כלל עצי החלטה. כאשר עץ החלטות הוא הלומד החלש (weak learner), האלגוריתם המתקבל נקרא עצים מחוזקי שיפוע, והוא בדרך כלל מתעלה ביעילותו על יער אקראי (random forest). מודל עצי-מחוזק שיפוע בנוי בצורה שלבית כמו שיטות boosting אחרות, אבל זה מכליל שיטות אחרות בכך שהוא מאפשר אופטימיזציה של פונקציית הפסד גזירה שרירותיות. (קטע זה תואם חשיפה של חיזוק שיפוע על ידי Li) בדומה לשיטות חיזוק אחרות, חיזוק שיפוע משלבת "לומדים" חלשים ללומד חזק יחיד בצורה איטרטיבית. המקרה הפשוט ביותר הוא בהגדרת הרגרסיה על ידי קריטריון של ריבועים מינימליים, שבה המטרה היא "ללמד" מודל F {\displaystyle F} לחזות את ערכי הצורה y ^ = F ( x ) {\displaystyle {\hat {y}}=F(x)} על ידי מזעור השגיאה הממוצעת בריבוע 1 n ∑ i ( y ^ i − y i ) 2 {\displaystyle {\tfrac {1}{n}}\sum _{i}({\hat {y}}_{i}-y_{i})^{2}} , כאשר i {\displaystyle i} אינדקסים מעל סט אימונים כלשהו בגודל n {\displaystyle n} של ערכים בפועל של משתנה הפלט y {\displaystyle y}  : y ^ i {\displaystyle {\hat {y}}_{i}} = הערך החזוי F ( x ) {\displaystyle F(x)} y i {\displaystyle y_{i}} = הערך הנצפה n {\displaystyle n} = מספר הדגימות ב y {\displaystyle y} כעת, הבה נבחן אלגוריתם להגברת שיפוע עם M {\displaystyle M} שלבים. בכל שלב m {\displaystyle m} ( 1 ≤ m ≤ M {\displaystyle 1\leq m\leq M} ) של הגברת שיפוע, נניח מודל לא מושלם F m {\displaystyle F_{m}} (עבור m {\displaystyle m} נמוך, ייתכן שהדגם הזה פשוט יחזור y ^ i = y ¯ {\displaystyle {\hat {y}}_{i}={\bar {y}}} , שבו ה- RHS הוא הממוצע של y {\displaystyle y} ). כדי לשפר את F m {\displaystyle F_{m}} , האלגוריתם שלנו צריך להוסיף איזשהו אומדן חדש, h m ( x ) {\displaystyle h_{m}(x)} . לכן, F m + 1 ( x ) = F m ( x ) + h m ( x ) = y {\displaystyle F_{m+1}(x)=F_{m}(x)+h_{m}(x)=y} או, באופן שווה, h m ( x ) = y − F m ( x ) {\displaystyle h_{m}(x)=y-F_{m}(x)} . לכן, הגברת שיפוע תתאים את h לשארית y − F m ( x ) {\displaystyle y-F_{m}(x)} . כמו בגרסאות חיזוק אחרות, כל F m + 1 {\displaystyle F_{m+1}} מנסה לתקן את השגיאות של קודמו F m {\displaystyle F_{m}} . הכללה של רעיון זה לפונקציות הפסד שאינן שגיאה בריבוע, ולבעיות סיווג ודירוג, נובעת מהתצפית ששאריות h m ( x ) {\displaystyle h_{m}(x)} עבור מודל נתון שוות ערך (פרופורציונלית) לשיפועים השליליים של פונקציית ההפסד הממוצעת בריבוע (MSE) (ביחס ל F ( x ) {\displaystyle F(x)} ): L M S E = 1 n ( y − F ( x ) ) 2 {\displaystyle L_{\rm {MSE}}={\frac {1}{n}}\left(y-F(x)\right)^{2}} − ∂ L M S E ∂ F = 2 n ( y − F ( x ) ) = 2 n h m ( x ) {\displaystyle -{\frac {\partial L_{\rm {MSE}}}{\partial F}}={\frac {2}{n}}(y-F(x))={\frac {2}{n}}h_{m}(x)} . אז אפשר לכוון בהגברת השיפוע לאלגוריתם של ירידה בשיפוע, והכללה שלו כרוכה ב"חיבור" של הפסד שונה ושל הגרדיאנט שלו. יער אקראי XGBoost למידת עץ החלטות Boehmke, Bradley; Greenwell, Brandon (2019). "Gradient Boosting". Hands-On Machine Learning with R. Chapman & Hall. pp. 221–245. ISBN 978-1-138-49568-5. Piryonesi, S. Madeh; El-Diraby, Tamer E. (2020-03-01). "Data Analytics in Asset Management: Cost-Effective Prediction of the Pavement Condition Index". Journal of Infrastructure Systems (באנגלית). 26 (1): 04019036. doi:10.1061/(ASCE)IS.1943-555X.0000512. ISSN 1943-555X. Hastie, T.; Tibshirani, R.; Friedman, J. H. (2009). "10. Boosting and Additive Trees". The Elements of Statistical Learning (2nd ed.). New York: Springer. pp. 337–384. ISBN 978-0-387-84857-0. אורכב מ-המקור ב-2009-11-10. Piryonesi, S. Madeh; El-Diraby, Tamer E. (2021-02-01). "Using Machine Learning to Examine Impact of Type of Performance Indicator on Flexible Pavement Deterioration Modeling". Journal of Infrastructure Systems (באנגלית). 27 (2): 04021005. doi:10.1061/(ASCE)IS.1943-555X.0000602. ISSN 1076-0342. Cheng Li. "A Gentle Introduction to Gradient Boosting" (PDF).