XGBoost ist eigentlich eine besondere Version des Gradient Boost-Algorithmus. Es handelt sich nämlich um eine Ansammlung von "weak learners", die die Residuen vorhersagen und die Fehler der vorherigen "weak learners" korrigieren.
Die Besonderheit von XGBoost liegt in der Art der "weak learner", die verwendet werden. Bei den "weak learners" handelt es sich um Entscheidungsbäume. Bäume, die nicht gut genug sind, werden "gestutzt", d. h. es werden ihnen Äste abgeschnitten, bis sie gut genug sind. Andernfalls werden sie komplett entfernt. Diese Methode wird als "pruning" (Beschneiden) bezeichnet.