Der Gradient Boosting-Algorithmus hat viele Gemeinsamkeiten mit Adaboost. Genau wie bei Adaboost handelt es sich um eine Reihe von "weak learners", die nacheinander erstellt werden und einen "strong learner" bilden. Darüber hinaus wird jeder "weak learner" trainiert, um die Fehler der vorherigen "weak learners" zu korrigieren. Dennoch haben im Gegensatz zu Adaboost alle "weak learners" im Abstimmungssystem das gleiche Gewicht, unabhängig von ihrer Leistung.
Wir werden nun kurz auf die Funktionsweise des Algorithmus eingehen:
Der erste "weak learner" (w1) ist sehr grundlegend, er ist einfach der Durchschnitt der Beobachtungen. Er ist also nicht sehr effizient, aber er wird als Grundlage für den Rest des Algorithmus dienen.