Gradient Boosting

Idee

Gradient Boosting versucht sich durch mehrer Iterationen an den minimalen Fehler anzunähern. Das geschieht durch Anwendung der stepest descent Methode. Hierfür wird zu jedem Merkmalvektor ein Gradient gebildet, welchen der Algorithmus für das Training berücksichtigt. So nähert er sich durch viele Iterationen mehr und mehr einem minimalen Fehler an. [1]

Algorithmus

Quelle:[2] [1]

Erklärung

Literatur

[1] Hastie T., Tibshirani R. and Friedman J. (2009): Elements of Statistical Learning - Data Mining, Inference, and Prediction; Springer
[2] Dietz T. (2018): Bachelorarbeit “Automatisches rechnerbasiertes Lernen mit Ensemble-Methoden ”, Hochschule Schmalkalden