AdaBoost

Idee

Die Idee hinter AdaBoost ist das erstellen mehrere Modelle mit der gleichen Hypothesenklasse als Grundlage. Dies bedeutet die Basis jedes Modells ist beispielsweise immer der gleiche Entscheidungsbaum mit den gleichen Parametern. Die verschiedenen Modelle werden dabei so trainiert, dass das jetzige Modell adaptiv auf den Fehler des vorherigen Modells reagiert. Am Ende bilden alle Modelle durch ihre Genauigkeit gewichtet eine Entscheidung. So versucht der Algorithmus, durch viele Iterationen, den Gesamtfehler zu minimieren und damit eine optimale Entscheidung zu treffen.[1][2][3]

Algorithmus

Quelle: [4] vgl.[1][3]

Erklärungen

Ausblick

Diese Version kann keine Multi-klassen-Probleme lösen. Hierfür gibt es jedoch Erweiterungen in welchen der Algorithmus trainiert wird. Hierfür wird die Funktion der Gewichtung angepasst und die Hypothese. Die Lösungsansätze verfolgen entweder one-versus-all oder one-versus-one Methoden zur Klassifikation.
Ein beispiel hierfür ist der Samme.R Algorithmus. Genauere Erläuterungen hierzu finden sich in [5], bzw. sind in [4] beschrieben.

Literatur

[1] Freund Y., Schapire R. E. (1999): A Short Introduction to Boosting; AT & T Labs - Research
[2] Schapire R. E. (unbekannt): Explaining AdaBoost; Princeton University, Dept. of Computer Science
[3] Zhou, Zhi-Hua (2012): Ensemble Methods: Foundations and Algorithms; Taylor & Francis Ltd
[4] Dietz T. (2018): Bachelorarbeit “Automatisches rechnerbasiertes Lernen mit Ensemble-Methoden ”, Hochschule Schmalkalden
[5] Zhu J., Zou H., Rosset S., Hastie T. (2006): Multi-class AdaBoost; 1085 South University