Random Forest

Idee

Die Idee des Random Forest ist es die Varianz der herkömmlichen Entscheidungsbäume zu verringern. Dies soll dem Entscheidungsbaum eine höhere Trefferwahrscheinlichkeit bei der Vorhersage unbekannter Merkmalsvektoren geben. Hierfür wird, in jeder Iteration, durch ziehen mit zurücklegen (bootstrapping) aus der Trainingsmenge eine Untermenge gezogen. Da die Varianz aller Iterationen nun durch die Korrelation zwischen den Bäumen beschränkt wird, muss diese möglichst verringert werden. Dies geschieht durch eine Zufällige Merkmalsselektion vor jedem Teilungsprozess.
Die Entscheidung erfolgt schließlich durch ein Mehrheitsvotum aller Iterationen. [1]

Parameter

Literatur

[1] Hastie T., Tibshirani R. and Friedman J. (2009): Elements of Statistical Learning - Data Mining, Inference, and Prediction; Springer