Die Historie der Lernenden Vektorquantisierung

A. Einleitung

Die Verfahren der Lernenden Vektorquantisierung (LVQ, learning vector quantization) gehören zu den Künstlichen Neuronalen Netzen und basieren auf dem Prototypvektor-Konzept. Mit ihnen gelingt es, mit relativ geringem numerischem Aufwand, eine hinreichend genaue Schätzung des Klassifikationsfehlers in vielen praktischen Anwendungsfällen zu erreichen. LVQ ist eine Methode des überwachten Lernens. Des Weiteren soll nach Einblicken in die LVQ-Historie eine einheitliche, formale Beschreibung von zehn LVQ-Varianten vorgestellt werden. Das Konzept der adaptiven Metrik, insbesondere der gewichteten Euklidischen Metrik, bietet die Möglichkeit, die Relevanz von Merkmalen im Adaptionsprozess zu schätzen, was den enormen Vorteil einer automatischen Wissensextraktion bietet.

B. Geschichtlicher Überblick zu Varianten der Lernenden Vektorquantisierung

Die Lernende Vektorquantisierung [Kohonen 1984] ist ein überwacht trainierendes, prototypvektorbasiertes, neuronales Netz. Es verwendet im Vergleich zu anderen Klassifikationsverfahren, wie zum Beispiel dem Error-Backpropagation-Netz oder der Stützvektor-Methode, eine relativ einfache Lernregel nach dem Prinzip des Wettbewerblernens. Beim LVQ sind die zu berechnenden Aktivierungen der Neuronen distanzbasiert und hängen deshalb entscheidend von der eingesetzten Metrik ab. Bei den meisten Autoren wird dieser Freiheitsgrad jedoch nicht ausgenutzt und nur die ungewichtete, Euklidische Norm eingesetzt.
Als Gütekriterium für die Adaption der Prototypvektoren wird der minimale, klassenbedingte, mittlere Fehler der Vektorquantisierung angesehen. Dieser geht unter der Voraussetzung, dass ein balancierter Datensatz vorliegt, einher mit der Maximierung der Klassifikationsgenauigkeit.
Ist der Datensatz jedoch stark diskretisiert oder unbalanciert, sollte eine angepasste Metrik verwendet werden [Strickert 2004]. Der Vektorquantisierungsfehler dient oft auch als Abbruchkriterium im Training.
Nachteilig ist die starke Abhängigkeit der erreichten Güte von der Initialisierung der Prototypvektoren [Song & Lee 1996], [Sato 1999]. Sie lässt sich durch ein initiale, unüberwachte Trainingsphase verbessern [Golz & Sommer et al. 1998]. Bei dieser Initialisierung aber auch selbst bei konstanter Initialisierung zeigt sich weiterhin eine Abhängigkeit der erreichten Güte von der Trainingsreihenfolge, die stets zufällig gewählt wird.
Aus dem ursprünglichen Lernverfahren LVQ1 [Kohonen 1984], [Kohonen 2001] wurden hauptsächlich zur Optimierung der Güte und der Konvergenzgeschwindigkeit eine Reihe weiterer Varianten entwickelt. In diesem Abschnitt werden die in dieser Arbeit verwendeten Methoden LVQ2, LVQ2.1, LVQ3, OLVQ1, OLVQ3, DSLVQ, RLVQ, GLVQ und GRLVQ kurz mit ihren Besonderheiten erläutert. Im nächsten Abschnitt werden sie in einer einheitlichen Schreibweise eingeführt. Dabei wird kein Anspruch auf Vollständigkeit erhoben, weitere Varianten, wie bspw. Soft LVQ (SLVQ) [Seo & Obermayer 2003], Energie-Generalisierende-Relevanz-LVQ (EGRLVQ) [Cataron & Andonie 2004] oder Alternativ-LVQ (ALVQ) [Wu & Yang 2006], werden nicht vorgestellt.
Die erste Verfahrenserweiterung, LVQ2 [Kohonen et al. 1988], zielt auf die Optimierung der Klassengrenzen ab. Sie adaptiert auch den zweitähnlichsten Prototypvektor, dieser muss jedoch von einer anderen Klasse sein, wie der nächste Prototypvektor, der wiederum von der gleichen Klasse sein muss wie der Merkmalsvektor. Zusätzlich beschränkt sich die Adaption auf dicht an der Klassengrenze liegende Prototypvektoren. Dadurch besteht die Gefahr, dass die Verteilungsdichte der Merkmalsvektoren nur unzureichend durch die Prototypvektoren repräsentiert wird.
LVQ2.1 [Kohonen 1990a] ist eine kleine Erweiterung zum LVQ2. Nur eines der beiden, gewinnenden Neuronen muss von der gleichen Klasse sein wie der Merkmalsvektor. Wie auch beim LVQ2 wird nur adaptiert, wenn nächster und übernächster Prototypvektor etwa den gleichen Abstand zum Merkmalsvektor haben. Das Verfahren zielt auf eine verbesserte Trennfunktion ab und im Vergleich zum LVQ2 auf eine erhöhte Konvergenzgeschwindigkeit. LVQ2 bzw. LVQ2.1 sollten nur mit kleinen initialen Lernraten und im Anschluss an ein vorgeschaltetes LVQ1-Training verwendet werden [Kohonen 2001].
Beim LVQ3 [Kohonen 1990b] wird wie beim LVQ2.1 vorgegangen, zusätzlich aber auch adaptiert, wenn nächster und übernächster Prototypvektor der gleichen Klasse angehören wie der Merkmalsvektor. Neben einer verbesserten Trennfunktion wird auch eine erhöhte Konvergenzgeschwindigkeit im Vergleich zum LVQ2.1 erzielt.
Die Optimierte Lernende Vektorquantisierung (OLVQ1) [Kohonen 1992] erweitert den LVQ1 und OLVQ3 [Kohonen 2001] erweitert den LVQ3 um eine eigene Lernrate für jeden einzelnen Prototypvektor, dies ermöglicht i.A. eine besonders schnelle Konvergenz im Trainingsprozess.
Distinction sensitive LVQ (DSLVQ) [Pregenzer et al. 1994], [Pregenzer et al. 1996] basiert auf dem LVQ3 benutzt aber erstmals eine adaptive Metrik, die während des Trainingsprozesses heuristisch angepasst wird. Die Adaption der Metrik zielt auf eine verbesserte Trennfunktion ab. Zusätzlich legen die Wichtungswerte der adaptiven Metrik relevante Dimensionen im Merkmalsraum fest. Denn Merkmale mit hoher Wichtung haben eine starke Dominanz in der Distanzberechnung und Merkmale mit einer Wichtung nahe Null beeinflussen kaum die Distanzberechnung. Erstere sind relevant und letztere irrelevant für die Klassifikation.
Mit der Hinzunahme einer Kostenfunktion zum LVQ2.1-Training wurde die Generalisierende LVQ (GLVQ) [Sato & Yamada 1995] eingeführt.

C. Literatur

---

• [Cataron & Andonie 2004] Cataron, A; Andonie, R: Energy generalized LVQ with relevance factors. Proc IEEE International Joint Conference on Neural Networks, Vol 2, Issue, 25-29, pp. 1421-1426, 2004.

• [Bojer et al. 2001] Bojer, T; Hammer, B; Schunk, D; Tluk von Toschanowitz, K: Relevance determina-tion in learning vector quantization. In Proc. of European Symposium on Artificial Neural Net-works (ESANN’01), Brussels, Belgium, pp. 271-276, 2001.

• [Golz & Sommer et al. 1998] Golz, M; Sommer, D; Lembcke, T; Kurella, B: Classification of the pre-stimulus-EEG of k-complexes using competetive neural networks. Proceedings of the 6th Eu-ropean Congress on Intelligent Techniques & Soft Computing. EUFIT’98, Vol. 3, Verlag Mainz, pp. 1767-1771, 1998.

• [Hammer & Villmann 2002] Hammer, B; Villmann, T: Generalized Relevance Learning Vector Quan-tization. Neural Networks, 15, pp. 1059-1068, 2002.

• [Hammer et al. 2003] Hammer, B; Strickert, M; Villmann, T: On the generalization ability of GRLVQ-networks. Report P-249, Institut für Informatik, Fachbereich Mathematik/Informatik, Universität Osnabrück, 2003.

• [Hammer & Villmann 2005] Hammer, B; Villmann, T: Classification using non standard metrics. ESANN'05, In: Verleysen, M (eds), d-side publishing, pp. 303-316, 2005.

• [Kohonen 1982] Kohonen, T: Self-organized formation of topologically correct feature maps. Bio-logical Cybernetics, Vol. 43, pp. 59-69, 1982.

• [Kohonen 1984] Kohonen, T: Self-Organization and Associative Memory. Springer Series in Infor-mation Sciences 8, Springer Verlag, New York, 1984.

• [Kohonen et al. 1988] Kohonen, T; Barna, G; Chrisley, R: Statistical Pattern Recognition with Neural Networks: Benchmarking Studies. Proc. of the IEEE second international conference on Neural Networks Vol. 1, IEEE, New York, pp. 61-68, 1988.

• [Kohonen 1990a] Kohonen, T: Improved versions of learning vector quantization. in Proc. of the International Joint conference on Neural Networks, San Diego, pp. 545-550, 1990.

• [Kohonen 1990b] Kohonen, T: The self-organizing map. Proceedings of the IEEE, 78(9), pp. 1464-1480, 1990.

• [Kohonen 1992] Kohonen, T: New developments of Learning Vector Quantization and the Self- Organizing Map. SYNAPSE'92, Osaka, Japan, 1992.

• [Kohonen 2001] Kohonen, T: Self-Organizing Maps. Springer, Berlin, 3rd ed., 2001.

• [Pregenzer et al. 1994] Pregenzer, M; Flotzinger, D; Pfurtscheller. G: Distinction sensitive learn-ing vector quantization - a new noise-insensitive classification method. In Proc. ICNN'94, Int. Conf. on Neural Networks, Piscataway, NJ, IEEE Service Center, pp. 2890-2894, 1994.

• [Pregenzer et al. 1996] Pregenzer, M; Pfurtscheller, G; Flotzinger, D: Automated feature selec-tion with distinction sensitive learning vector quantization. Neurocomputing 11, pp. 19-29, 1996.

• [Sato & Yamada 1995] Sato, A; Yamada, K: Generalized Learning Vector Quantization. In: Tesauro, G; Touretzky, D; Leen, T (eds); Advances in Neural Information Processing Systems, Vol. 7, pp. 423-429, 1995.

• [Sato 1999] Sato, A: An Analysis of Initial State Dependence in Generalized LVQ. Ninth Inter-national Conference on Artificial Neural Networks (ICANN'99), IEEE Press, pp. 928-933, 1999.

• [Schleif et al. 2004] Schleif, F; Clauss, U; Villmann, T; Hammer, B: Supervised Relevance Neural Gas and Unified Maximum Separability Analysis for Classification of Mass Spectrometric Data. In Proceedings of ICMLA 2004, IEEE Press, pp. 374-379, 2004.

• [Seo & Obermayer 2003] Seo, S; Obermayer, K: Soft learning vector quantization. Neural Compu-tation, 15, pp. 1589-1604, 2003.

• [Song & Lee 1996] Song, H; Lee, S: LVQ Combined with Simulated Annealing for Optimal Design of Large-set Reference Models. Neural Networks 9, 2, pp. 329-336, 1996.

• [Strickert 2004] Strickert, M: Self-organizing neural networks for sequence processing. Disser-tation. Univ. Osnabrück, 2004.

• [Wu & Yang 2006] Wu, K; Yang, M: Alternative learning vector quantization. Pattern Recognition 39(3), pp. 351-362, 2006.

zurück zum Hauptartikel