Wissensdatenbank Wirtschaftsrecht

aktuelles Dokument: VorstellungLVQ
image4
image3
image2
image1
 Alle Kategorien:
  Forschungsdatenbank
  Lehrveranstaltungen
  Lexikon
  Literatur
  Rechtsgebiete
  Rechtsprechung
  Service
  Studium F H S
  Wissensmanagement
ich war hier: VorstellungLVQ

Version [80366]

Dies ist eine alte Version von VorstellungLVQ erstellt von SebastianThomas am 2017-06-21 09:39:06.

 

Die Vorstellung der LVQ-Familie



A. Einleitung


Die Lernende Vektorquantisierung (LVQ, learning vector quantisation) ist ein künstliches neuronales Netz und besitzt eine einschichtige Topologie. Die Neuronen lernen nach dem Wettbewerbsprinzip. Das Neuron mit der höchsten Ähnlichkeit zu dem eingegebenen Merkmalsvektor gewinnt den Wettbewerb und nur auf dieses wird die Lernregel angewandt, welche relativ einfach ist. Das Verfahren benötigt wenig Rechenleistung und wenig Hauptspeicher und ist deshalb für empirische Parameteroptimierungen, bei denen extrem viel gelernt und verworfen werden muss, sehr gut geeignet. Die weiteren nachfolgenden Ausführungen orientieren sich an einem Vorlesungsmanuskript [Golz, 2016] und an einer Abschlussarbeit eines Kommilitonen [Zapf, 2016]. Unter allen Algorithmen der LVQ-Familie stellt sich immer wieder OLVQ1 als leistungsstärkster heraus, dieser verwendet für jedes Neuron eine individuelle Lernschrittweite und hat deshalb einen etwas höheren Hauptspeicherbedarf. Offenbar ist die Anpassung der Lernschrittweite ein wichtiges Element des Erfolgs. Im nächsten Abschnitt werden Methoden vorgestellt, die die Anpassung der Lernschrittweite noch mehr verfeinern. OLVQ1 wird als bevorzugte Methode für die empirische Optimierung der gesamten Prozesskette und für die Bruteforce-Selektion von Merkmalstypen verwendet. Entscheidend für den Erfolg ist eine geeignete Initialisierung der Gewichtsmatrix, hierfür wurde 1998 von der Hochschule Schmalkalden eine Methode entwickelt [Golz et al., 1998]. Die Anzahl der Neuronen wird dabei vorgegeben und zufällig datengetrieben initialisiert. Während des Initialisierungsverfahrens können sich einige Neuronen als tote Neuronen herausstellen, diese werden vor dem Start des Lernverfahrens gelöscht. Das Löschen toter Neuronen ist ein entscheidendes Konzept um Überanpassung (overfitting) zu vermeiden.


B. Generalisierendes Relevanzlernen


Die nachfolgenden Ausführungen lehnen sich an das Kapitel 11.5 des Vorlesungsskripts „Computergestützte Intelligenz, Teil 1“ der Hochschule Schmalkalden an [Golz, 2016]. Wenn eine Klassifikation präzise gelingt, stellt sich stets die Frage, welche Merkmale hierfür sehr hilfreich und welche weniger hilfreich waren. Dabei ist anzunehmen, dass auf die weniger hilfreichen verzichtet werden könnte, ohne Beeinträchtigung des Klassifikationerfolges. Es gibt Lernverfahren, die die Relevanz der Merkmale unter Berücksichtigung der Klassenentscheidung eigenständig lernen. Dabei gibt es Lernregeln für die Relevanzfaktoren, welche die Wichtigkeit der einzelnen Merkmale beschreibt. Ein Konzept ist die Verwendung der Relevanzfaktoren in einer gewichteten Metrik unter Einbeziehung der gewichteten Euklid’schen Distanz.
formel
\overline x
formel
und
formel
\overline y
formel
seien zwei
formel
d
formel
-dimensionale Merkmalsvektoren und
formel
r_1
formel
bis
formel
r_d
formel
seien die Relevanzfaktoren der einzelnen Dimensionen von
formel
\overline x
formel
bzw.
formel
\overline y
formel
, dann werden diese wie folgt als Gewichtungsvektoren eingesetzt.
formel
d=\|\overline x - \overline y\|=\sqrt[2]{r_1(x_1-y_1)^2+r_2(x_2-y_2)^2+...+r_d(x_d-y_d)^2}
formel

Die Relevanzfaktoren
formel
r_1
formel
bis
formel
r_d
formel
bilden einen Vektor der so normiert wird, dass die Summe ihrer Komponenten, also die Summe der Relevanzfaktoren, gleich eins ist. Dadurch können alle Relevanzen prozentual interpretiert werden. Unter allen relevanzlernenden Algorithmen der LVQ-Familie soll hier vor allem die Generalisierte Relevanz-LVQ (GRLVQ) [Hammer & Villmann, 2002] vorgestellt werden. Folgende Algorithmen werden ebenfalls vorgestellt, wurden aber aus Zeitgründen am hier vorliegenden Datensatz nummerisch nicht untersucht.
Eine Arbeitsgruppe der TU Graz entwickelte Distinction Sensitive-LVQ (DSLVQ) [Pregenzer et al., 1994]. Eine japanische Arbeitsgruppe führte das Konzept der Generalisierten LVQ (GLVQ) [Sato & Yamada, 1995] ein. Aus der Arbeitsgruppe von Hammer wurde daraufhin das Konzept der Relevanz-LVQ (RLVQ) [Bojer et al., 2001] eingeführt.
Folgende vier Abarbeitungsschritte sind bei allen, hier vorgestellten LVQ-Algorithmen durchzuführen. Diese Abarbeitungsschritte laufen zyklisch ab, sodass immer nach Schritt 4 der Zyklus mit Schritt 1 startet, wobei ein neues, aktuelles Datenpaar von Merkmalsvektor
formel
\overline {x_i}
formel
und Klassennummer
formel
t_i
formel
aus der Trainingsmenge entnommen wird. Der Zyklus wird abgebrochen, wenn die Anzahl der Iterationen
formel
n
formel
, die hier die Zyklusanzahl ist, einen von vornherein festgelegten Schwellwert
formel
n_{max}
formel
überschreitet.
1) Neuronenwettbewerb

1.1)
Mit der gewichteten Distanz
formel
\|\overline {x_i}-\overline {w_j}\|_\overline r
formel
wird der erste und zweite Gewinner berechnet
formel
(\overline {w_c},d_c)
formel
bzw.
formel
(\overline {w_s}, d_s)
formel
. Der Index
formel
c
formel
bedeutet „closest“ und bezeichnet den Gewichtsvektor
formel
\overline w
formel
, der die geringste Distanz zum aktuellen Merkmalsvektor
formel
\overline {x_i}
formel
hat. Der Index
formel
s
formel
bedeutet „second closest“ und bezeichnet den Gewichtsvektor mit der zweitgeringsten Distanz zum aktuellen Merkmalsvektor. Die Klassennummer, die den Neuronen in der Initialisierungsphase fest zugeordnet wurde, wird mit
formel
d
formel
bezeichnet.


1.2)
Bezüglich der Klassennummer sind vier Fälle möglich
(a)
formel
d_c = t_i \wedge d_s \ne t_i
formel

(b)
formel
d_c \ne t_i \wedge d_s = t_i
formel

(c)
formel
d_c = t_i \wedge d_s = t_i
formel

(d)
formel
d_c \ne t_i \wedge d_s \ne t_i
formel

Hier bezeichnet
formel
t_i
formel
die fest zugeordnete Klassennummer des aktuellen Merkmalvektors
formel
\overline {x_i}
formel



1.3)
Nun sind die Schrittweitenfaktoren
formel
(K_c, K_s)
formel
gemäß Tabelle 1 auszuwählen, wobei die vier Fälle (a) bis (d) aus 1.2) zu berücksichtigen sind. Die Tabelle enthält zusätzlich die ausführenden Abarbeitungsschritte je nach Methode, die eingangs erwähnt wurden.
Tabelle 1 - Auszuführende Abarbeitungsschritte und auszuwählende Schrittweitenfaktoren je nach LVQ-Methode. Die Fälle (a) bis (d) sind im Text erklärt.




C. Literatur


  • [Bojer et al. 2001] Bojer, Hammer, Shunk, Tluk von Toschanowitz – Relevance Determination in Learning Vector Quantization. Proceedings ESANN: 271-276
  • [Golz & Sommer et al. 1998] Golz, Sommer, Lembcke, Kurella – Classification of Pre-Stimulus EEG of K-Complexes using Competitive Learning Networks. Proceedings EUFIT (3): 1767-1771, Mainz-Verlag Aachen
  • [Golz, 2016] Computergestützte Intelligenz I. Vorlesungsmanuskript, Hochschule Schmalkalden
  • [Hammer, Villmann, 2002] Generalized Relevance Learning Vector Quantization. Neural Networks 15: 1059-1068
  • [Pregenzer et al., 1996] Pregenzer, Pfurtscheller, Flotzinger – Automated Feature Selection with Distinction Sensitive Learning Vector Quantization. Neurocomputing 11: 19-29
  • [Sato, Yamada, 1995] Generalized Learning Vectorquantization. In: Tesauro, Touretzky, Leen (eds) Advances in Neural Information Processing Systems, 7: 423-429
  • [Zapf, 2016] Lernfähige Algorithmen zur adaptiven Musterklassifikation von elektroenzephalographischen Signalen hypovigilanter Versuchspersonen – Durchführung und Auswertung einer Nachtfahrtsimulationsstudie. Bachelorarbeit, Hochschule Schmalkalden




zurück zum Hauptartikel
Diese Seite wurde noch nicht kommentiert.
Valid XHTML   |   Valid CSS:   |   Powered by WikkaWiki