Tutorium: Dokumentstrukturanalyse

Tutor:

Jordan Zapf

Ziel des Tutoriums:

• Aufbau von Grundverständnis für Distanzmaße

• Vergleich von verschiedenen Ähnlichkeitskoeffizienten

• Programmierung der Levenshtein-Distanz

Adressaten des Lehrangebotes:

Interessierte Studenten der Fakultät Informatik

Teilnahme:

Wird durch Rundmail bekannt gegeben.

Veranstaltungsinhalte:

Distanzmaße

Ähnlichkeitsmaße/ Distanzmaße werden im Rahmen der Datenanalyse (z.B. Clusteranalyse; Multidimensionale Skalierung) zur Bestimmung der Beziehungen zwischen Messobjekten eingesetzt. Dabei werden durch Vergleiche von metrisch skalierten Ausgangsdaten (Skalenniveau) die zwischen Objekten bestehenden Ähnlichkeiten gemessen. Ist die Distanz gering, dann ist die Ähnlichkeit groß; entsprechend sind sich Objekte bei großer Distanz sehr unähnlich.

Clusteranalyse

Oberbegriff für einen Typ der in der multivariaten Analyse und vor allem in der Clusteranalyse verwendeten Proximitäts­maße, mit denen im Gegensatz zu den Ähn­lichkeitsmaßen und den - Korrelationsmaßen die Entfernungsbeziehung zwischen Meßobjek­ten bestimmt wird. Durch sie wird die Entfernung zwischen Objekten im n-dimensionalen - Merk­malsraum bestimmt. Voraussetzung für die Ver­wendung von Distanzmaßen ist das Vorliegen in­tervallskalierter Daten. Die Anwendung von Di­stanzmaßen ist neben der Clusteranalyse auch in vielen anderen Bereichen der Datenanalyse sinnvoll, so bei Skalierungsverfahren und hier insbesondere bei multidimensionalen Skalierungsverfahren und bei der Diskriminanzanalyse (z.B. Mahalanobis-Distanz).

Die beiden am meisten verwendeten Distanz­maße sind Sonderfälle der zur größeren Familie der als Minkowski-Metrik bezeichneten zählen­den Distanzmaße in der allgemeinen Form:



Dabei bezeichnet d die Distanz zwischen den Punkten j und k bei Beachtung des Minkowski­-Parameters r; xja und xka sind die Koordinatenwerte des Objekts j(k) auf den Achsen a(a = 1,2, ... , m) und r ist der Metrik-Parameter (1 > r > 0). Daraus lassen sich die beiden am meisten verwendeten Distanzmaße, die Euklidische Di­stanz und die City-Block Distanz ableiten.

City-Block-Distanz(Manhattan)

Setzt man in die Min­kowski-Metrik für r = 1 ein, ergibt sich die City­-Block-Distanz:



Die Bezeichnung City-Block-Distanz ist aus dem Bild rechteckig angelegter Straßenzüge abgeleitet, in denen die Entfernung von einem Punkt zum anderen nicht durch die in Form der Luftlinie angegebene kürzeste Distanz zwischen zwei Punkten, sondern nur durch Entlangfahren an den Straßenzügen zurückgelegt werden kann. Im angelsächsischen Sprachraum spricht man des­halb auch von der Manhattan-Distanz bzw. der Taxifahrer-Distanz (taxicab metric).

Euklidische Distanz

Setzt man in die Min­kowski-Metrik für r = 2 ein, ergibt sich die Euklid­-Distanz:



wobei xja und xka die Projektionen der Punkte j und k auf die Dimension a(a = 1,2, ..., m) darstel­len. Durch die Euklidische Distanz wird die kürze­ste Distanz zwischen zwei Objekten angegeben.

Euklidische u. City-Block-Distanz im Vergleich

Ähnlichkeitskoeffizienten

Ähnlichkeitskoeffizienten im Vergleich

Einteilung der Objekte

Einfaches Beispiel

Rohdaten

Berechnung

Großes Beispiel

Rohdaten

Ergebnis Tanimoto/Jaccard

Levenshtein-Distanz

• minimale Anzahl von Einfüge-, Lösch- und Ersetz-Operationen, um die erste Zeichenkette in die zweite umzuwandeln

• benannt ist die Distanz nach dem russischen Wissenschaftler Wladimir Lewenstein (engl. Levenshtein), der sie 1965 einführte

• mathematisch ist die Levenshtein-Distanz eine Metrik auf dem Raum der Symbolsequenzen

Einfache Beispiele

Berechnung

Levenshtein-Distanz in C# umgesetzt

Eigenes Programm zum Vergleich von beliebig vielen Wörtern miteinander

---

CategoryTutorienFKITWS1819