Der Satz von Bayes

Der Satz von Bayes ist einer der wichtigsten Sätze in der Wahrscheinlichkeit.


1. Die Formel:



Es ist ein Satz der Bedingten Wahrscheinlichkeit, beschreibt also wie Wahrscheinlich ein Ereignis (t=1) ist, unter der Bedingung dass x eingetreten ist.


2. Rechenbeispiele:

a. Die Vogelgrippe:
Die Vogelgrippe ist eine seltene Krankheit, die Nutzvögel wie zum Beispiel Hühner befallen kann.
Sie ist so selten, dass von 10.000 Hühnern nur zwei krank ist.
Es wurde ein Test entwickelt, der die Krankheit bei kranken Hühnern mit 99.9% erkennt.
Allerdings schlägt er zu 5% auch bei gesunden Hühnern an.

Wie Wahrscheinlich ist es nun, dass ein Huhn krank ist, wenn der Test positiv ausfällt?

t=1 := "Das Huhn ist krank."
t=2 := "Das Huhn ist gesund."
x := "Der Test ist positiv."

Die a priori Wahrscheinlichkeit dafür, dass ein Huhl krank ist, ist

formel

P(t=1) =

formel

formel

2 \over 10.000

formel

formel

= 0,0002

formel

Die klassenbedingte Wahrscheinlichkeitsdichte, beschreibt wie gut der Test kranke Hühner erkennt:
Die Wahrscheinlichkeit dafür, dass der Test positiv ist unter der Bedingung, dass das getestete Huhn krank ist, ist

formel

p(x|t=1) =

formel

99,9%

formel

= 0,999

formel

Der Mittelwert der Gesamtheit der positiv ausfallenden Test, ist die totale Wahrscheinlichkeit, dass ein Test positiv ausfällt.
(Nach dem Satz der totalen Wahrscheinlichkeit, ist

formel

p(x) =

formel

)

formel

\sum p(x|t=i)P(t=i) = p(x|t=1)P(t=1) + p(x|t=2)P(t=2) = 0,999*0,0002 + 0,05*0,9999

formel

Damit ergibt sich für

formel

P(t=1|x)=

formel

formel

p(x|t=1)P(t=1) \over \sum p(x|t=i)P(t=i)

formel

=

formel

p(x|t=2)P(t=2) \over p(x|t=1)P(t=1) + p(x|t=2)P(t=2)

formel

=

formel

0,999*0,0002 \over 0,999*0,0002 + 0,05*0,9999

formel

formel

= 0,00398

formel

Das bedeutet, dass von 250 positiv getesteten Hühnern nur ein einziges wirklich krank sind.

Der Satz von Bayes erfragt nicht, ob ein Test richtig funktionier, sondern ob er a posteriori richtig erkannt hat.
Die Wahrscheinlichkeit ein krankes Huhn zu erkennen liegt bei 99.9%, die Wahrscheinlichkeit das ein Huhn wirklich krank ist nur bei 0,004.


b. Buchstabenerkennung
Ein Algorithmus soll eingescannte deutsche Texte erkennen. Der Algorithmus hat kleine Probleme mit u und v, hier irrt er sich zu 1%.
Die Wahrscheinlichkeit für ein u in einem deutschen Text ist 4,3% (P(t=1)=0,043). V's sind seltener und tauchen nur mit 0.67% auf (P(t=2)=0,0067).

Wie Wahrscheinlichkeit ist ein als v erkannter Buchstabe wirklich ein v? (P(t=2|x) (a posteriori)?)

Wahrscheinlichkeit für ein u: P(t=1)=0,043
Wahrscheinlichkeit für ein v: P(t=2)=0,0067 (a priori)
Test erkennt v als v: p(x|t=2) = 0,99
Test erkennt u als v: p(x|t=1) = 0,01

Test erkennt ein v:

formel

\sum p(x|t=i)P(t=i) = p(x|t=1)P(t=1) + p(x|t=2)P(t=2) = 0,043*0,01 + 0,0067*0,99

formel

(Satz der totalen Wahrscheinlichkeit)
Damit ergibt sich:

formel

P(t=2|x) =

formel

formel

p(x|t=2)P(t=2) \over \sum p(x|t=i)P(t=i)

formel

=

formel

p(x|t=2)P(t=2) \over p(x|t=1)P(t=1) + p(x|t=2)P(t=2)

formel

=

formel

0,0067*0,99 \over 0,043*0,01 + 0,0067*0,99

formel

formel

= 0,939

formel

Ein vom Test als v erkannter Buchstabe ist also zu 93,9% wirklich ein v, obwohl sich der Test nur in 1% der Fälle irrt.

In einem englischen Text tritt ein u zu 2,8% und ein v zu 0,98% ein. Die Wahrscheinlichkeit, dass ein erkanntes v wirklich ein v ist, liegt in englischen Texten immerhin schon bei 97%.


3. abstraktes Beispiel
Wir messen die Größe der Menschen.

formel

\frac 2 3

formel

aller gemessenen Menschen sind männlich. (->

formel

p(t=1)= \frac 2 3

formel

). Wie erhalten folgendes Histogramm:



Mit Hilfe von Bayes können wir jetzte die Wahrscheinlichkeitsdichtefunktion berechnen und erhalten:



Mit Hilfe dieser Dichte kann nun auf einen Blick die Wahrscheinlichere Klasse (♂ oder ♀) abgelesen werden.

(Bayes ist ein optimaler Klassifikator.)

Quelle:
Stochastik - Strucktur im Zufall von Matthias Löwe, Holger Knöpfel (2. Auflage, 9783486706765)
https://de.wikipedia.org/wiki/Buchstabenhäufigkeit