Kullback-Leibler-Divergenz: Wie Zufallsspiele Informationsverlust sichtbar machen
Die Kullback-Leibler-Divergenz (KL-Divergenz) ist ein zentrales Konzept aus der Informationstheorie, das präzise beschreibt, wie viel Information verloren geht, wenn eine Wahrscheinlichkeitsverteilung \(q\) eine andere, wahre Verteilung \(p\) approximiert. Dieses Maß hilft nicht nur abstrakte Zusammenhänge zu verstehen, sondern lässt sich anschaulich an Zufallsspielen wie dem Lucky Wheel verdeutlichen. Grundbegriff: Die KL-Divergenz \(D_{\text{KL}}(p \| q)\) quantifiziert …
Kullback-Leibler-Divergenz: Wie Zufallsspiele Informationsverlust sichtbar machen Leia mais »
