1 Frage zu Kreuzentropie

Die Kreuzentropie ist ein Maß für die Differenz zwischen zwei Wahrscheinlichkeitsverteilungen, häufig verwendet in der Informationstheorie und im maschinellen Lernen. Sie quantifiziert, wie gut eine Wahrscheinlichkeitsverteilung (z. B. die Vorhersagen eines Modells) die tatsächliche Verteilung der Daten beschreibt. Mathematisch wird die Kreuzentropie \( H(p, q) \) zwischen zwei Verteilungen \( p \) (der wahren Verteilung) und \( q \) (der geschätzten Verteilung) definiert als: \[ H(p, q) = -\sum_{x} p(x) \log(q(x)) \] Hierbei summierst du über alle möglichen Ereignisse \( x \). Die Kreuzentropie ist besonders nützlich in Klassifikationsaufgaben, da sie als Verlustfunktion verwendet wird, um die Leistung von Modellen zu bewerten. Ein niedrigerer Wert der Kreuzentropie zeigt an, dass das Modell die wahre Verteilung besser approximiert.