Shannon’s Entropie (korrekt: Shannon-Entropie) ist ein Konzept aus der Informationstheorie, das von Claude Shannon eingeführt wurde. Sie misst die durchschnittliche Ungewissheit oder den Informationsgehalt einer Zufallsvariablen. Im Kontext von Machine Learning beschreibt die Shannon-Entropie, wie „unvorhersehbar“ oder „ungeordnet“ eine Verteilung ist. Sie wird häufig verwendet, um die Reinheit von Datensätzen zu bewerten, zum Beispiel beim Training von Entscheidungsbäumen. **Formel:** Für eine diskrete Zufallsvariable X mit möglichen Ausprägungen \( x_1, x_2, ..., x_n \) und Wahrscheinlichkeiten \( p(x_i) \) ist die Entropie definiert als: \[ H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i) \] **Bedeutung im Machine Learning:** - **Entscheidungsbäume:** Die Entropie wird genutzt, um die „Reinheit“ eines Knotens zu messen. Ein Knoten mit nur einer Klasse hat Entropie 0 (keine Ungewissheit), ein Knoten mit gleichverteilten Klassen hat maximale Entropie. - **Feature Selection:** Die Reduktion der Entropie (Informationsgewinn) hilft, die besten Merkmale für die Trennung der Daten zu finden. **Beispiel:** Wenn ein Datensatz zu 50 % aus Klasse A und zu 50 % aus Klasse B besteht, ist die Entropie maximal (1 Bit). Wenn alle Beispiele zu einer Klasse gehören, ist die Entropie 0. **Zusammengefasst:** Shannon-Entropie misst im Machine Learning die Ungewissheit oder den Informationsgehalt einer Verteilung und ist ein zentrales Maß zur Bewertung und Auswahl von Modellen und Merkmalen, insbesondere bei Klassifikationsaufgaben.