2 Fragen zu Informationstheorie

In der Shannon’schen Informationstheorie bezeichnet Entropie ein Maß für die Unbestimmtheit oder den Informationsgehalt einer Informationsquelle. Sie gibt an, wie viel Information im Durchschnitt mit jeder Nachricht (Symbol) übertragen wird, die von einer Quelle stammt. Mathematisch wird die Entropie \( H \) einer diskreten Zufallsvariablen \( X \) mit den möglichen Ausprägungen \( x_1, x_2, ..., x_n \) und den Wahrscheinlichkeiten \( p(x_i) \) wie folgt definiert: \[ H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i) \] Die Entropie ist dann maximal, wenn alle möglichen Nachrichten gleich wahrscheinlich sind. Sie ist minimal (nämlich null), wenn immer dieselbe Nachricht gesendet wird, also keine Unsicherheit besteht. In der Praxis bedeutet eine hohe Entropie, dass die Quelle sehr unvorhersehbar ist und viel Information pro Symbol liefert. Eine niedrige Entropie bedeutet, dass die Quelle sehr vorhersehbar ist und wenig neue Information pro Symbol liefert. Zusammengefasst: Die Shannon-Entropie misst die durchschnittliche Informationsmenge, die mit der Auswahl eines Symbols aus einer Wahrscheinlichkeitsverteilung verbunden ist. Sie ist ein zentrales Konzept zur Quantifizierung von Information und Unsicherheit in der Informationstheorie.

Shannon’s Entropie (korrekt: Shannon-Entropie) ist ein Konzept aus der Informationstheorie, das von Claude Shannon eingeführt wurde. Sie misst die durchschnittliche Ungewissheit oder den Informationsgehalt einer Zufallsvariablen. Im Kontext von Machine Learning beschreibt die Shannon-Entropie, wie „unvorhersehbar“ oder „ungeordnet“ eine Verteilung ist. Sie wird häufig verwendet, um die Reinheit von Datensätzen zu bewerten, zum Beispiel beim Training von Entscheidungsbäumen. **Formel:** Für eine diskrete Zufallsvariable X mit möglichen Ausprägungen \( x_1, x_2, ..., x_n \) und Wahrscheinlichkeiten \( p(x_i) \) ist die Entropie definiert als: \[ H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i) \] **Bedeutung im Machine Learning:** - **Entscheidungsbäume:** Die Entropie wird genutzt, um die „Reinheit“ eines Knotens zu messen. Ein Knoten mit nur einer Klasse hat Entropie 0 (keine Ungewissheit), ein Knoten mit gleichverteilten Klassen hat maximale Entropie. - **Feature Selection:** Die Reduktion der Entropie (Informationsgewinn) hilft, die besten Merkmale für die Trennung der Daten zu finden. **Beispiel:** Wenn ein Datensatz zu 50 % aus Klasse A und zu 50 % aus Klasse B besteht, ist die Entropie maximal (1 Bit). Wenn alle Beispiele zu einer Klasse gehören, ist die Entropie 0. **Zusammengefasst:** Shannon-Entropie misst im Machine Learning die Ungewissheit oder den Informationsgehalt einer Verteilung und ist ein zentrales Maß zur Bewertung und Auswahl von Modellen und Merkmalen, insbesondere bei Klassifikationsaufgaben.