1 Frage zu Informationstheorie

In der Shannon’schen Informationstheorie bezeichnet Entropie ein Maß für die Unbestimmtheit oder den Informationsgehalt einer Informationsquelle. Sie gibt an, wie viel Information im Durchschnitt mit jeder Nachricht (Symbol) übertragen wird, die von einer Quelle stammt. Mathematisch wird die Entropie \( H \) einer diskreten Zufallsvariablen \( X \) mit den möglichen Ausprägungen \( x_1, x_2, ..., x_n \) und den Wahrscheinlichkeiten \( p(x_i) \) wie folgt definiert: \[ H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i) \] Die Entropie ist dann maximal, wenn alle möglichen Nachrichten gleich wahrscheinlich sind. Sie ist minimal (nämlich null), wenn immer dieselbe Nachricht gesendet wird, also keine Unsicherheit besteht. In der Praxis bedeutet eine hohe Entropie, dass die Quelle sehr unvorhersehbar ist und viel Information pro Symbol liefert. Eine niedrige Entropie bedeutet, dass die Quelle sehr vorhersehbar ist und wenig neue Information pro Symbol liefert. Zusammengefasst: Die Shannon-Entropie misst die durchschnittliche Informationsmenge, die mit der Auswahl eines Symbols aus einer Wahrscheinlichkeitsverteilung verbunden ist. Sie ist ein zentrales Konzept zur Quantifizierung von Information und Unsicherheit in der Informationstheorie.