Die Entropie ist ein Maß für die Unordnung oder den Informationsgehalt eines Systems. In der Thermodynamik wird die Entropie oft mit der folgenden Gleichung beschrieben: \[ S = k \cdot \ln(\Omega) \] Hierbei ist: - \( S \) die Entropie, - \( k \) die Boltzmann-Konstante (\( 1.38 \times 10^{-23} \, \text{J/K} \)), - \( \Omega \) die Anzahl der mikroskopischen Zustände, die einem makroskopischen Zustand entsprechen. In der Informationstheorie wird die Entropie eines Informationssystems durch die Shannon-Entropie beschrieben: \[ H(X) = -\sum_{i} p(x_i) \cdot \log_b(p(x_i)) \] Hierbei ist: - \( H(X) \) die Entropie der Zufallsvariablen \( X \), - \( p(x_i) \) die Wahrscheinlichkeit des Auftretens des Ereignisses \( x_i \), - \( b \) die Basis des Logarithmus (häufig 2 für die Information in Bits). Diese Gleichungen zeigen, wie Entropie in verschiedenen Kontexten verwendet wird.