Entropie ist ein Maß für die Unordnung oder Zufälligkeit in einem System. In der Thermodynamik beschreibt sie die Anzahl der möglichen Mikrozustände, die einem Makrozustand entsprechen. Je höher die Entropie, desto größer ist die Unordnung und desto mehr Mikrozustände sind möglich. Entropie kann auch als Maß für die Energie angesehen werden, die in einem System nicht zur Verrichtung von Arbeit verfügbar ist. In der Informationstheorie beschreibt Entropie die Unsicherheit oder den Informationsgehalt einer Nachricht.