Was sind Tokens?

Tokens sind die kleinsten Einheiten, in die ein Text von Sprachmodellen wie GPT-4 zerlegt wird. Ein Token kann ein einzelnes Zeichen, ein Wort oder ein Teil eines Wortes sein, je nach Sprache und Kontext. Zum Beispiel kann das Wort „Haus“ ein Token sein, während ein längeres Wort wie „Hausaufgaben“ in mehrere Tokens zerlegt werden kann (z. B. „Haus“, „auf“, „gaben“).

Tokens sind wichtig, weil Sprachmodelle wie GPT-4 Texte in Form von Tokens verarbeiten und generieren. Die Anzahl der Tokens beeinflusst, wie viel Text ein Modell auf einmal verstehen oder erzeugen kann. Bei vielen KI-Diensten wird die Nutzung auch nach der Anzahl der verarbeiteten Tokens abgerechnet.

Weitere Informationen findest du z. B. bei [OpenAI](https://platform.openai.com/tokenizer).