Was ist Tokenlimit?

Das Tokenlimit bezieht sich auf die maximale Anzahl von Token, die ein Sprachmodell wie GPT-4 in einer einzelnen Anfrage verarbeiten kann. Ein Token kann ein Wort, ein Teil eines Wortes oder ein Satzzeichen sein. Das Tokenlimit variiert je nach Modellversion und Implementierung. Bei GPT-4 liegt das Tokenlimit typischerweise bei etwa 8.000 Token, was ungefähr 6.000-7.000 Wörtern entspricht. Dieses Limit umfasst sowohl die Eingabe- als auch die Ausgabetoken.