Token

Ein Token ist die kleinste Texteinheit, mit der ein Sprachmodell rechnet — oft ein Wortteil, nicht ein ganzes Wort. Modelle messen Eingabe, Ausgabe und Kosten in Token. Als Faustregel entsprechen 1.000 Token grob 750 deutschen Wörtern.