Token
Die kleine Texteinheit — etwa ein Wortteil —, die Modelle lesen und erzeugen; in AskClear siehst du dein Guthaben als Geld, nicht als Tokens.
Definition
Modelle lesen Text nicht als Buchstaben oder ganze Wörter, sondern als Tokens: kleine Stücke, die oft ein ganzes Wort, ein Wortteil oder ein Satzzeichen sind. Als grobe Regel gilt: ein Token entspricht etwa vier Zeichen oder drei Vierteln eines Wortes im Englischen — ein kurzer Satz wie 'ich brauche Hilfe mit meinem Mietvertrag' sind also rund sieben Tokens. Es ist schlicht die Einheit, in der ein Modell Text zählt.
Warum es wichtig ist
Tokens sind die verborgene Einheit hinter dem Kontextfenster und dem Aufwand einer Antwort — deshalb verbrauchen lange Dokumente mehr davon. In AskClear siehst oder kaufst du Tokens jedoch nie: Dein Guthaben wird immer als Geldbetrag angezeigt und deine Plan-Nutzung als einfacher Prozentwert. Tokens erklären nur im Hintergrund, warum eine sehr lange Quelle ein Größenlimit hat und warum eine große Anfrage etwas mehr von deinem Guthaben beansprucht.