Kurz gesagt

Ein Token ist eine kleine Texteinheit, mit der eine Künstliche Intelligenz arbeitet. Texte werden von der KI nicht als ganze Wörter, sondern als Tokens verarbeitet.

—

Ein Token kann sein:

* ein ganzes Wort * ein Teil eines Wortes * ein Satzzeichen * manchmal auch ein Leerzeichen

Beispiel:

Der Satz

„Ich lerne KI“

kann intern etwa so zerlegt werden:

* „Ich“ * „ lerne“ * „ KI“

Das sind Tokens.

—

KI-Modelle wie ChatGPT können keine Texte „lesen“ wie Menschen. Sie zerlegen Text in Tokens, um:

* Muster zu erkennen * Wahrscheinlichkeiten zu berechnen * Texte Schritt für Schritt zu erzeugen

Die KI entscheidet immer:

*Welches Token kommt als Nächstes?*

—

Ein häufiger Irrtum ist:

1 Token = 1 Wort ❌

Das stimmt nicht.

* Kurze Wörter → oft 1 Token * Lange oder zusammengesetzte Wörter → mehrere Tokens * Fremdsprachen → oft mehr Tokens als Deutsch oder Englisch

—

Tokens spielen eine Rolle bei:

* Kosten (bei vielen KI-Anbietern) * Antwortlänge * Kontext (wie viel Text die KI „im Kopf behalten“ kann)

Je mehr Tokens ein Text hat, desto mehr Rechenaufwand entsteht.

—

KI-Modelle haben ein Token-Limit. Das ist die maximale Anzahl an Tokens, die sie gleichzeitig verarbeiten können.

Das betrifft:

* lange Gespräche * große Texte * umfangreiche Anweisungen

Wird das Limit überschritten, kann die KI:

* früh abbrechen * Informationen „vergessen“ * Zusammenhänge verlieren

—

Auch der Prompt verbraucht Tokens. Je länger und detaillierter der Prompt, desto mehr Tokens werden genutzt.

Ein klarer, präziser Prompt ist oft besser als ein sehr langer.

—

* Menschen, die KI intensiv nutzen * Nutzer kostenpflichtiger KI-Tools * Entwickler & Power-User * Alle, die lange Texte verarbeiten

Für einfache Nutzung ist Token-Wissen hilfreich, aber nicht zwingend nötig.

—

* Was ist ein Prompt? * Was ist ChatGPT? * Was ist Künstliche Intelligenz?

—

📝 Merksatz:
Tokens sind die Bausteine, mit denen KI Texte versteht und erzeugt.

—