Kontextfenster & Token – Definition & Bedeutung
Token sind die kleinen Texteinheiten, in denen Sprachmodelle rechnen und abrechnen. Das Kontextfenster ist die maximale Zahl an Token, die ein Modell in einer Anfrage gleichzeitig berücksichtigen kann, also sein Arbeitsgedächtnis für Eingabe und Antwort.
Was sind Token?
Sprachmodelle verarbeiten Text nicht Wort für Wort, sondern in Token. Ein Token ist ein Wortbestandteil, ein kurzes Wort oder ein Satzzeichen. Als grobe Faustregel entspricht ein Token im Englischen etwa drei Vierteln eines Wortes. Deutsche Texte mit ihren langen, zusammengesetzten Wörtern brauchen tendenziell mehr Token pro Wort. Die genaue Zerlegung hängt vom jeweiligen Modell ab.
Token sind auch die Abrechnungseinheit der meisten KI-Anbieter. Bezahlt wird für die Eingabe-Token (Prompt, Dokumente, Gesprächsverlauf) und für die Ausgabe-Token (die Antwort), wobei Ausgabe-Token meist teurer sind.
Was ist das Kontextfenster?
Das Kontextfenster ist die maximale Menge an Token, die ein Modell in einer einzelnen Anfrage verarbeiten kann. Dazu zählen Systemanweisungen, eingefügte Dokumente, der bisherige Gesprächsverlauf und die Antwort. Aktuelle Modelle bieten Kontextfenster von über hunderttausend bis hin zu einer Million Token und mehr. Damit lassen sich ganze Handbücher oder umfangreiche Vertragswerke in einer Anfrage verarbeiten.
Warum ist das in der Praxis wichtig?
- Kosten: Wer bei jeder Anfrage große Dokumentmengen mitschickt, zahlt jedes Mal dafür. Gezielte Auswahl per RAG und Zwischenspeicherung (Prompt Caching) senken die Kosten deutlich.
- Qualität: Ein großes Kontextfenster bedeutet nicht, dass das Modell alle Details gleich gut berücksichtigt. Relevante, gut strukturierte Informationen führen zu besseren Antworten als möglichst viel Text.
- Geschwindigkeit: Längere Eingaben verlängern die Antwortzeit, was bei Chatbots und Voicebots spürbar ist.
- Gesprächsverlauf: Bei langen Chats müssen ältere Teile zusammengefasst oder ausgelassen werden, damit das Fenster nicht überläuft.
In der Praxis
Wir planen Token-Verbrauch und Kontext bei jeder KI-Anwendung mit ein: welche Informationen wirklich gebraucht werden, welches Modell das beste Verhältnis aus Qualität und Preis bietet und wie sich Kosten im Betrieb überwachen lassen. Mehr unter KI-Entwicklung.
Verwandte Begriffe & Leistungen
Häufige Fragen
Wie viele Token hat eine DIN-A4-Seite?
Grob einige hundert bis gut tausend Token, je nach Sprache, Schriftgröße und Textdichte. Den genauen Wert berechnet der Tokenizer des jeweiligen Modells.
Ist ein größeres Kontextfenster immer besser?
Nein. Es ermöglicht längere Eingaben, erhöht aber Kosten und Antwortzeit. Gezielt ausgewählte Informationen führen oft zu besseren Ergebnissen.
Wie lassen sich Token-Kosten senken?
Durch gezielte Auswahl relevanter Inhalte per RAG, Prompt Caching, kürzere Systemanweisungen und die Wahl eines kleineren Modells für einfache Aufgaben.
Bereit, gemeinsam Großes zu schaffen?
Lass uns unverbindlich über dein Projekt sprechen.