Der Agentenkurs · Kontext
Wie Modelle lesen
Lernziele
- Du erklärst die U-Kurve der Aufmerksamkeit mit den Zahlen aus Lost in the Middle.
- Du rechnest aus, was toter Ballast in einem Agenten-Loop über viele Runden kostet.
- Du erkennst, welche Änderungen am Prompt den Cache brechen.
Ein großes Kontextfenster · engl. context windowAlles, was das Modell bei einem Aufruf liest: Anweisungen, Verlauf, Dateien, Tool-Ergebnisse. Was dort fehlt, existiert für das Modell nicht.Im Glossar sieht aus wie freier Platz. Das Modell · engl. model, LLMDas Sprachmodell (LLM, Large Language Model). Es liest Text, schreibt Text und entscheidet in einem Agenten, was als Nächstes passiert.Im Glossar liest jedes TokenDie Einheit, in der Modelle Text lesen und abrechnen: meist ein Wortteil. Anbieter rechnen pro Million Tokens ab.Im Glossar, das du schickst, aber es gewichtet die Tokens unterschiedlich. Ab einem gewissen Punkt macht jedes zusätzliche Token die Antwort schlechter, langsamer und teurer.
Diese Lektion zeigt die Mechanik dahinter. Die nächste Lektion, Die vier Orte, baut darauf eine Arbeitsweise auf.
Aufmerksamkeit hat eine Form
In der Studie Lost in the Middle (Liu und andere, 2023) beantworteten Modelle Fragen zu einem Stapel abgerufener Dokumente. Genau ein Dokument enthielt die Antwort, und die Forschenden schoben es durch den Stapel. Bei 20 Dokumenten traf GPT-3.5-Turbo zu 75,8 %, wenn die Antwort im ersten Dokument stand. In der Mitte waren es 53,8 %, am Ende 63,2 %.
Ohne jedes Dokument, nur aus dem Trainingswissen, kam dasselbe Modell auf 56,1 %. Mit der Antwort mitten im Stapel schnitt es also schlechter ab als ganz ohne Dokumente.
Dieselbe U-Kurve zeigte sich bei GPT-3.5-Turbo (4K und 16K), Claude 1.3 (auch in der 100K-Variante), MPT-30B-Instruct und LongChat-13B, bei Stapeln mit 10, 20 und 30 Dokumenten. Modelle achten stark auf den Anfang des Fensters (Primacy) und auf das Ende (Recency). Alles dazwischen bekommt wenig Aufmerksamkeit.
Neuere Modelle flachen die Kurve ab. Beseitigt hat sie nach unserer Einschätzung noch keines. Googles Whitepaper Context Engineering: Sessions, Memory (Milam und Gulli, November 2025) nennt das allgemeinere Problem „Context Rot“: Je größer der Kontext wird, desto schlechter kann das Modell auf die entscheidenden Informationen achten.
Jedes Token kostet vierfach
Dasselbe Whitepaper nennt vier praktische Grenzen für langen Kontext: das harte Fensterlimit, die API-Kosten, die Latenz und die Qualität. Vor dem Fensterlimit haben die meisten Respekt, dabei greift es als Letztes. Kosten, Latenz und Qualität verschlechtern sich ab dem ersten unnötigen Token, und zwar stetig.
Im Agenten-Loop · engl. agent loopDie Schleife eines Agenten: denken, handeln, beobachten, wiederholen. Zwischen den Durchläufen wird der Kontext des Modells jedes Mal neu gebaut.Im Glossar vervielfachen sich die Kosten. Jede Runde schickt den gesamten Verlauf erneut, also bezahlt ein Loop mit N Runden seinen Kontext ungefähr N-mal. Ein Lauf mit 30 Runden, der 20.000 Tokens toten Ballast mitschleppt, verschwendet so rund 600.000 Tokens.
Die Latenz wächst im selben Maß. Die Qualität sinkt, weil das Wichtige in die schwach beachtete Mitte des Fensters rutscht.
Was toter Ballast im Loop kostet
- Bezahlte Ballast-Tokens pro Lauf
- 600.000 Tokens
- Ballastkosten pro Lauf
- 1,80 $
- Ballastkosten pro Monat
- 1.800 $
Beispielwerte ohne Caching. Jede Runde schickt den Ballast erneut mit, deshalb wächst der Betrag mit der Zahl der Runden.
Prompt Caching belohnt Stillstand
Anbieter berechnen einen unveränderten Anfang des Prompt · engl. promptDer Text, den du einem Sprachmodell bei einem Aufruf schickst. In einem Agenten setzt er sich aus Systemprompt, Tool-Definitionen, Verlauf und aktueller Anfrage zusammen.Im Glossar beim nächsten Aufruf deutlich günstiger. Bei Anthropic heißt das Prompt Caching · engl. prompt cachingDer Anbieter speichert einen unveränderten Anfang des Prompts zwischen und berechnet ihn beim nächsten Aufruf deutlich günstiger. Ein Treffer setzt voraus, dass dieser Anfang Zeichen für Zeichen gleich bleibt.Im Glossar. Lesen aus dem Cache kostet standardmäßig das 0,1-Fache des normalen Eingabepreises, bei einigen neueren Modellen noch weniger. Schreiben in den Cache kostet das 1,25-Fache bei der Standard-Lebensdauer von 5 Minuten und das 2-Fache bei einer Stunde (Stand: Nov. 2026).
Der Haken ist die Strenge. Ein Treffer verlangt, dass der Anfang bis zum Cache-Breakpoint zu 100 % identisch ist, Zeichen für Zeichen. Der Cache ist hierarchisch aufgebaut: erst die Tools, dann der Systemprompt · engl. system promptDer feste Anfang jedes Aufrufs: Rolle, harte Regeln, Ausgabeformat. Er steht vor dem Gesprächsverlauf und gilt für das ganze Gespräch.Im Glossar, dann die Nachrichten. Änderst du eine Tool-Definition, ist der gesamte Cache ungültig. Eine Änderung am Systemprompt macht den Cache des ganzen Nachrichtenverlaufs ungültig.
Schritt 1 von 4
Tools
Die Tool-Definitionen stehen ganz vorn. Ändert sich eine davon, ist der gesamte Cache ungültig.
Ein Zeitstempel im Systemprompt sorgt bei jedem einzelnen Aufruf für einen Fehlschlag. Das kostet dich unbemerkt den ganzen Rabatt, bei Standardpreisen den Faktor 10. Dazu kommt eine Mindestlänge: Je nach Modell liegt sie zwischen 512 und 4.096 Tokens. Kürzere Prompts verarbeitet die API ohne Cache und ohne Fehlermeldung.
Was ein stillstehender Anfang spart
- Ohne Caching
- 1,80 $
- Mit Caching (einmal schreiben, dann lesen)
- 0,25 $
- Zeitstempel im Systemprompt (jeder Aufruf schreibt neu)
- 2,25 $
Kosten nur für den festen Anfang, mit Beispielwerten. Multiplikatoren 1,25× (Schreiben, 5 Minuten) und 0,1× (Lesen) laut Anthropic-Doku, Stand: Nov. 2026. Einige neuere Modelle lesen noch günstiger.
Die Form der Lösung
Aus der Mechanik folgt eine klare Richtung. Was sich nie ändert, gehört ganz nach vorn. Dort ist es günstig, weil es im Cache liegt, und gut beachtet, weil der Anfang zählt. Was gerade wichtig ist, gehört ganz ans Ende, wo die Recency für dich arbeitet.
Alles Große oder Kurzlebige gehört aus dem Fenster heraus auf die Festplatte und kommt nur bei Bedarf herein. Diese Platzierung ist das Thema der nächsten Lektion. Das Handbuch Agent-Harnesses zeigt, wie du sie in einen echten Agenten einbaust.
Merksätze
- Modelle achten stark auf Anfang und Ende des Kontextfensters und schwach auf die Mitte.
- In Lost in the Middle war GPT-3.5-Turbo mit der Antwort mitten im Stapel schlechter als ganz ohne Dokumente.
- Ein Loop mit N Runden bezahlt seinen Kontext ungefähr N-mal, toter Ballast vervielfacht sich also.
- Prompt Caching spart nur, wenn der Anfang des Prompts Zeichen für Zeichen gleich bleibt.
- Ein Zeitstempel im Systemprompt bricht den Cache bei jedem Aufruf, ohne Fehlermeldung.
Prüf dich selbst
Denkfrage
Dein Agent bekommt bei jeder Anfrage 30 abgerufene Dokumente in den Kontext. Die Antworten werden schlechter, sobald mehr Dokumente dazukommen. Woran liegt das, und was probierst du zuerst?
Je mehr Dokumente im Fenster liegen, desto wahrscheinlicher landet das entscheidende in der schwach beachteten Mitte. Lost in the Middle zeigt, dass das Modell dann sogar schlechter sein kann als ganz ohne Dokumente. Probier zuerst, weniger und bessere Dokumente zu schicken und das relevanteste ans Ende zu stellen.
Denkfrage
Die API-Antworten deines Agenten zeigen bei einem laufenden Gespräch immer `cache_read_input_tokens: 0`. Wo suchst du?
Irgendetwas am Anfang des Prompts ändert sich bei jedem Aufruf. Die üblichen Verdächtigen sind ein Zeitstempel oder ein Benutzername im Systemprompt und eine Tool-Liste, die sich unterwegs ändert. Prüf außerdem, ob der feste Anfang die Mindestlänge des Modells erreicht. Darunter cacht die API stillschweigend gar nicht.
Prüf dich selbst
Quellen
- Lost in the Middle: How Language Models Use Long Contexts
Zahlen aus Tabelle G.2 (20 Dokumente).
- Context Engineering: Sessions, Memory
- Prompt caching
Preise, Hierarchie und Mindestlängen ändern sich mit neuen Modellen.