Fünf Schichten, ein System

Lernziele

Du nennst die fünf Schichten um das Modell und die Frage, die jede beantwortet.
Du erkennst an einem Symptom, welche Schicht fehlt oder kaputt ist.
Du weißt, welches Modul und welches Handbuch dieses Kurses zu welcher Schicht gehört.

Stell dir vor, der Agent ist eine neue Kollegin an ihrem ersten Arbeitstag. Sie ist klug und schnell und weiß nichts über deine Firma. Ob sie Erfolg hat, entscheidet das System, das du um sie herum baust. Dieses System hat genau fünf Schichten.

In der Branche klingen die Schichten wie rivalisierende Schulen: Context Engineering, Loop Engineering, Routing, Harness Engineering und Eval Engineering. Das sind fünf Schlagworte, fünf Konferenz-Tracks und fünf Leute, die jeweils die anderen vier für Hype halten. In diesem Kurs sind es fünf Schichten eines einzigen Systems. Jede beantwortet eine Frage: was es sieht, wer entscheidet, wer sortiert, was es erreichen darf und woher du weißt, dass es funktioniert.

Schicht 1 von 5

Kontext: Was sieht es?

Im Bild: Was auf ihrem Schreibtisch liegt, wenn sie anfängt: der Auftrag, die passenden Dateien, die eine Seite Vorgeschichte, auf die es ankommt.
Wenn sie fehlt: Sie rät, erfindet plausible Antworten und fragt nach Dingen, die sie längst bekommen hat. Das sieht aus wie ein schlechtes Modell.

Kontext: was es sieht

Der Kontextfenster · engl. context windowAlles, was das Modell bei einem Aufruf liest: Anweisungen, Verlauf, Dateien, Tool-Ergebnisse. Was dort fehlt, existiert für das Modell nicht.Im Glossar ist das, was auf dem Schreibtisch liegt, wenn die Kollegin mit einer Aufgabe beginnt. Dazu gehören der Auftrag, die passenden Dateien und die eine Seite Vorgeschichte, auf die es ankommt. Mehr gehört nicht dazu.

Das Modell denkt nur über das nach, was im Kontextfenster steht. Alles außerhalb existiert für das Modell nicht. Fehlt diese Schicht, rät der Agent. Er erfindet plausible Antworten auf Fragen, deren Unterlagen er nie gesehen hat, und fragt nach Dingen, die er schon bekommen hat. Schlechter Kontext wird regelmäßig als schlechtes Modell fehldiagnostiziert.

Loop: wer entscheidet

Die Kollegin kann eine Checkliste abarbeiten oder den nächsten Schritt selbst entscheiden. Eine Checkliste ist ein WorkflowEin System, in dem Modellaufrufe und Tools auf Pfaden laufen, die du vorher im Code festgelegt hast. Der Code entscheidet den nächsten Schritt.Im Glossar: billig, vorhersehbar und am Ende, sobald etwas Unerwartetes passiert. Selbst gewählte Schritte sind ein Agenten-Loop · engl. agent loopDie Schleife eines Agenten: denken, handeln, beobachten, wiederholen. Zwischen den Durchläufen wird der Kontext des Modells jedes Mal neu gebaut.Im Glossar: flexibel, teuer und anfällig fürs Abschweifen.

Ohne bewusstes Loop-Design bekommst du eines von beiden Extremen. Das eine ist ein Skript, das bei allem Unvorhergesehenen abbricht. Das andere ist ein Agent, der TokenDie Einheit, in der Modelle Text lesen und abrechnen: meist ein Wortteil. Anbieter rechnen pro Million Tokens ab.Im Glossar verbrennt, während er um dieselben drei Dateien kreist.

Gate: wer sortiert

Das GateEine kleine, schnelle Entscheidung vor dem teuren Teil: eine Regel, ein Klassifikator oder ein günstiges Modell sortiert Anfragen, bevor sie den Agenten erreichen.Im Glossar ist der Empfang, der die Post sortiert. Viele Anfragen brauchen die teure Kollegin gar nicht. Eine kleine, schnelle Entscheidung schickt das Belanglose woandershin und die echte Arbeit hinein. Das kann ein Klassifikator sein, ein günstiges Modell oder eine einfache Regel.

Fehlt das Gate, landet alles auf dem teuersten Weg. Das gilt auch für Spam, Dubletten und den Verkehr, der einen Agenten mit Schlüsseln überhaupt nie erreichen sollte.

Harness: was es erreichen darf

Der HarnessAlles, was festlegt, was der Agent erreichen darf: Tools, Berechtigungen, Sandbox, Zeitlimits und die Prüfung, bevor eine Aktion wirkt. Englisch für Geschirr oder Gestell.Im Glossar ist ihr Büro: die Tools auf dem Tisch, die Schlüssel am Bund und die Person, die ihre Arbeit prüft, bevor sie rausgeht. Technisch heißt das Berechtigungen, Sandboxes, Zeitlimits und Review.

Ohne Harness ist der Agent entweder nutzlos oder gefährlich. Er ist nutzlos, wenn ihm die Tools zum Handeln fehlen. Er ist gefährlich, wenn er auf alles zugreifen kann und niemand eine Aktion prüft, bevor sie wirkt.

Evals: woher du es weißt

Evals · engl. evaluationsEin fester Satz von Aufgaben mit bekannten Antworten, der nach jeder Änderung erneut läuft. So misst du, ob eine Änderung geholfen oder geschadet hat.Im Glossar sind jeden Monat derselbe Test: ein fester Satz von Aufgaben mit bekannten Antworten, der bei jeder Version läuft.

Ohne Evals kannst du nur fühlen, ob eine Änderung geholfen hat. Deine Rückschritte entdecken dann deine Nutzerinnen und Nutzer.

Die Landkarte

Ein Fehler in einer Schicht trägt die Maske einer anderen. Fehlender Kontext sieht aus wie ein dummes Modell. Ein fehlendes Gate sieht aus wie davonlaufende Kosten. Fehlende Evals sehen nach gar nichts aus, bis die Produktion sie zeigt.

Welche Schicht fehlt?

Ordne jedes Symptom der Schicht zu, die hier fehlt oder kaputt ist.

Noch offen (7)

Der Agent fordert eine Datei an, die zwei Schritte vorher in seinem Kontext lag.
Der Agent beantwortet eine Frage zu einem Vertrag, den er nie bekommen hat, mit einer plausiblen Erfindung.
Nach 40 Runden liest der Agent immer noch dieselben drei Dateien.
Ein festes Skript bricht beim ersten unerwarteten Dateiformat ab.
Jede Spam-Mail landet beim teuersten Modell, die Rechnung verdreifacht sich.
Der Agent löscht eine Tabelle in der Produktionsdatenbank. Niemand hat vorher hingeschaut.
Nach einer Prompt-Änderung melden Nutzerinnen und Nutzer Fehler, die es vorher nicht gab.

Kontext (0)

Loop (0)

Gate (0)

Harness (0)

Evals (0)

Jede Schicht bekommt in diesem Kurs ein Modul, vier bekommen zusätzlich ein Handbuch. Diese Aufteilung gilt für den ganzen Kurs. Das Modul erklärt die Idee einmal und in der richtigen Reihenfolge. Das Handbuch enthält die ganze Auswahl an Techniken, Tools und Builds für den Moment, in dem diese Schicht in deinem System wehtut.

Schicht	Frage	Modul	Handbuch
Kontext	Was sieht es?	Modul 1: Kontext	Modul 1 ist die Vertiefung
Loop	Wer entscheidet den nächsten Schritt?	Modul 2: Die Schleife	Loop Engineering
Gate	Wer sortiert die eingehende Arbeit?	Modul 3: Das Gate	Gates mit Entscheidungsmodellen
Harness	Was darf es erreichen?	Modul 4: Der Harness	Agent-Harnesses
Evals	Woher weißt du, dass es funktioniert?	Modul 5: Evals	Eval Engineering

Merksätze

Um das Modell liegen fünf Schichten eines Systems: Kontext, Loop, Gate, Harness und Evals.
Jede Schicht beantwortet eine Frage: was es sieht, wer entscheidet, wer sortiert, was es erreichen darf, woher du es weißt.
Ein Fehler in einer Schicht sieht oft aus wie ein Fehler in einer anderen. Fehlender Kontext wirkt wie ein dummes Modell.
Fehlende Evals bemerkst du erst, wenn deine Nutzerinnen und Nutzer die Fehler finden.

Prüf dich selbst

Denkfrage

Dein Agent fordert immer wieder eine Datei an, die zwei Schritte vorher in seinem Kontext lag. Welche Schicht ist kaputt, und warum sieht es nach einem Modellproblem aus?

Denkfrage

Jemand in deinem Team behauptet, Eval Engineering habe Prompt Engineering abgelöst. Erkläre mit den fünf Fragen, warum das ein Kategorienfehler ist.