Der Agentenkurs · Evals
Zwei Arten von Checks
Lernziele
- Du unterscheidest End-to-End-Checks und Verhaltenschecks und sagst, welche Frage jede Art beantwortet.
- Du formulierst Verhaltenschecks als enge Ja-Nein-Prüfungen über einen Trace.
- Du teilst eine Eval-Suite in eine schnelle und eine langsame Stufe und verfolgst die Historie einzelner Checks.
Die bisherigen Module haben einen AgentEin System, in dem ein Sprachmodell seinen nächsten Schritt selbst wählt: Es ruft Werkzeuge auf, wertet das Ergebnis aus und macht weiter, bis das Ziel erreicht ist.Im Glossar gebaut, der plant, Tool · engl. toolEin Werkzeug, das das Modell aufrufen kann: eine API, eine Datenbankabfrage, ein Shell-Befehl, eine Suche. Über Tools wirkt das Modell auf die Welt.Im Glossar aufruft und Dateien ändert. Dieses Modul klärt, ob er funktioniert, bevor deine Nutzerinnen und Nutzer es dir sagen. Die ganze Bewertung von Agenten ruht auf einer Unterscheidung: Checks auf das Ergebnis und Checks auf das Verhalten. Du brauchst beide, und sie beantworten verschiedene Fragen.
Das Beispiel dieser Lektion ist ein Support-Agent, der eine Erstattung bearbeitet. Ein Lauf erzeugt diesen TraceDie vollständige Aufzeichnung eines Agentenlaufs: Modellrunden, Tool-Aufrufe mit ihren Argumenten, Tool-Ergebnisse und Wiederholungen. Verhaltenschecks lesen den Trace.Im Glossar:
Schritt 1 von 4
Der Trace
Der Agent schlägt die Bestellung nach, holt eine Freigabe, erstattet und antwortet. Jede Zeile ist ein Tool-Aufruf im Trace.
End-to-End-Checks
Ein End-to-End-CheckEine Prüfung, die nur das Ergebnis eines Laufs bewertet: die letzte Nachricht oder den Endzustand. Sie misst, was Nutzerinnen und Nutzer erleben, zeigt aber keine Ursache.Im Glossar stellt eine einzige Frage: Kam am Ende das Richtige heraus? Du schickst die Eingabe hinein, nimmst die letzte Nachricht oder den Endzustand und bewertest ihn. Das geht über einen exakten Vergleich, eine Rubrik oder einen Judge · engl. LLM as a judgeEin Sprachmodell, das die Ausgabe eines anderen Modells nach einer festen Frage bewertet, etwa ob eine Antwort auf der gefundenen Notiz beruht. Ein Judge ist ein Messgerät und muss gegen eigene Labels geprüft werden.Im Glossar. Diesen Check würden Nutzerinnen und Nutzer entwerfen, weil er misst, was sie erleben.
Seine Stärke ist zugleich seine Grenze. Angenommen, die Erfolgsquote fällt nach einer Änderung am Prompt · engl. promptDer Text, den du einem Sprachmodell bei einem Aufruf schickst. In einem Agenten setzt er sich aus Systemprompt, Tool-Definitionen, Verlauf und aktueller Anfrage zusammen.Im Glossar von 84 % auf 71 %. Eine End-to-End-Suite meldet dir nur, dass sich die Zahl bewegt hat. Du liest die gescheiterten Transkripte einzeln, denn der Fehler kann in der Suche liegen, in den Tool-Argumenten, in einem übersprungenen Prüfschritt oder in der Formulierung der Antwort.
Googles Whitepaper Agent Quality (Nov. 2025) nennt diese Sicht die Black Box. Ihre erste Frage lautet: Hat der Agent das Ziel der Nutzerin oder des Nutzers erreicht? Das Whitepaper stellt ihr die Glass Box gegenüber, den Blick auf den Weg, den der Agent genommen hat. Sein Leitsatz dafür heißt „The Trajectory is the Truth“: Die Qualität eines Agenten zeigt sich im ganzen Entscheidungsweg.
Verhaltenschecks
Ein Verhaltenscheck · engl. behavioural checkEine enge Ja-Nein-Prüfung, ob auf dem Weg zum Ergebnis ein bestimmter Schritt passiert ist, etwa ob der Agent die Bestellung vor der Antwort nachgeschlagen hat. Er läuft als Code über den Trace.Im Glossar fragt, ob auf dem Weg zur Antwort eine bestimmte Sache passiert ist. Hat der Agent gesucht, bevor er antwortet? Hat er bei einer mehrdeutigen Anfrage nachgefragt? Hat er geprüft, ob die Datei existiert, bevor er die Aufgabe als erledigt meldet? Jeder dieser Checks ist eng, binär und günstig. Er ist eine Assertion im Code und braucht kein Urteil.
Der Gewinn ist die Diagnose. Zwei Agenten schreiben dieselbe Erstattungsmail. Der eine hat die Bestellung vorher nachgeschlagen, der andere hat geraten. Ein End-to-End-Check gibt beiden dieselbe Note. Ein Verhaltenscheck trennt sie schon heute, bevor der ratende Agent auf eine Bestellung trifft, bei der er falsch rät.
Verhaltenscheck oder End-to-End-Check?
Ordne jede Prüfung der Art zu, zu der sie gehört.
Noch offen (6)
- Hat der Agent im Vault gesucht, bevor er geantwortet hat?
- Stimmt der Betrag in der fertigen Erstattungsmail?
- Hat der Agent bei einer mehrdeutigen Anfrage nachgefragt?
- Hat der Agent geprüft, ob die Datei existiert, bevor er „erledigt“ gemeldet hat?
- Bewertet eine Rubrik die Zusammenfassung als korrekt und vollständig?
- Gleicht die Antwort exakt der erwarteten Antwort?
Verhaltenscheck: der Weg (0)
End-to-End-Check: das Ergebnis (0)
Der Trace als Grundlage
Verhaltenschecks laufen auf dem Trace. Er ist die vollständige Aufzeichnung eines Laufs: Modellrunden, Tool-Aufrufe mit ihren Argumenten, Tool-Ergebnisse und Wiederholungen. Ohne Trace gibt es keine Verhaltenschecks. Deshalb verlangt das Whitepaper, Agenten von der ersten Codezeile an für die Bewertung auszustatten. Es nennt Logs, Traces und Metriken die drei Säulen der Observability.
Läuft dein Agent in Claude Code, ist das Transkript schon der Trace. Du musst es nur speichern. Was du darüber prüfst, behandelt das Handbuch Eval Engineering ausführlich: Wahl des Tools, ausgelesene Argumente, Vorgaben zur Reihenfolge und den Umgang mit Fehlern.
Das Zeitbudget
Teil die Suite in zwei Stufen. Die schnelle Stufe besteht nur aus deterministischen Verhaltenschecks: keine Modellaufrufe, kein Netzwerk, nur Code, der Traces liest. Halte sie so schnell, dass niemand zögert, sie zu starten. Nach unserer Einschätzung sind ein paar Sekunden ein brauchbares Budget, etwa fünf. Dauert sie länger, läuft sie vor dem Merge statt nach jeder Änderung, und die schnelle Rückmeldung geht verloren. Die langsame Stufe mit End-to-End-Läufen und Judges läuft nachts und vor jedem Release.
Schnelle Stufe
- Inhalt: Verhaltenschecks als Code über gespeicherte Traces
- Kosten: keine Modellaufrufe, kein Netzwerk
- Dauer: wenige Sekunden
- Wann: nach jeder Änderung
Langsame Stufe
- Inhalt: End-to-End-Läufe, bewertet von Judges
- Kosten: Modellaufrufe für Agent und Judge
- Dauer: Minuten bis Stunden
- Wann: nachts und vor jedem Release
Der Aufbau in einer Datei aus dem Handbuch Eval Engineering lässt sich ohne Umbau in diese zwei Stufen teilen.
Wo sich welche Art lohnt
End-to-End-Checks lohnen sich an Entscheidungspunkten: ein Release ausliefern, das Modell · engl. model, LLMDas Sprachmodell (LLM, Large Language Model). Es liest Text, schreibt Text und entscheidet in einem Agenten, was als Nächstes passiert.Im Glossar tauschen, zwei Prompts vergleichen. Verhaltenschecks lohnen sich während der Entwicklung. Dort änderst du eine Sache und willst in Sekunden wissen, was sie gestört hat.
Eine Falle vermeidest du vom ersten Tag an: Beobachte einzelne Checks und lass die Gesamtquote links liegen. Eine Gesamtquote kann steigen, während ein Verhalten still kaputtgeht. Fünf wackelige Fälle bestehen plötzlich, und gleichzeitig fragt der Agent vor Erstattungen nicht mehr nach. Die Gesamtquote meldet Fortschritt. Die Historie der einzelnen Checks meldet einen Vorfall.
Was die Gesamtquote verschweigt
- Gesamtquote vorher
- 90,0 %
- Gesamtquote nachher
- 92,0 %
- Neu gebrochene Verhaltensweisen
- 1
Beispielwerte. Mit den Startwerten steigt die Gesamtquote von 90,0 % auf 92,0 %, obwohl ein Verhalten gerade gebrochen ist, etwa die Freigabe vor jeder Erstattung.
Die langsame Stufe zu bewerten ist ein eigenes Problem. Darum geht es in der nächsten Lektion, Judges und Golden Sets.
Merksätze
- Ein End-to-End-Check bewertet das Ergebnis und zeigt dir, dass sich etwas verschlechtert hat, ohne den Grund zu nennen.
- Ein Verhaltenscheck prüft eng und binär, ob ein bestimmter Schritt im Trace passiert ist, und liefert damit die Diagnose.
- Ohne gespeicherten Trace gibt es keine Verhaltenschecks, deshalb zeichnest du ab der ersten Codezeile auf.
- Die schnelle Stufe läuft in Sekunden nach jeder Änderung, die langsame Stufe mit Judges nachts und vor Releases.
- Du beobachtest die Historie einzelner Checks, weil die Gesamtquote einen Bruch überdecken kann.
Prüf dich selbst
Denkfrage
Zwei Versionen deines Agenten schreiben auf 50 Testfälle wortgleiche Antworten. Wie findest du heraus, ob sie gleich gut sind?
Mit Verhaltenschecks auf ihren Traces. Gleiche Antworten sagen nichts über den Weg: Eine Version kann die Daten nachgeschlagen, die andere geraten haben. Checks wie „get_order vor send_reply“ zeigen den Unterschied, bevor die ratende Version auf einen Fall trifft, bei dem sie falsch liegt.
Denkfrage
Deine schnelle Stufe dauert inzwischen vier Minuten, weil zwei Checks einen Judge aufrufen. Was tust du?
Die beiden Checks wandern in die langsame Stufe. In der schnellen Stufe bleibt nur Code, der Traces liest, ohne Modell und ohne Netzwerk. Sonst startet bald niemand mehr die Suite nach jeder Änderung, und die schnelle Rückmeldung fehlt.
Prüf dich selbst
Quellen
- Agent Quality
Black Box und Glass Box, „The Trajectory is the Truth“, drei Säulen der Observability, Ausstattung für die Bewertung ab der ersten Codezeile.