Agenten-Evals · Agentenwerk

Lernziele

Du bewertest einen Agentenlauf auf zwei Ebenen: Endzustand in der Umgebung und Trajektorie.
Du schreibst Checks für Tool-Aufrufe als Code über den Trace.
Du erklärst den Unterschied zwischen pass@k und pass^k und richtest danach ein Gate in der CI ein.

Ein einzelner Modellaufruf ist eine Funktion. Ein AgentEin System, in dem ein Sprachmodell seinen nächsten Schritt selbst wählt: Es ruft Werkzeuge auf, wertet das Ergebnis aus und macht weiter, bis das Ziel erreicht ist.Im Glossar ist ein Prozess: Er plant, ruft Tool · engl. toolEin Werkzeug, das das Modell aufrufen kann: eine API, eine Datenbankabfrage, ein Shell-Befehl, eine Suche. Über Tools wirkt das Modell auf die Welt.Im Glossar auf, liest Ergebnisse und erholt sich von eigenen Fehlern, oder eben nicht. Wer nur die Endantwort bewertet, beurteilt eine Schachpartie nach dem letzten Zug. Diese Lektion baut auf Evals entwerfen auf.

Trajektorien und Ergebnisse

Zeichne die ganze Trajektorie · engl. trajectoryDer ganze Weg eines Agentenlaufs von der Eingabe bis zum Ende: jede Modellrunde, jeder Tool-Aufruf, jedes Ergebnis, jede Wiederholung. Evals bewerten neben dem Endzustand auch diesen Weg.Im Glossar auf: jede Modellrunde, jeden Tool-Aufruf, jedes Tool-Ergebnis und jede Wiederholung. Dann bewertest du auf zwei Ebenen.

Ergebnis: Ist die Aufgabe erledigt, und stimmt der Endzustand? Am besten prüfst du das in der Umgebung: Die Datei existiert, die Zeile steht in der Datenbank, die Tests laufen durch. Die Behauptung des Agenten, er sei fertig, zählt dabei nicht. Agenten erklären ihren Sieg sehr flüssig.
Trajektorie: War der Weg vernünftig? Zähl die Schritte, erkenne Schleifen und markiere Tool-Fehler, die der Agent still übergangen hat. Zwei Agenten mit gleicher Erfolgsquote sind verschieden, wenn einer 40 Runden braucht und das Zwanzigfache an TokenDie Einheit, in der Modelle Text lesen und abrechnen: meist ein Wortteil. Anbieter rechnen pro Million Tokens ab.Im Glossar verbrennt.

Anthropic rät, das Ergebnis zu bewerten und keinen bestimmten Weg vorzuschreiben. Agenten finden oft gültige Wege, an die beim Schreiben des Tests niemand gedacht hat. Die Checks auf der Trajektorie suchen deshalb nach klaren Fehlern wie Schleifen, ignorierten Fehlermeldungen und verschwendeten Runden. Eine feste Musterlösung für den Pfad gehört nicht dazu.

Korrektheit der Tool-Aufrufe

Diese Checks sind die mechanischsten und bringen den größten Ertrag:

Das richtige Tool für die Absicht ist gewählt.
Die Argumente sind gültig und korrekt aus dem Kontext übernommen. Kennungen, Daten und Filter sind die Stellen, an denen Agenten still scheitern.
Vorgaben zur Reihenfolge sind eingehalten: search vor answer, read vor write.
Fehler werden behandelt. Du lässt ein Tool mitten in der Trajektorie scheitern und prüfst, ob der Agent es erneut versucht oder den Fehler meldet und kein Ergebnis erfindet.

Das sind Assertions im Code über den TraceDie vollständige Aufzeichnung eines Agentenlaufs: Modellrunden, Tool-Aufrufe mit ihren Argumenten, Tool-Ergebnisse und Wiederholungen. Verhaltenschecks lesen den Trace.Im Glossar, ohne Aufruf eines Judges. Den Judge sparst du dir für Fragen wie „War der Plan sinnvoll?“ auf. Zwei solche Checks in Python, über einen Trace als Liste von Tool-Aufrufen:

def tools_in_reihenfolge(trace, zuerst, danach):
    """Der erste Aufruf von `zuerst` liegt vor dem ersten Aufruf von `danach`."""
    namen = [schritt["tool"] for schritt in trace]
    if danach not in namen:
        return True
    return zuerst in namen and namen.index(zuerst) < namen.index(danach)

def datum_uebernommen(trace, erwartet_ab):
    """Jeder Aufruf von search_orders trägt den Zeitraum aus der Frage."""
    aufrufe = [s for s in trace if s["tool"] == "search_orders"]
    return bool(aufrufe) and all(a["args"].get("since") == erwartet_ab for a in aufrufe)

Wie ein kleiner Runner solche Checks auf gespeicherte Traces anwendet, zeigt die Kurslektion Evals in der Praxis.

Umgebungsbasierte Evals

Der Goldstandard sieht so aus: Der Agent bekommt eine abgeschottete Umgebung, etwa einen Docker-Container, eine vorbefüllte Datenbank oder eine Mock-API. Danach bewertest du den Zustand mit ausführbaren Checks. Der Aufbau ist festgelegt, der Abbau läuft per Programm, und das Urteil steht eindeutig fest. Das kostet mehr Arbeit als ein Golden Set aus Transkripten. Für alles, was Zustand verändert, lohnt es sich nach unserer Einschätzung.

Jeder Versuch braucht eine frische Umgebung. Anthropic beschreibt einen Fall, in dem Claude die Git-Historie früherer Versuche in derselben Umgebung las. Damit maß die Eval Reste alter Läufe.

Harness-Benchmarks 2026

Öffentliche BenchmarkEin öffentlicher, fester Aufgabensatz, auf dem Modelle und Harnesses verglichen werden, etwa echte GitHub-Issues mit den Tests des Repositorys als Prüfung. Für dein eigenes Produkt brauchst du zusätzlich eigene Evals.Im Glossar vergleichen Modelle und Harnesses. Für dein Produkt brauchst du eigene Evals, und die Benchmarks zeigen dir, wie gute umgebungsbasierte Evals aussehen. Stand: Nov. 2026:

SWE-bench stellt echte GitHub-Issues, bewertet mit den Tests des jeweiligen Repositorys. SWE-bench Verified ist eine von Menschen gefilterte Auswahl von 500 Aufgaben. Die Bestenliste stand bei der letzten Aktualisierung im Februar 2026 bei 79,2 %. Im selben Monat hörte OpenAI auf, Ergebnisse auf Verified zu berichten. Alle getesteten Spitzenmodelle konnten die Musterlösungen wiedergeben. In einer geprüften Teilmenge von Aufgaben, an denen Modelle oft scheiterten, hatten mindestens 59,4 % fehlerhafte Tests, die richtige Lösungen ablehnten. OpenAI empfiehlt als Ersatz SWE-bench Pro von Scale AI mit 1.865 Aufgaben aus 41 Repositorys.
Terminal-Bench stellt Aufgaben im Terminal, jede in einem festen Docker-Image, bewertet mit ausführbaren Tests. Version 2.0 vom November 2025 hatte 89 Aufgaben, von Hand und mit Modellhilfe geprüft. Aktuell ist Version 4.1, deren Prüfer gegen das Austricksen der Tests gehärtet sind. Nach unserer Einschätzung ist Terminal-Bench die sauberste Vorlage für eigene Umgebungs-Evals.
GAIA stellt 466 Fragen für allgemeine Assistenten, die Web, Tools und mehrstufiges Denken brauchen. Im Paper vom November 2023 erreichten Menschen 92 %, GPT-4 mit Plugins 15 %.
τ²-bench von Sierra misst das Zusammenspiel von Tool, Agent und Nutzerin. Eine simulierte Kundin hat eigene Tools, und der Agent muss Regeln einhalten, etwa in den Bereichen Fluglinie, Handel und Telekommunikation.
Inspect Evals sammelt laut Inspect über 200 fertige Evals unter einem Framework. Gepflegt wird die Sammlung von Generality Labs.

Am Schicksal von SWE-bench Verified siehst du, dass auch öffentliche Benchmarks altern, genau wie dein Golden Set. Aufgaben landen in Trainingsdaten, Tests erweisen sich als fehlerhaft, und die Betreiber bringen neue Versionen heraus.

CI-Integration

Evals gehören in die Pipeline, wo sie bei jeder Änderung von selbst laufen.

Eine kleine Smoke-Suite mit rein deterministischen Checks läuft bei jedem Pull Request. Die volle Suite läuft nachts und vor jedem Release.
Ein Schwellenwert hält Merges auf. Du lässt jeden Fall mehrmals laufen und vergleichst den Mittelwert mit dem Schwellenwert.
Die Modellversionen sind in der CI festgeschrieben. Ein Modellwechsel ist eine Änderung, die die Suite bestehen muss wie jede andere.

Wie oft ein Fall laufen muss, hängt davon ab, was du versprichst. Anthropic unterscheidet zwei Maße. pass@k ist die Wahrscheinlichkeit, dass mindestens einer von k Versuchen gelingt. pass^k ist die Wahrscheinlichkeit, dass alle k Versuche gelingen. Ein Werkzeug, bei dem eine Person einen Fehlschlag einfach wiederholt, misst du mit pass@k. Ein Agent, der jedes Mal funktionieren muss, braucht pass^k.

pass@k und pass^k

Erfolg pro Versuch75 %

Versuche k3

pass@k: mindestens ein Versuch gelingt: 98,4 %
pass^k: alle Versuche gelingen: 42,2 %

Beispielwerte. Mit 75 % pro Versuch und k = 3 liegt pass^k bei etwa 42 %, wie im Beispiel von Anthropic. pass@k steigt mit k, pass^k fällt.

Stell k auf 10. pass@k nähert sich 100 %, pass^k fällt auf unter 6 %. Derselbe Agent wirkt je nach Maß fast perfekt oder unbrauchbar. Wie du die Suite in eine schnelle und eine langsame Stufe teilst, beschreibt die Kurslektion Zwei Arten von Checks. Werkzeuge, die dir dabei Arbeit abnehmen, stellt Eval-Werkzeuge vor.

Merksätze

Ein Agentenlauf wird auf zwei Ebenen bewertet: Endzustand in der Umgebung und Trajektorie.
Checks für Tool-Aufrufe sind Code über den Trace: richtiges Tool, korrekte Argumente, Reihenfolge, Umgang mit Fehlern.
Umgebungsbasierte Evals mit frischer Sandbox pro Versuch sind der Goldstandard für alles, was Zustand verändert.
Öffentliche Benchmarks altern: OpenAI berichtet seit Februar 2026 keine Werte auf SWE-bench Verified mehr.
In der CI laufen Fälle mehrfach, Modelle sind festgeschrieben, und pass^k misst, ob ein Agent jedes Mal funktioniert.

Prüf dich selbst

Denkfrage

Warum prüfst du den Endzustand in der Umgebung?

Denkfrage

Zwei Agenten lösen beide 80 % der Aufgaben. Woran erkennst du den besseren?

Quellen

Demystifying evals for AI agents · Anthropic, Jan. 2026
Ergebnis bewerten, isolierte Umgebungen, pass@k und pass^k.
SWE-bench · SWE-bench-Team
Bestenliste und Varianten, darunter Verified mit 500 Aufgaben.
Why we no longer evaluate SWE-bench Verified · OpenAI, Feb. 2026
Kontamination und fehlerhafte Tests.
Terminal-Bench · Terminal-Bench-Team
Aufgaben in Docker-Images, bewertet mit Tests, aktuell Version 4.1.
GAIA: a benchmark for General AI Assistants · Grégoire Mialon u. a., Nov. 2023
466 Fragen, Menschen 92 %, GPT-4 mit Plugins 15 %.
τ²-bench · Sierra
Agent, Tools und simulierte Nutzerin unter Regeln.
Inspect Evals · Generality Labs
Sammlung fertiger Evals für Inspect.