Warum Evals

Lernziele

• Du nennst die drei Bestandteile einer Messung, die eine Änderung am Prompt bewertbar macht.
• Du beschreibst die vier Schritte des Eval-Schwungrads und ordnest Fehlernotizen zu benannten Fehlerarten.
• Du entkräftest die drei häufigsten Gründe, Evals auf später zu verschieben.

EvalsEvals · engl. evaluationsEin fester Satz von Aufgaben mit bekannten Antworten, der nach jeder Änderung erneut läuft. So misst du, ob eine Änderung geholfen oder geschadet hat.Im Glossar sind die Tests von KI-Produkten. Eine Änderung am PromptPrompt · engl. promptDer Text, den du einem Sprachmodell bei einem Aufruf schickst. In einem Agenten setzt er sich aus Systemprompt, Tool-Definitionen, Verlauf und aktueller Anfrage zusammen.Im Glossar behebt eine Beschwerde und bricht dabei unbemerkt drei andere Dinge. Ohne Messung erfährst du davon durch die Menschen, die dein Produkt benutzen. Teams, die verlässliche Funktionen mit Sprachmodellen ausliefern, behandeln die Bewertung deshalb als Ingenieursdisziplin mit festen Abläufen.

Die Idee kennst du aus dem Kursmodul Evals. Dieses Handbuch enthält die ganze Auswahl: wie du Fälle entwirfst, wie du einen Judge prüfst, was bei Agenten dazukommt, welche Werkzeuge es gibt, und drei Builds, an deren Ende eine eigene Suite mit einem Gate in der CI-Pipeline steht.

Gefühl gegen Messung

Entwicklung nach Gefühl sieht so aus: Du änderst den Prompt, fügst die drei Beispiele ein, an die du dich erinnerst, nickst und lieferst aus. Für ein Wochenendprojekt reicht das. Mit echtem Verkehr bricht es zusammen, weil deine Stichprobe aus deinem Gedächtnis stammt. Die tatsächlichen Eingaben deiner Nutzerinnen und Nutzer kommen darin kaum vor.

Messung ist langweilig und konkret. Sie besteht aus drei Teilen:

• einem festen Satz von Eingaben, die echte Nutzung abbilden
• einem automatischen Verfahren, das jede Ausgabe bewertet
• einer Zahl, die sich bewegt, wenn du etwas änderst

Mit dieser Zahl kannst du ernsthaft sagen: „Der Umstieg auf das neue Modell lohnt sich.“ Oder: „Diese Änderung am Prompt hat die Suche verschlechtert.“

Das Eval-Schwungrad

Hamel Husain und Shreya Shankar lehren einen Kreislauf mit vier Schritten. Anthropics Leitfaden zu Evals für Agenten vom Januar 2026 rät in dieselbe Richtung: mit 20 bis 50 Aufgaben aus echten Fehlern beginnen und die Transkripte selbst lesen.

Schritt 1 von 4

Fehleranalyse

Echte Traces als ganze Transkripte lesen. Husain und Shankar raten zu mindestens 100 Traces und zu einer kurzen Notiz zu jedem Fehler.

ZurückAbspielenWeiter

Der erste Schritt heißt FehleranalyseFehleranalyse · engl. error analysisDas Lesen echter Traces mit einer kurzen Notiz zu jedem Fehler. Aus den Notizen entstehen benannte Fehlerarten, und aus den häufigsten werden Checks.Im Glossar. Husain und Shankar nennen das Notieren offenes Kodieren (open coding) und raten, pro TraceTraceDie vollständige Aufzeichnung eines Agentenlaufs: Modellrunden, Tool-Aufrufe mit ihren Argumenten, Tool-Ergebnisse und Wiederholungen. Verhaltenschecks lesen den Trace.Im Glossar beim ersten Fehler anzusetzen. Mindestens 30 Traces annotierst du selbst, bevor ein Modell beim Gruppieren hilft. Das Gruppieren heißt bei ihnen axiales Kodieren (axial coding). Das anschließende Zählen pro Fehlerart halten sie für den wichtigsten Schritt, weil erst die Zahl zeigt, welche Art am meisten schadet.

Nach unserer Einschätzung zählt das Schwungrad mehr als jede einzelne Metrik. Eine Metrik aus deiner eigenen Fehlertaxonomie zeigt dir genau, was du beheben musst. Ein generischer Wert wie „Hilfsbereitschaft 1–10“ nennt dir keine Stelle zum Ansetzen. Wie aus Fehlerarten konkrete Testfälle werden, zeigt die Lektion Evals entwerfen.

Notizen zu Fehlerarten gruppieren

Ein Support-Agent für einen Onlineshop. Ordne jede Notiz aus der Fehleranalyse einer Fehlerart zu.

Noch offen (6)

• Nennt Bestellung 48213 als versendet. Die Nummer gibt es im System nicht.→ Erfundene Bestellnummer→ Datumsfilter ignoriert→ Entschuldigt sich, handelt nicht
• Frage nach Bestellungen „seit Montag“, die Antwort listet auch Bestellungen vom März.→ Erfundene Bestellnummer→ Datumsfilter ignoriert→ Entschuldigt sich, handelt nicht
• Schreibt dreimal „Das tut mir leid“, startet aber die zugesagte Rücksendung nie.→ Erfundene Bestellnummer→ Datumsfilter ignoriert→ Entschuldigt sich, handelt nicht
• Verweist auf eine Sendungsnummer, die in keinem Tool-Ergebnis vorkommt.→ Erfundene Bestellnummer→ Datumsfilter ignoriert→ Entschuldigt sich, handelt nicht
• Sucht „letzte Woche“ ohne Datumsparameter und fasst alle Bestellungen zusammen.→ Erfundene Bestellnummer→ Datumsfilter ignoriert→ Entschuldigt sich, handelt nicht
• Antwortet auf eine klare Stornierung mit einer Entschuldigung und der Bitte um Geduld.→ Erfundene Bestellnummer→ Datumsfilter ignoriert→ Entschuldigt sich, handelt nicht

Erfundene Bestellnummer (0)

Datumsfilter ignoriert (0)

Entschuldigt sich, handelt nicht (0)

Prüfen

Warum Teams es auslassen und was es kostet

Drei Ausreden kommen immer wieder. Jede ist verständlich, und jede wird teuer.

• „Ausgaben sind subjektiv, die kann man nicht testen.“ Ein subjektives Ganzes zerfällt in objektive Teile: Nennt die Antwort eine Quelle? Ist es die richtige? Bleibt sie unter 120 Wörtern?
• „Evals bauen wir nach dem Launch.“ Nach dem Launch suchst du Fehler im Betrieb, und verärgerte Nutzerinnen und Nutzer übernehmen die Bewertung.
• „Daten ansehen ist Fleißarbeit.“ Nach unserer Einschätzung ist die Stunde mit echten Traces die wirksamste, die du als KI-Engineer verbringst. Unit-Tests überlässt auch niemand der Hoffnung.

Die Rechnung kommt als Regressions-Maulwurfspiel. Jede Korrektur wird zum Glücksspiel, jedes Modell-Upgrade macht Angst, und das Tempo sinkt genau dann, wenn das Produkt wichtig wird. Teams mit Evals steigen nach unserer Einschätzung in der Woche auf ein neues Modell um, in der es erscheint, weil die Suite ihnen sagt, was gebrochen ist.

Merksätze

• Messung besteht aus festen Eingaben aus echter Nutzung, automatischer Bewertung und einer Zahl, die auf Änderungen reagiert.
• Das Eval-Schwungrad hat vier Schritte: Fehleranalyse, Taxonomie, Metriken, Iteration.
• Metriken entstehen aus deinen eigenen Fehlerarten, und generische Qualitätsskalen geben dir keinen Ansatzpunkt.
• Husain und Shankar raten zu mindestens 100 gelesenen Traces und zum Zählen pro Fehlerart.
• Ohne Evals wird jede Korrektur zum Glücksspiel, und Modellwechsel werden riskant.

Prüf dich selbst

Denkfrage

Warum reichen die drei Beispiele, an die du dich erinnerst, als Test nicht aus?

Antwort zeigen

Denkfrage

Was unterscheidet eine Metrik aus der eigenen Taxonomie von „Hilfsbereitschaft 1–10“?

Antwort zeigen

Prüf dich selbst

1. 1Welcher Schritt des Eval-Schwungrads kommt direkt nach der Fehleranalyse?

   Metriken festlegenNotizen zu benannten Fehlerarten gruppierenDas größte Problem beheben
   Antwort prüfen
2. 2Wie viele Traces raten Husain und Shankar mindestens zu lesen?

   101001.000
   Antwort prüfen
3. 3Ein Kollege sagt: „Unsere Antworten sind subjektiv, Evals bringen da nichts.“ Was entgegnest du?

   Dann reicht eine Skala von 1 bis 10Das Ganze lässt sich in objektive Teile zerlegen, etwa „nennt eine Quelle: ja/nein“Dann bewertet am besten das Modell sich selbst
   Antwort prüfen
4. 4Was wird ohne Evals vor allem riskant?

   Das Schreiben neuer PromptsDer Umstieg auf ein neues ModellDas Lesen von Logs
   Antwort prüfen

Quellen

1. Demystifying evals for AI agents · Anthropic, Jan. 2026

   Begriffe, Grader-Arten und ein Fahrplan, der mit 20 bis 50 Aufgaben aus echten Fehlern beginnt.

2. AI Evals: Everything You Need to Know · Hamel Husain, Shreya Shankar, Sept. 2026

   Fehleranalyse mit offenem und axialem Kodieren, Richtwerte für die Zahl der Traces.