Handbücher · Eval Engineering
Evals entwerfen
Lernziele
- Du stellst ein Golden Set nach vier Regeln zusammen und versionierst es neben dem Code.
- Du erzeugst synthetische Fälle entlang eines Schemas aus Dimensionen und lässt die Labels von Menschen prüfen.
- Du schätzt ab, ob ein Unterschied zwischen zwei Erfolgsquoten bei deiner Zahl an Fällen echt oder Rauschen ist.
Eine Eval ist nur so gut wie ihre Testfälle. Der Weg von „unser Bot vertut sich manchmal“ zu einer Suite, der du traust, führt über Fehlerarten. Du benennst, was schiefgeht, und baust dann Fälle, die genau das auslösen. Diese Lektion setzt die Fehleranalyse aus Warum Evals voraus.
Golden Sets
Ein Golden SetDie feste Sammlung von Testfällen, gegen die alle Evals laufen. Sie enthält gute und schlechte Beispiele und wächst mit jedem Fehler aus dem Betrieb.Im Glossar ist eine feste Sammlung von Eingaben mit bekannten guten Erwartungen. Zusammengestellt hat sie ein Mensch, der das Produkt versteht. Vier Faustregeln:
- Zuerst aus dem Betrieb schöpfen, dann erfinden. Echte Eingaben sind seltsamer als alles, was du dir ausdenkst.
- Jede benannte Fehlerart bekommt mehrere Fälle, die sie in der Vergangenheit ausgelöst haben.
- Auch langweilige Erfolge gehören hinein. Fehlen sie, richtest du alles auf die Pathologie aus und verschlechterst unbemerkt den Normalfall.
- Das Set liegt in Git neben dem Code. So sieht jede Person im Team per Diff, welcher Fall wann und warum dazukam.
Anthropic nennt einen Prüfstein für jeden Fall: Zwei Fachleute sollten unabhängig voneinander zum selben Urteil kommen. Gelingt das nicht, ist der Fall zu unklar formuliert. Wie du das Set mit Stichproben aus dem Betrieb frisch hältst, zeigt die Kurslektion Judges und Golden Sets.
Synthetische Daten
Ist der Verkehr dünn, etwa vor dem Launch oder bei seltenen, aber kritischen Pfaden, erzeugst du Fälle. Ein Sprachmodell variiert dabei Dimensionen, die du bewusst festlegst: Persona, Formulierung, Länge, Sprache und feindliche Absicht. Ein Schema für einen Support-Agenten sieht etwa so aus:
# Dimensionen für synthetische Fälle (Beispiel)
persona: [Neukundin, Stammkunde, Händler, verärgerte Person]
anliegen: [Rücksendung, Lieferstatus, Rechnung, Kündigung]
formulierung: [knapp, ausführlich, mit Tippfehlern]
sprache: [Deutsch, Englisch]
absicht: [ehrlich, versucht Regeln zu umgehen]Das Modell bekommt pro Aufruf eine Kombination und schreibt dazu eine Eingabe. Zwei Vorsichtsregeln gelten dabei.
- Synthetische Eingaben sind in Ordnung. Synthetische Labels drehen sich im Kreis: Ein Modell, das ein Modell auf selbst erfundenen Daten bewertet, beweist wenig. Ein Mensch prüft die Labels stichprobenartig.
- Erzeuge entlang des Schemas. Die Bitte um „100 vielfältige Beispiele“ liefert nach unserer Einschätzung 100 Varianten derselben drei Ideen.
Wie viele Kombinationen ein Schema ergibt
- Mögliche Kombinationen
- 192
- Fälle, wenn du jede Kombination einmal erzeugst
- 192
- Davon mit feindlicher Absicht
- 96
Beispielwerte. Mit den Startwerten ergibt das Schema 192 Kombinationen. Du musst nicht alle erzeugen: Zieh eine Stichprobe und achte darauf, dass jeder Wert jeder Dimension vorkommt.
Binär oder abgestuft
Bevorzuge binäre Urteile. Bestanden oder durchgefallen zwingt dich, die Messlatte festzulegen, und Uneinigkeit zwischen Menschen wird sofort sichtbar. Eine Qualitätsskala von 1 bis 5 misst nach unserer Einschätzung vor allem die Stimmung der bewertenden Person. Zwei Personen geben derselben Ausgabe eine 3 und eine 4, und niemand lernt etwas daraus. Hamel Husain formuliert es in seinem Leitfaden zu Judges noch deutlicher: Wer eine Skala von 1 bis 5 benutzt, macht es nach seinen Worten falsch.
Hat etwas wirklich Abstufungen, zerlegst du es in mehrere binäre Checks:
| Unscharfe Skala | Zerlegt in binäre Checks |
|---|---|
| „Quellenqualität 1–5“ | nennt eine Quelle: ja/nein · die Quelle ist die richtige: ja/nein |
| „Vollständigkeit 1–5“ | beantwortet die Hauptfrage: ja/nein · nennt die Frist: ja/nein |
Das gilt doppelt, wenn ein Judge bewertet.
Pro Schritt und End-to-End
Bei einzelnen Modellaufrufen stellt sich die Frage nicht. Bei AgentEin System, in dem ein Sprachmodell seinen nächsten Schritt selbst wählt: Es ruft Werkzeuge auf, wertet das Ergebnis aus und macht weiter, bis das Ziel erreicht ist.Im Glossar brauchst du beide Ebenen:
- End-to-End: Wurde die Aufgabe erledigt? Diese Zahl zählt für die Menschen, die das Produkt benutzen.
- Pro Schritt: War jeder Tool-Aufruf sinnvoll, lieferte die Suche das richtige Dokument, passte der Plan zur Anfrage? Diese Checks finden die Stelle, wenn End-to-End scheitert.
End-to-End sagt dir, dass etwas gebrochen ist. Die Checks pro Schritt sagen dir, wo. Die Kurslektion Zwei Arten von Checks führt beide Arten ein. Die Details für Agenten stehen in Agenten-Evals.
Stichprobengrößen, die zählen
Kleine Suiten täuschen. Bei 20 Fällen ist ein Sprung von 70 auf 80 % genau zwei Beispiele, und das ist Rauschen. Grobe Richtwerte:
- 20 bis 50 Fälle reichen, um das Schwungrad anzuwerfen. Für den Vergleich zweier Prompts brauchst du mehr.
- 100 bis 200 Fälle pro Fehlerart, die dir wichtig ist: Ab hier beginnen Unterschiede von etwa zehn Punkten etwas zu bedeuten.
- Stochastische Systeme laufen pro Fall mehrmals. Du berichtest die Streuung über alle Läufe.
Im Zweifel berechnest du ein Konfidenzintervall, bevor du feierst. Umfasst es sowohl „verbessert“ als auch „verschlechtert“, sammelst du mehr Fälle und lieferst noch nicht aus.
Echt oder Rauschen?
- Unterschied in Fällen
- 2
- Unterschied
- 10 Prozentpunkte
- Unsicherheit des Unterschieds (95 %, ±)
- 26,7 Prozentpunkte
- Untere Grenze des Unterschieds
- -16,7 Prozentpunkte
Beispielwerte. Näherung für zwei unabhängige Stichproben. Liegt die untere Grenze unter null, kann die neue Version auch schlechter sein. Mit 20 Fällen liegt sie bei etwa −17 Punkten, mit 200 Fällen knapp über null. Laufen beide Versionen auf denselben Fällen, fällt das Intervall meist etwas enger aus.
Schieb die Zahl der Fälle von 20 auf 200. Der Unterschied bleibt zehn Punkte, die Unsicherheit schrumpft von rund 27 auf rund 8 Punkte. Erst dann trägt die Aussage „die neue Version ist besser“.
Merksätze
- Ein Golden Set schöpft zuerst aus dem Betrieb, deckt jede Fehlerart mehrfach ab, enthält auch Erfolge und liegt versioniert neben dem Code.
- Synthetische Fälle entstehen entlang eines Schemas aus Dimensionen, und ihre Labels prüft ein Mensch.
- Binäre Checks erzwingen eine klare Messlatte, Abstufungen zerlegst du in mehrere Ja-Nein-Fragen.
- End-to-End zeigt, dass etwas gebrochen ist, Checks pro Schritt zeigen, wo.
- Mit 20 Fällen ist ein Unterschied von zehn Punkten Rauschen, ab 100 bis 200 Fällen pro Fehlerart beginnt er zu tragen.
Prüf dich selbst
Denkfrage
Warum gehören langweilige Erfolgsfälle in ein Golden Set?
Ein Set aus lauter Fehlerfällen belohnt jede Änderung, die diese Fehler behebt, auch wenn sie den Normalfall verschlechtert. Mit Erfolgsfällen im Set fällt eine solche Regression sofort auf.
Denkfrage
Ein Modell erzeugt 200 Fälle und labelt sie gleich mit. Was ist das Problem?
Die Labels sind zirkulär. Das Modell bewertet Daten, die es selbst erfunden hat, nach seinem eigenen Verständnis. Ein Mensch muss die Labels mindestens stichprobenartig prüfen, sonst misst die Suite die Meinung des Modells.
Prüf dich selbst
Quellen
- Demystifying evals for AI agents
Prüfstein: Zwei Fachleute kommen bei einem Fall zum selben Urteil.
- Using LLM-as-a-Judge For Evaluation: A Complete Guide
Rät zu binären Urteilen, bestanden oder durchgefallen.