Handbücher · Eval Engineering
Ressourcen
Lernziele
- Du wählst für eine Frage zu Evals die passende Quelle aus dieser Liste.
- Du gehst den Einstieg in drei Schritten in der richtigen Reihenfolge.
Diese Liste ist absichtlich kurz. Jeder Eintrag hat sich seinen Platz verdient, und jeder ist freiwillig. Alle Links waren im November 2026 erreichbar. Die Einordnungen hinter den Einträgen sind unsere Einschätzung. Die Begriffe dahinter stehen in Warum Evals und den übrigen Lektionen dieses Handbuchs.
Die Grundlagen
- Your AI Product Needs Evals (Hamel Husain, März 2024) ist nach unserer Einschätzung der Text, mit dem Evals zu einer eigenen Disziplin wurden. Er beschreibt drei Ebenen: Unit-Tests, Bewertung durch Menschen und Modelle, A/B-Tests. Dazu kommt das Plädoyer, die eigenen Daten anzusehen. Hier fängst du an.
- AI Evals: Everything You Need to Know (Hamel Husain und Shreya Shankar, September 2026) beantwortet die Fragen, die jedes Team stellt. Etwa: binär oder Skala von 1 bis 5, wie viele Beispiele, wie viele Personen annotieren, eigenes Werkzeug oder fertiges. Dicht und kostenlos.
- AI Evals For Engineers & PMs ist der Kurs auf Maven hinter dem FAQ. Die Kursseite nennt über 5.000 Teilnehmende aus Technik und Produkt, die nächste Kohorte läuft von Januar bis März 2027. Er kostet Geld und ist nach unserer Einschätzung der Kurs in diesem Feld, der es wert ist.
- Who Validates the Validators? (Shreya Shankar und andere, April 2024) liefert die Forschung dazu, wie man Judges an menschliche Labels anpasst. Der Text erklärt, warum sich die Kriterien verschieben, während Menschen mehr Ausgaben bewerten.
- Demystifying evals for AI agents (Anthropic, Januar 2026) behandelt Arten von Gradern, die Kalibrierung an menschlichen Urteilen, Evals für Fähigkeiten und für Rückschritte sowie einen Fahrplan vom ersten Fall an. Nach unserer Einschätzung kommt er einem offiziellen Leitfaden für Agenten-Evals am nächsten.
- Evaluation best practices (OpenAI, Stand: Nov. 2026) ergänzt die Texte oben mit fünf Schritten vom Ziel bis zur laufenden Bewertung. Der Leitfaden kündigt selbst das Ende der Evals-Plattform an: nur noch lesbar seit dem 31. Oktober 2026, abgeschaltet am 30. November 2026. Seine Ratschläge gelten unabhängig davon. Die Cookbook-Sammlung zu Evals enthält durchgerechnete Beispiele, darunter den Umzug von OpenAI Evals zu promptfoo (Juni 2026).
Repos zum Lesen
- inspect_evals sammelt über 200 Evals, gebaut mit Inspect. Gegründet 2024 mit Beiträgen des UK AI Security Institute, gepflegt inzwischen von Generality Labs. Lies ein paar Scorer und Solver, dann siehst du, wie Eval-Code für den Produktivbetrieb aussieht.
- terminal-bench ist ein Benchmark, der laufend neue Aufgaben bekommt, zuletzt veröffentlicht als Version 4.1.0 im November 2026. Jede Aufgabe liegt in einem eigenen Ordner: ein Dockerfile für die Umgebung, eine Anweisung, eine Referenzlösung und Tests, die das Ergebnis ausführbar prüfen. Für eigene Evals mit Umgebung ist das nach unserer Einschätzung die sauberste Vorlage. Mehr dazu in Agenten-Evals.
Hier anfangen
- Dreißig Traces lesen. Zieh heute Abend dreißig echte oder realistische Verläufe aus deinem Produkt und schreib einen Satz pro Fehler. Eine einfache Tabelle reicht. Das ist Fehleranalyse · engl. error analysisDas Lesen echter Traces mit einer kurzen Notiz zu jedem Fehler. Aus den Notizen entstehen benannte Fehlerarten, und aus den häufigsten werden Checks.Im Glossar, und sie verändert nach unserer Einschätzung deine Planung. Die Anleitung steht in Build: Traces lesen.
- Fehler benennen und die drei häufigsten festhalten. Bündle die Notizen zu einer Taxonomie. Die drei häufigsten Fehlerarten werden Checks: Code-Assertions, wo es geht, sonst ein enger, kalibrierter Judge. Die Mechanik zeigen Evals entwerfen, LLM als Judge und Build: Die Suite.
- Die Suite in die CI hängen und wöchentlich neu lesen. Gib den Checks einen Schwellenwert in der Pipeline, wie in Build: Das Gate. Behebe die größte Fehlerart und kehr mit frischen Traces zu Schritt 1 zurück. Diese Schleife, immer wieder durchlaufen, ist die ganze Disziplin.
Merksätze
- Für den Einstieg reichen Husains Essay von 2024 und das FAQ von Husain und Shankar.
- Anthropics Leitfaden vom Januar 2026 deckt Agenten ab, von Gradern über Kalibrierung bis zum Fahrplan.
- OpenAI schaltet seine Evals-Plattform am 30. November 2026 ab. Der Leitfaden zu guten Evals bleibt lesenswert.
- inspect_evals und terminal-bench zeigen, wie Evals im Produktivbetrieb und mit Umgebung gebaut sind.
- Der Einstieg sind dreißig gelesene Traces und eine einfache Tabelle.
Prüf dich selbst
Denkfrage
Warum beginnt der Einstieg mit dreißig Traces?
Ein Werkzeug misst nur, was du ihm sagst. Welche Fehler dein Produkt macht, zeigt erst das Lesen der Verläufe. Ohne diese Liste baust du Checks für Fehler, die vielleicht gar nicht vorkommen.
Prüf dich selbst
Quellen
Dein Fortschritt bleibt nur in diesem Browser gespeichert.