Handbücher
Eval Engineering
Messen als Disziplin: Golden Sets, ehrliche Judges, Agenten-Trajektorien – und deine erste Suite an einem Nachmittag.
Profi
Lektionen
Lektion 1 · 10 Min.
Warum Evals
Messen als Disziplin – das Eval-Schwungrad aus Fehleranalyse, Taxonomie, Metriken und Iteration, und was es kostet, ohne Evals auszuliefern.
Lektion 2 · 10 Min.
Evals entwerfen
Golden Sets aus echten Traces, synthetische Fälle entlang fester Dimensionen, binäre Checks und Stichproben, die groß genug sind, um zwei Prompts zu vergleichen.
Lektion 3 · 9 Min.
LLM als Judge
Wie du einen Judge-Prompt als Stellenbeschreibung schreibst, ihn gegen Labels einer Fachperson kalibrierst und die bekannten Verzerrungen abfängst.
Lektion 4 · 9 Min.
Agenten-Evals
Trajektorie und Endzustand bewerten, Tool-Aufrufe mit Code prüfen, Umgebungen als Prüfstand nutzen, Benchmarks richtig lesen und Evals mit pass^k in die CI bringen.
Lektion 5 · 10 Min.
Eval-Werkzeuge
Plattformen, Frameworks und die Plugin-Evals von Claude Code im Überblick, Stand Nov. 2026 – und wie du in zwei Wochen das passende Werkzeug findest.
Lektion 6 · 12 Min.
Build: Traces lesen
Vom Gefühl „der Bot vertut sich manchmal“ zu einer Datei golden.jsonl – 30 Traces sammeln, jede lesen, Fehler bündeln, Fälle schreiben.
Lektion 7 · 10 Min.
Build: Die Suite
golden.jsonl wird zum Testlauf – eine Python-Datei ohne Framework, Code-Checks zuerst, ein enger Judge für den Rest, kalibriert an zehn eigenen Labels.
Lektion 8 · 11 Min.
Build: Das Gate
Die Suite läuft von selbst – eine Teilmenge prüft jeden Pull Request, die volle Suite läuft nachts, und die Quote landet in einem Scoreboard im Repository.
Lektion 9 · 6 Min.
Ressourcen
Ausgewählte Texte, Kurse und Repos zu Evals, geprüft im November 2026, und ein Einstieg in drei Schritten.