Eval-Werkzeuge · Agentenwerk

Lernziele

Du ordnest die wichtigsten Eval-Werkzeuge den beiden Formen des Markts zu: zuerst Evals oder zuerst Tracing.
Du wählst für eine gegebene Lage ein passendes Werkzeug und begründest die Wahl.
Du beschreibst, wie claude plugin eval den Beitrag eines Plugins gegen einen Lauf ohne Plugin misst.

Der Markt hat sich auf zwei Formen geeinigt. Die eine Gruppe baut zuerst Evals und hat Observability ergänzt. Die andere baut zuerst Tracing und hat Evals ergänzt. Alle Angaben in dieser Lektion haben den Stand: Nov. 2026. Werkzeuge, Lizenzen und Besitzverhältnisse ändern sich hier schneller als in jedem anderen Teil des Handbuchs.

Nach unserer Einschätzung lohnt sich langes Vergleichen nicht. Wähl ein Werkzeug und arbeite los. Das Schwungrad aus Warum Evals zählt mehr als der Anbieter.

Plattformen

Werkzeug	Form	Lizenz und Betrieb
Braintrust	zuerst Evals	kommerziell, kostenloser Einstiegstarif
Langfuse	zuerst Tracing	Open Source (MIT), selbst hostbar
LangSmith	zuerst Tracing	kommerziell, kostenloser Einstiegstarif
W&B Weave	Tracing und Evals	kommerziell, inzwischen bei CoreWeave

Braintrust ist eine kommerzielle Plattform, die zuerst für Evals gebaut wurde. Im Zentrum steht die Funktion Eval() mit Daten, Aufgabe und Bewertungen. Dazu kommen versionierte Datensätze und Experimente, jedes eine unveränderliche Aufnahme eines Eval-Laufs. In die CI kommt Braintrust über eine GitHub Action oder die Kommandozeile. Nach unserer Einschätzung ist Braintrust die naheliegende Wahl für Teams aus der Technik, die mit Evals angefangen haben und erst danach Dashboards brauchen.
Langfuse ist nach unserer Einschätzung die ausgereifteste Open-Source-Option. Die Produktfunktionen stehen unter MIT-Lizenz, du kannst Langfuse selbst hosten, und es arbeitet mit vorhandener OpenTelemetry-Instrumentierung. Darauf liegen Datensätze und Evals mit LLM als Judge. Im Januar 2026 hat ClickHouse Langfuse übernommen. Laut Ankündigung bleibt Langfuse Open Source und selbst hostbar, ohne geplante Änderung der Lizenz. Sind Datenhaltung im eigenen Haus oder eine offene Lizenz Pflicht, nimm Langfuse.
LangSmith ist die Plattform von LangChain für Tracing und Evals. LangChain beschreibt sie als unabhängig vom Framework. Für Teams auf LangChain oder LangGraph liegt sie nach unserer Einschätzung am nächsten. Ohne diese Frameworks spricht wenig dafür, gerade hier anzufangen.
W&B Weave stammt von Weights & Biases. Du markierst Funktionen mit @weave.op() und bekommst versionierte Traces, Judges und eigene Scorer. CoreWeave hat Weights & Biases im Mai 2025 übernommen. Die Dokumentation liegt inzwischen bei CoreWeave und nennt „CoreWeave Agent Lens“ den Nachfolger von Weave. Weave liegt nahe, wenn deine Organisation schon mit W&B arbeitet.

Frameworks und CLIs

promptfoo ist eine Open-Source-Kommandozeile unter MIT-Lizenz. Du beschreibst Prompts, Anbieter und Assertions in YAML und bekommst eine Vergleichsmatrix. Nach unserer Einschätzung ist das der schnellste Weg zur Frage „Welcher Prompt, welches Modell ist besser?“, und es läuft gut in der CI. Dazu kommt ein ausgebauter Modus für Red-Teaming. Im März 2026 kündigte OpenAI an, promptfoo zu übernehmen. Beide Seiten erklärten, das Projekt bleibe Open Source.
Inspect ist ein Open-Source-Framework in Python vom UK AI Security Institute und Meridian Labs. Es setzt Evals aus Datensätzen, Solvern, Tools und Scorern zusammen und führt nicht vertrauenswürdigen Code in Sandboxen aus, etwa in Docker, Kubernetes oder Modal. Laut Inspect gibt es über 200 fertige Evals in Inspect Evals. Inspect ist auf Gründlichkeit gebaut und nach unserer Einschätzung sehr gut für Agenten-Evals.
OpenAI Evals steht vor dem Ende. Das Repository von 2023 existiert noch. Die Evals-Plattform in API und Dashboard hat OpenAI im Juni 2026 abgekündigt. Sie ist nur noch lesbar und wird am 30. November 2026 abgeschaltet. Als Ersatz nennt OpenAI promptfoo. Der Leitfaden zu Evaluation Best Practices mit fünf Schritten vom Ziel bis zur laufenden Bewertung bleibt als Lektüre nützlich.
DeepEval ist ein Framework unter Apache-2.0-Lizenz, das wie pytest funktioniert und mit deepeval test run startet. Es bringt fertige Metriken mit, etwa Treue zu den Quellen (faithfulness) und Relevanz der Antwort. Das ist bequem für die CI. Die fertigen Metriken sind Ausgangspunkte, die du wie jeden Judge nach LLM als Judge kalibrierst.

Plugin-Evals in Claude Code

Seit Version 2.1.269 vom September 2026 hat Claude Code einen eigenen Eval-Harness. claude plugin eval lässt ein Plugin · engl. community pluginEine Erweiterung für Obsidian, die du in den Einstellungen unter Community plugins installierst. Plugins stammen meist von Dritten und erweitern, was Obsidian kann.Im Glossar oder einen Skill · engl. skillEin Ordner mit einer Datei SKILL.md, die einem Agenten eine wiederkehrende Aufgabe beschreibt. Claude Code lädt den Skill, wenn die Aufgabe passt oder du ihn mit seinem Namen aufrufst.Im Glossar gegen eine Suite realistischer Prompts laufen. Jeder Fall ist ein Ordner unter evals/ mit einem Prompt und mindestens einem Grader:

my-plugin/
.claude-plugin/plugin.json
skills/
evals/
erster-fall/
prompt.mdPrompt und Grenzen des Laufs
graders/
kriterien.mdein Grader
results/schreibt jeder Lauf, in .gitignore

Sechs Grader-Arten stehen zur Wahl:

regex: ein regulärer Ausdruck über das Ergebnis, auch als Prüfung, dass etwas fehlt
tool_used: wie oft ein bestimmtes Tool aufgerufen wurde, mit Unter- und Obergrenze
tool_order: ob der erste Aufruf eines Tools vor dem ersten Aufruf eines anderen liegt
file_exists: ob eine Datei entstanden ist, die zu einem Muster passt
llm: ein Judge, der in mindestens zwei von drei Stimmen auf bestanden entscheidet
baseline: ob der Lauf die Kriterien mindestens so gut erfüllt wie ein Referenz-Transkript

Die ersten vier kosten keinen Modellaufruf, llm und baseline rufen einen Judge auf. Eigene Grader in Code sind nicht vorgesehen.

Nach unserer Einschätzung ist der Vergleich ohne Plugin der ehrlichste Teil. Jeder Fall läuft standardmäßig dreimal mit Plugin und dreimal ohne. Die Zusammenfassung zeigt beide Werte als WITH und W/OUT und ihre Differenz als Δ, den Beitrag des Plugins. Besteht ein Fall auch ohne Plugin, hat das Plugin zum Erfolg nichts beigetragen.

claude plugin eval init              # schlägt Fälle im Gespräch vor und schreibt sie
claude plugin eval .                 # alle Fälle unter evals/, mit und ohne Plugin
claude plugin eval . --threshold 0.8 # Exit-Code 1, wenn ein Fall unter 0,8 bleibt

Der Schwellenwert steht ohne Angabe auf 1,0. Das Delta ändert den Exit-Code nie. Mit --max-cost-usd setzt du eine Kostengrenze, weil jeder Lauf ein echter Modellaufruf auf deinem Konto ist. Schreibst du Skills für Agenten, wendest du hier dieselbe Disziplin auf dein eigenes Prompt-Gerüst an.

Welches Werkzeug passt?

Ordne jede Lage dem Werkzeug zu, das nach dieser Lektion am besten passt.

Noch offen (5)

Alle Traces müssen im eigenen Rechenzentrum bleiben, die Lizenz muss offen sein.
Ihr wollt in der CI zwei Prompts auf drei Modellen vergleichen, beschrieben in YAML.
Ein Agent soll in einer Docker-Sandbox Aufgaben lösen, bewertet mit eigenen Scorern.
Du willst wissen, ob dein neuer Skill Claude überhaupt besser macht.
Euer Agent läuft auf LangGraph, ihr braucht Tracing und Datensätze.

Langfuse (0)

promptfoo (0)

Inspect (0)

claude plugin eval (0)

LangSmith (0)

Der ehrliche Rat

Jede Plattform glänzt in der Demo mit einem Spielzeug-Datensatz. Den Unterschied macht nach unserer Einschätzung, ob dein Team darin wirklich jede Woche Traces liest. Teste jedes Werkzeug zwei Wochen lang mit deiner eigenen Fehlertaxonomie, bevor du etwas unterschreibst.

Merksätze

Der Markt teilt sich in Plattformen, die zuerst Evals bauen, und solche, die zuerst Tracing bauen.
Langfuse ist Open Source und selbst hostbar, promptfoo vergleicht Prompts per YAML, Inspect bringt Sandboxen für Agenten mit.
OpenAI schaltet seine Evals-Plattform am 30. November 2026 ab und nennt promptfoo als Ersatz.
claude plugin eval misst den Beitrag eines Plugins als Delta zwischen Läufen mit und ohne Plugin.
Welches Werkzeug passt, zeigt ein Test über zwei Wochen mit der eigenen Fehlertaxonomie.

Prüf dich selbst

Denkfrage

Ein Fall erreicht mit deinem Plugin 1,0 und ohne Plugin ebenfalls 1,0. Was sagt dir das?

Denkfrage

Warum hilft ein Test über zwei Wochen mehr als eine Demo?

Quellen

Test plugins with evals · Anthropic
claude plugin eval, sechs Grader-Arten, Vergleich ohne Plugin, ab Version 2.1.269.
Braintrust · Braintrust
Eval-Plattform mit Eval(), Datensätzen und Experimenten.
Langfuse joins ClickHouse · Langfuse, Jan. 2026
Übernahme, Langfuse bleibt Open Source und selbst hostbar.
LangSmith · LangChain
Tracing und Evals, unabhängig vom Framework.
W&B Weave · CoreWeave
Dokumentation von Weave, inzwischen bei CoreWeave.
OpenAI to acquire Promptfoo · OpenAI, März 2026
Ankündigung der Übernahme, das Projekt bleibt Open Source.
Inspect · UK AI Security Institute, Meridian Labs
Open-Source-Framework für Evals mit Sandboxen.
Deprecations · OpenAI
Abkündigung der Evals-Plattform, Abschaltung am 30. Nov. 2026.
Evaluation best practices · OpenAI
Fünf Schritte vom Ziel bis zur laufenden Bewertung.
DeepEval · Confident AI
Eval-Framework im Stil von pytest.