LLM als Judge · Agentenwerk

Lernziele

Du schreibst einen Judge-Prompt mit einer einzigen Frage, Begründung vor dem Urteil und Beispielen für Grenzfälle.
Du kalibrierst einen Judge gegen Labels einer Fachperson und berichtest die Raten getrennt pro Klasse.
Du erkennst vier bekannte Verzerrungen von Judges und entscheidest, wann ein Check besser Code ist.

Manche Checks sind Code: exakter Vergleich, regulärer Ausdruck, JSON-Schema, „läuft das SQL“. Alles andere braucht einen Prüfer, der liest. Ob der Ton stimmt, ob die Antwort den Quellen treu bleibt und ob sie die Frage wirklich beantwortet, beurteilt in der Praxis ein weiteres Sprachmodell. Dieser Judge · engl. LLM as a judgeEin Sprachmodell, das die Ausgabe eines anderen Modells nach einer festen Frage bewertet, etwa ob eine Antwort auf der gefundenen Notiz beruht. Ein Judge ist ein Messgerät und muss gegen eigene Labels geprüft werden.Im Glossar ist nützlich und günstig. Trauen kannst du ihm erst nach der Kalibrierung.

Die Kurslektion Judges und Golden Sets zeigt am Regler, warum die rohe Übereinstimmung täuscht. Hier folgt das ganze Verfahren.

Den Judge-Prompt schreiben

Ein Judge-Prompt ist eine Stellenbeschreibung mit klaren Pflichten. Vier Regeln:

Eine Frage pro Judge. „Wird die Aussage vom gelieferten Kontext gestützt: ja/nein“ ist eine gute Judge-Frage. Eine Bitte wie „Bewerte die Gesamtqualität“ bündelt viele Fragen in einem unscharfen Urteil.
Binäre Ausgabe mit einer Begründung vor dem Urteil. Die Begründung ist deine Spur bei der Fehlersuche. Ein Judge, der zuerst urteilt, liefert die Begründung nach unserer Einschätzung nachträglich passend.
Zwei bis vier ausgearbeitete Beispiele für bestanden und durchgefallen, vor allem Grenzfälle.
Derselbe Kontext wie im Produkt. Ein Judge, der eine RAG-Antwort ohne die gefundenen Dokumente bewertet, rät.

Halte die Rubrik konkret. Zitiere die Fehlertaxonomie aus deiner Fehleranalyse (siehe Evals entwerfen) und verzichte auf Adjektive wie „hilfreich“ oder „hochwertig“. Anthropic ergänzt zwei Regeln: Gib dem Judge eine Option „unklar“, damit er bei fehlender Information nicht rät, und setz pro Dimension einen eigenen, getrennten Judge ein. Ein Judge-Prompt nach diesen Regeln sieht etwa so aus:

Du prüfst eine Antwort eines Support-Agenten. Beantworte genau eine Frage:
Wird jede Tatsachenbehauptung der Antwort von den gelieferten Dokumenten gestützt?

Fehlerart aus unserer Analyse: „nennt Fristen oder Beträge, die in keinem Dokument stehen“.

Dokumente:
{dokumente}

Antwort:
{antwort}

Beispiel BESTANDEN: Die Antwort nennt „30 Tage Rückgabefrist“, Dokument 2 nennt 30 Tage.
Beispiel DURCHGEFALLEN: Die Antwort nennt „Erstattung in 3 Tagen“. Eine Dauer steht in keinem Dokument.
Beispiel UNKLAR: Die Dokumente fehlen oder sind leer.

Schreib zuerst eine Begründung in zwei bis vier Sätzen.
Gib danach in der letzten Zeile genau eins aus: BESTANDEN, DURCHGEFALLEN oder UNKLAR.

Kalibrierung gegen menschliche Labels

Ein Judge ohne Kalibrierung ist ein Zufallsgenerator mit Selbstbewusstsein. Hamel Husain beschreibt in seinem Leitfaden zu Judges ein Verfahren in vier Schritten:

Labels von einer Fachperson. Eine Person aus der Domäne bewertet Ausgaben mit bestanden oder durchgefallen und schreibt eine kurze Begründung dazu. Husain rät, mit rund 30 Beispielen zu beginnen. Unter 60 Beispielen sind die Konfidenzintervalle nach seiner Erfahrung oft zu breit.
Übereinstimmung pro Klasse messen. Der Judge bewertet dieselben Ausgaben. Du berichtest die Richtig-positiv-Rate und die Richtig-negativ-Rate getrennt. Rohe Übereinstimmung täuscht bei ungleich verteilten Klassen: Ein Judge, der immer „bestanden“ sagt, erreicht auf überwiegend guten Daten 90 %.
Jede Abweichung lesen. Entweder ist die Rubrik zu schwammig, oder deine eigenen Labels waren uneinheitlich. Beides kommt vor.
Wiederholen, bis die Übereinstimmung langweilig wird. Danach prüfst du erneut, wenn du das Modell des Judges wechselst, und sonst in festen Abständen, etwa jedes Quartal.

Shreya Shankar und Kollegen haben diesen Kreislauf in „Who Validates the Validators?“ untersucht, vorgestellt auf der Konferenz UIST 2024. Sie beschreiben eine Kriteriendrift. Wer Ausgaben bewertet, braucht Kriterien, und erst das Bewerten zeigt, welche Kriterien man braucht. Manche Kriterien hängen sogar von den Ausgaben ab, die eine Person gesehen hat. Die Rubrik entsteht also beim Labeln mit und ist zu Beginn nie fertig.

Bekannte Verzerrungen

Das Paper zu MT-Bench von Zheng und Kollegen (Juni 2023) dokumentiert vier Verzerrungen von Judges. Es zeigt zugleich, dass GPT-4 als Judge zu über 80 % mit menschlichen Urteilen übereinstimmte, so oft wie Menschen untereinander.

Position. Beim paarweisen Vergleich bevorzugen Judges die erste, manchmal die zweite Antwort. Das Paper ruft den Judge deshalb zweimal mit vertauschter Reihenfolge auf und wertet widersprüchliche Urteile als Unentschieden.
Länge. Längere Antworten schneiden besser ab, auch bei gleicher Korrektheit. Begrenze die Länge oder weise den Judge ausdrücklich an und prüfe danach, ob es wirkt.
Vorliebe für Eigenes. Modelle bewerten Ausgaben ihrer eigenen Familie besser. Wo es geht, bewertet ein anderes Modell als das, das die Ausgabe erzeugt hat.
Schwäche bei Mathematik und logischem Schließen. Judges bewerten Rechenwege unzuverlässig. Das Paper senkt die Fehlerquote bei Matheaufgaben von 70 auf 15 %, indem der Judge eine Referenzlösung bekommt.

Nach unserer Einschätzung kommt eine fünfte Verzerrung hinzu: Steht im Kontext, was die Person erreichen wollte, bewertet der Judge eher die Mühe als das Ergebnis.

Die Verzerrungen bestehen weiter, Stand: Nov. 2026. Eine Studie in den Findings der EMNLP 2026 zeigt, dass Judges bei Rubriken mit Punktwerten Optionen an bestimmten Positionen der Liste bevorzugen. Eine Studie vom April 2026 mit fünf aktuellen Modellen fand nur eine kleine Positionsverzerrung im paarweisen Vergleich. Die Wirkung der Länge hing dort vom Modell ab, und am stärksten wirkte der Stil, etwa Markdown-Formatierung.

Wenn Judges lügen

Judges scheitern still bei Mathematik und Rechnen, bei Nischenwissen, bei subtilen Verstößen gegen Anweisungen und bei allem, was das Modell des Judges selbst falsch machen würde. Daraus folgen drei Regeln:

Kann ein Check Code sein, wird er Code.
Der Judge bleibt für echte sprachliche Urteile reserviert, und Menschen prüfen dauerhaft eine Stichprobe seiner Urteile.
Widersprechen Checks pro Schritt den Werten eines Judges, hält der Judge kein Release auf und gibt auch keins frei. Wie beide zusammenspielen, zeigt Agenten-Evals.

Code oder Judge?

Ordne jeden Check der Prüfart zu, die ihn verlässlich leisten kann.

Noch offen (6)

Die Antwort ist gültiges JSON nach dem vereinbarten Schema.
Der berechnete Erstattungsbetrag stimmt mit Preis minus Gutschein überein.
Die Antwort bleibt den gelieferten Dokumenten treu.
Der Ton bleibt freundlich, auch wenn die Person schimpft.
Die Antwort nennt keine interne Ticketnummer im Format INT-12345.
Die Antwort geht auf die eigentliche Frage ein und weicht nicht aus.

Code (0)

Judge (0)

Merksätze

Ein Judge beantwortet genau eine Frage, schreibt die Begründung vor das Urteil und sieht denselben Kontext wie das Produkt.
Kalibrieren heißt: Labels einer Fachperson sammeln, Richtig-positiv- und Richtig-negativ-Rate getrennt messen, jede Abweichung lesen.
Position, Länge, Vorliebe für Eigenes und Schwäche bei Mathematik sind seit 2023 dokumentiert und 2026 weiter messbar.
Was Code prüfen kann, prüft Code, und Menschen kontrollieren dauerhaft eine Stichprobe der Judge-Urteile.

Prüf dich selbst

Denkfrage

Warum soll der Judge seine Begründung vor dem Urteil schreiben?

Denkfrage

Dein Judge stimmt zu 92 % mit deinen Labels überein. Reicht dir das?

Quellen

Using LLM-as-a-Judge For Evaluation: A Complete Guide · Hamel Husain, Okt. 2024, aktualisiert Sept. 2026
Binäre Urteile, Fachperson, Raten pro Klasse, Zahl der Beispiele.
Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences · Shreya Shankar u. a., Apr. 2024
EvalGen und Kriteriendrift, UIST 2024.
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena · Lianmin Zheng u. a., Juni 2023
Position, Länge, Vorliebe für Eigenes, Schwäche bei Mathematik.
Demystifying evals for AI agents · Anthropic, Jan. 2026
Option „unklar“ und ein getrennter Judge pro Dimension.
Am I More Pointwise or Pairwise? Revealing Position Bias in Rubric-Based LLM-as-a-Judge · Xu u. a., Okt. 2026
Positionsverzerrung bei Rubriken mit Punktwerten.
Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines · Sadman Kabir Soumik, Apr. 2026
Position, Länge und Stil bei fünf aktuellen Modellen.