Handbücher · Gates mit Entscheidungsmodellen
Jev im Agenten-Stack
Lernziele
- Du platzierst Entscheidungen vor dem Loop (Router, Triage) und im Loop (Leitplanken, Zustandsprüfungen).
- Du legst Schwellenwerte pro Entscheidung nach den Kosten eines Fehlers fest und weißt, was unter dem Schwellenwert passiert.
- Du unterscheidest bei Jev Wahrscheinlichkeit und
confidenceund wählst die Zahl, auf die dein Code reagiert.
Beim glaubwürdigsten frühen Einsatz sitzt Jev neben einem Sprachmodell. Ein Loop · engl. agent loopDie Schleife eines Agenten: denken, handeln, beobachten, wiederholen. Zwischen den Durchläufen wird der Kontext des Modells jedes Mal neu gebaut.Im Glossar steckt voller kleiner, begrenzter Entscheidungen: welches Modell, welches Tool · engl. toolEin Werkzeug, das das Modell aufrufen kann: eine API, eine Datenbankabfrage, ein Shell-Befehl, eine Suche. Über Tools wirkt das Modell auf die Welt.Im Glossar, ist das sicher, sind wir fertig. Heute kostet jede davon einen vollen Modellaufruf.
Das Muster, das sich abzeichnet, beschreibt LangChain in einem Beitrag vom 17. September 2026: Diese Entscheidungen gehen an ein Entscheidungsmodell · engl. decision modelEin Modell, das Text liest und typisierte Antworten mit Wahrscheinlichkeiten zurückgibt: eine Option, eine Stufe, ja oder nein. Es schreibt keinen Text. Beispiel ist Jev, vom Hersteller „System One Model“ genannt.Im Glossar, und das Sprachmodell behält die Teile, die Sprache brauchen. Die Grundlagen stehen in Entscheidungsmodelle.
Jev vor dem Loop
- Router. Jev klassifiziert die eingehende Anfrage und leitet sie weiter: ein günstiges, schnelles Modell für einfache Nachschlagefragen, ein teures Reasoning-Modell für schwere Fälle. Bei 70 bis 500 Millisekunden Herstellerangabe kostet der Routing-Schritt fast nichts im Vergleich zu dem Aufruf, den er spart.
- Triage-Gate. Eine Noul-Frage wie „Braucht das einen Menschen?“ vor dem AgentEin System, in dem ein Sprachmodell seinen nächsten Schritt selbst wählt: Es ruft Werkzeuge auf, wertet das Ergebnis aus und macht weiter, bis das Ziel erreicht ist.Im Glossar hält Müll ganz aus dem Loop heraus.
Jev im Loop
- Leitplanken für Tool-Aufrufe. LangChains
AutoModeMiddlewareprüft mit Jev einen geplanten Tool-Aufruf auf riskante Aktionen und blockiert ihn vor der Ausführung. Das ist ein typisiertes Urteil. Ein zweites Sprachmodell, das seine Meinung zum ersten abgibt, braucht es dafür nicht. - Zustandsprüfungen. „Ist die Aufgabe erledigt?“, „Hat der Tool-Aufruf geklappt?“, „Ist die Nutzerin frustriert?“ Jede dieser Fragen ist eine typisierte Frage an das Transkript. Weil Jev alle Fragen in einem Durchgang beantwortet, kosten zehn Fragen kaum mehr Zeit als eine.
LangChain bindet Jev über TypeSafeClassifier aus dem Paket langchain-typesafe an. Du übergibst .invoke() einen State und ein Dictionary mit Fragen und bekommst typisierte Antworten mit Wahrscheinlichkeiten zurück. Was daraufhin passiert, entscheidet dein Code.
Schritt 1 von 4
Triage vor dem Loop
Eine Noul-Frage prüft, ob die Anfrage überhaupt in den Agenten gehört oder an einen Menschen.
Fehlerbehandlung mit Schwellenwerten
Die Wahrscheinlichkeit an jeder Antwort trägt das ganze Design. Wer Jev früh einsetzt, landet bei einem gemeinsamen Muster:
- Ein Schwellenwert · engl. thresholdDie Mindestkonfidenz, ab der ein Gate den günstigen Pfad nimmt. Liegt die Konfidenz darunter, geht der Eintrag an das große Modell.Im Glossar pro Entscheidung, bemessen an den Kosten eines Fehlers. Eine Erstattung automatisch freizugeben braucht vielleicht 0,98. Für die Wahl einer Support-Warteschlange reicht vielleicht 0,7. Beide Werte sind Beispiele.
- Unter dem Schwellenwert eskalieren: an ein Sprachmodell, an einen Menschen oder auf einen sicheren Standard. Jev ist der schnelle Pfad, und daneben gibt es immer einen zweiten.
- Die Wahrscheinlichkeiten loggen. Jev liefert keine Begründung. Der State, den du geschickt hast, und die Werte, die zurückkamen, sind deshalb deine ganze Nachvollziehbarkeit. Bewahr sie auf.
Auf welche Zahl du den Schwellenwert setzt, regelt die Doku genauer, als es die ersten Berichte taten. Choice- und Score-Antworten liefern die Wahrscheinlichkeiten aller Optionen und dazu ein Feld confidence. Dieses Feld fasst zusammen, wie stark sich die Wahrscheinlichkeit auf eine Option konzentriert: 1 heißt alles auf einer Option, 0 heißt gleichmäßig verteilt. Es ist nicht die Wahrscheinlichkeit, dass die Antwort stimmt.
- Noul: Der Wert selbst ist die Wahrscheinlichkeit für Ja, ein
confidence-Feld gibt es nicht. Die Doku empfiehlt als Start 0,7 für Ja und 0,3 für Nein. Das Band dazwischen bekommt in deinem Code einen eigenen Ausgang. - Choice: Setz den Schwellenwert auf die Wahrscheinlichkeit der Option, auf die dein Code reagiert. „Handle nur über 0,9“ heißt dann: Die Chance auf die falsche Option liegt unter zehn Prozent.
- Score: Hängt die Entscheidung an einer Stufe, nimm deren Wahrscheinlichkeit.
confidenceprüfst du, wenn du wissen willst, ob die Antwort überhaupt eindeutig ist.
Den Unterschied zeigt der Rechner. Er nutzt die Choice-Formel aus der Doku. Dieselbe confidence von 0,5 steht bei zwei Optionen für eine Top-Wahrscheinlichkeit von 0,75 und bei zehn Optionen für 0,55.
Top-Wahrscheinlichkeit und confidence bei Choice
- confidence
- 0,51
- Chance auf eine falsche Option
- 33 %
- Gleichverteilung pro Option
- 33,3 %
Formel aus der TypeSafe-Doku: (p − 1/n) / (1 − 1/n). Liegt p unter 1/n, kann es nicht die Top-Option sein; der Rechner zeigt dann 0.
Eine ehrliche Warnung gehört dazu. Das ganze Schema setzt voraus, dass die Wahrscheinlichkeiten wirklich Kalibrierung · engl. calibrationWie gut eine Konfidenz zur tatsächlichen Trefferquote passt. Gut kalibriert heißt: Von allen Antworten mit 0,9 Konfidenz sind etwa neun von zehn richtig.Im Glossar sind. Das ist TypeSafes zentrale Behauptung, und für Verkehr außerhalb der Trainingsverteilung ist sie unbelegt. Kritiker wie Anthony Maio betonen, dass eine selbstsichere Zahl allein kein Beleg für eine gute Vorhersage ist. Fang deshalb mit vorsichtigen Schwellenwerten an und miss gegen eigene Labels. Wie das geht, zeigt das Kursmodul unter Gates in der Praxis. Die praktische Einrichtung beschreibt Erste Schritte mit Jev.
Merksätze
- Jev sitzt neben dem Sprachmodell: vor dem Loop als Router und Triage, im Loop als Leitplanke und Zustandsprüfung.
- Jeder Schwellenwert richtet sich nach den Kosten eines Fehlers. Darunter eskaliert dein Code an Modell, Mensch oder sicheren Standard.
confidencemisst, wie konzentriert die Verteilung ist. Für Handlungen nimmst du bei Choice die Wahrscheinlichkeit der gewählten Option, bei Noul den Wert selbst.- State und Wahrscheinlichkeiten sind die ganze Nachvollziehbarkeit. Log sie zusammen mit der Modellversion.
Prüf dich selbst
Denkfrage
Warum braucht Jev im Agenten-Stack immer einen zweiten Pfad neben dem schnellen?
Jev kann die falsche gültige Option wählen, und ob seine Wahrscheinlichkeiten auf deinem Verkehr kalibriert sind, ist unbelegt. Unter dem Schwellenwert geht der Fall deshalb an ein Sprachmodell, einen Menschen oder einen sicheren Standard. So kostet ein unsicheres Urteil Zeit und Geld, richtet aber keinen Schaden an.
Denkfrage
Was loggst du bei jeder Jev-Entscheidung und warum?
Den State, die Fragen, alle Wahrscheinlichkeiten und die Modellversion aus dem Feld model. Jev liefert keine Begründung, also ist das die ganze Nachvollziehbarkeit. Mit Labels wird aus dem Log später dein Testsatz für Schwellenwerte und Kalibrierung.
Prüf dich selbst
Quellen
- Building a Harness with Jev
TypeSafeClassifier, AutoModeMiddleware, Jev im Agenten-Loop.
- Confidence
Formeln, Schwellenwerte nach Antworttyp, Band zwischen 0,3 und 0,7 bei Noul.
- Models
Aliase jev-latest und jev-preview, feste Versions-IDs.
- Jev: The Language Model That Won’t Talk
Kalibrierung ist kein Beleg für eine einzelne Vorhersage.