Der Agentenkurs · Das Gate
Gates in der Praxis
Lernziele
- Du legst einen Schwellenwert aus den Kosten eines Fehlers und den Kosten einer Eskalation fest.
- Du prüfst die Konfidenz eines Gates auf eigenen Labels, Band für Band.
- Du bewertest Herstellerangaben zu einem Gate-Werkzeug anhand unabhängiger Messungen.
Ein GateEine kleine, schnelle Entscheidung vor dem teuren Teil: eine Regel, ein Klassifikator oder ein günstiges Modell sortiert Anfragen, bevor sie den Agenten erreichen.Im Glossar ist nur so gut wie zwei Zahlen: wie oft es richtig liegt und wie gut es weiß, wann es falschliegen könnte. Diese Lektion behandelt beide Zahlen. Danach folgt der Stand der Belege zum neuesten Werkzeug für diese Aufgabe.
Schwellenwert und Fail-closed
Jede Antwort eines Gates trägt eine Konfidenz · engl. confidenceDer Wert zwischen 0 und 1, den ein Gate zu seiner Antwort mitliefert. Er sagt, wie sicher sich das Verfahren ist, und gilt als Rangfolge, bis du ihn auf eigenen Daten geprüft hast.Im Glossar. Die Regel für die Weiterleitung lautet: Den günstigen Pfad nimmt ein Eintrag nur, wenn es für das vorhergesagte Label einen festen Handler gibt und die Konfidenz den Schwellenwert · engl. thresholdDie Mindestkonfidenz, ab der ein Gate den günstigen Pfad nimmt. Liegt die Konfidenz darunter, geht der Eintrag an das große Modell.Im Glossar erreicht. Alles andere fällt durch zum Hauptmodell.
Dieses Verhalten heißt Fail-closed: Im Zweifel schließt das Gate den schnellen Weg. Das Gate darf unwissend sein. Wo es raten müsste, gibt es den Fall ab: Ein unbekannter Eintrag landet immer vor dem Modell · engl. model, LLMDas Sprachmodell (LLM, Large Language Model). Es liest Text, schreibt Text und entscheidet in einem Agenten, was als Nächstes passiert.Im Glossar mit Urteilsvermögen. Das gilt auch, wenn das Gate mit 51 % Konfidenz einen Handler wählen würde.
Den Schwellenwert legst du als Geschäftsentscheidung fest. Stell die Kosten einer falschen Aktion im schnellen Pfad gegen die Kosten einer unnötigen Eskalation. Ein falsch abgelegter Newsletter kostet wenig, deshalb darf seine Route mit niedrigem Schwellenwert laufen. Ein automatisch archiviertes Jobangebot kostet viel, deshalb läuft diese Route mit hohem Schwellenwert oder gar nicht. Fertigen Code für das ganze Muster enthält das Handbuch Gates.
Wo der Schwellenwert hingehört
- Im günstigen Pfad entschieden (von 1.000)
- 910
- Davon falsch
- 1
- An das große Modell eskaliert
- 90
- Kosten pro 1.000 Nachrichten
- 2,90 €
Gezählte Werte: 1.000 SMS aus dem öffentlichen Test von pniessen (jev-test), von uns aus den veröffentlichten Rohdaten ausgezählt. Konfidenz = die größere der beiden Wahrscheinlichkeiten für Spam und kein Spam. Die Kosten sind Beispielwerte.
Setz die Fehlerkosten auf null, dann gewinnt der niedrigste Schwellenwert. Je teurer ein Fehler wird, desto weiter wandert das Kostenminimum nach oben. Mit den Startwerten liegt es bei 0,9.
Kalibrierung auf eigenen Labels
Eine Konfidenz von 0,9 bedeutet erst dann neun von zehn richtig, wenn jemand dafür gesorgt hat. Behandle jede Konfidenz, egal von welchem Anbieter, als Rangfolge, bis du sie geprüft hast. Diese Prüfung heißt Kalibrierung · engl. calibrationWie gut eine Konfidenz zur tatsächlichen Trefferquote passt. Gut kalibriert heißt: Von allen Antworten mit 0,9 Konfidenz sind etwa neun von zehn richtig.Im Glossar.
Die Prüfung ist kurz. Halte gelabelte Beispiele zurück, die das Gate nie gesehen hat. Teil seine Vorhersagen in Konfidenzbänder ein und miss die Trefferquote pro Band. Setz den Schwellenwert dorthin, wo die Trefferquote eines Bands deine Toleranz erreicht.
Ein unabhängiger Spam-Test zeigt, wie ein gesundes Gate aussieht. Der GitHub-Nutzer pniessen hat in jev-test (September 2026) 1.000 SMS aus der öffentlichen SMS Spam Collection von Jev bewerten lassen. Jev ist ein Entscheidungsmodell des Anbieters TypeSafe AI, das die Lektion Günstige Entscheidungen vorgestellt hat.
Die Bänder ganz unten und ganz oben lagen zu 100 % richtig und trugen 83 % des Verkehrs. Fast alle Fehler saßen in einem schmalen mittleren Band. Wer alles zwischen 0,1 und 0,9 eskaliert, behält auf 82,7 % der Nachrichten null Fehler. So arbeitet das Gate-Muster wie vorgesehen: Den größten Teil des Stroms erledigt der günstige Pfad, jeder Zweifel geht nach oben.
Jev nüchtern geprüft
Jev erschien im September 2026. Der Hersteller verspricht Antworten in Millisekunden zu einem Bruchteil der Kosten eines Sprachmodells. Die ersten unabhängigen Tests lieferten vier Befunde, die du auf jedes Gate-Werkzeug übertragen kannst:
- Gleichauf mit der Basislinie. Bei einer festen Spam-Frage auf rund 18.500 Mails lag Jev gleichauf mit einer logistischen Regression über TF-IDF-Merkmale. Dieses altbekannte Verfahren trainiert in Sekunden auf einem Laptop.
- Die Genauigkeit steckt im Design der Fragen. Im Phishing-Test jev-phishing-bench von Anisse Lebadi schnitt die eine zusammengesetzte Frage „Ist das Phishing?“ schwach ab. Fünf enge Signalfragen, verbunden mit einer logistischen Regression auf 1.000 Labels, hoben Jev auf das Niveau eines kleinen Sprachmodells mit denselben Fragen. Eine Regel aus zwei regulären Ausdrücken kam nah heran.
- „Null Halluzinationen“ meint Schema-Treue. Das schreibt TypeSafe selbst in einer Anmerkung zum Launch-Beitrag: Jede Antwort ist eine gültige Option. Wie oft Jev die falsche gültige Option wählt, zeigen erst die Trefferquoten.
- Die Konfidenz ist ab Werk eine Rangfolge. Unabhängige Messungen fanden auf mehreren Aufgaben zu große Kalibrierungsfehler, um voreingestellten Schwellenwerten zu trauen. Leg Schwellenwerte auf eigenen gelabelten Daten fest. Eine einzelne Temperaturkorrektur, also ein Faktor, der alle Konfidenzen gleichmäßig strafft oder streckt, behob mit 50 bis einigen hundert Labels den größten Teil des Fehlers.
Die Einzelzahlen der Tests sammelt das Handbuch zu Gates.
Wann die logistische Regression gewinnt
Drei Bedingungen sprechen für die logistische Regression: Deine Gate-Frage steht fest, die Daten stammen aus deinem eigenen Bereich, und du kannst ein paar hundert Beispiele labeln. Dann kostet sie pro Aufruf nichts, läuft lokal, hält deine Daten privat und liefert bei gleicher Eingabe immer dieselbe Antwort. Nach der bisherigen Beleglage schlägt keines der Werkzeuge oben sie in diesem Fall.
Für Jev spricht der Kaltstart: noch keine Labels, viele Fragen pro Eintrag in einem Durchgang, große Optionsmengen oder eine Verteilung, die sich schneller verschiebt, als du nachtrainieren kannst. Für den letzten Fall gibt es einen Beleg aus jev-test. Gemessen wurde die ROC-AUC, also wie zuverlässig ein Verfahren Spam vor harmlose Nachrichten reiht: 1 ist perfekt, 0,5 ist Zufall. Im eigenen Bereich erreichten zwei trainierte Klassifikatoren über 0,98. Trainiert auf Enron-Mails und getestet auf SMS, oder umgekehrt, fielen sie auf 0,58 bis 0,79. Dieselbe Jev-Frage erreichte auf beiden Korpora über 0,99.
Diesen Vorteil musst du auf deinen eigenen Daten nachweisen. Die Zahlen anderer reichen dafür nicht. Kein Werkzeug kommt in die Pipeline, bevor es die Basislinie schlägt, die du in dreißig Minuten baust. Das zeigt die nächste Lektion, Gate in der Praxis.
Merksätze
- Den günstigen Pfad nimmt ein Eintrag nur mit festem Handler und einer Konfidenz, die den Schwellenwert erreicht, alles andere geht an das Hauptmodell.
- Den Schwellenwert bestimmst du aus den Kosten eines Fehlers im schnellen Pfad und den Kosten einer Eskalation.
- Jede Konfidenz gilt als Rangfolge, bis du sie Band für Band auf zurückgehaltenen Labels geprüft hast.
- In den ersten unabhängigen Tests lag Jev bei fester Spam-Frage gleichauf mit einer logistischen Regression, beim Phishing erst nach Zerlegung in fünf enge Fragen.
- Bei fester Frage, eigenem Bereich und ein paar hundert Labels gewinnt die logistische Regression nach der bisherigen Beleglage.
Prüf dich selbst
Denkfrage
Dein Gate sortiert Mails in „Newsletter“ und „Bewerbung“. Beide Routen haben denselben Schwellenwert von 0,7. Was änderst du?
Du setzt die Schwellenwerte pro Route nach den Kosten eines Fehlers. Ein falsch abgelegter Newsletter kostet wenig, die Route darf niedrig bleiben. Eine automatisch archivierte Bewerbung kostet viel, deshalb bekommt diese Route einen hohen Schwellenwert oder geht immer an das Hauptmodell.
Denkfrage
Ein Anbieter verspricht „kalibrierte Konfidenzen“ und empfiehlt einen Schwellenwert von 0,8. Wie prüfst du das?
Du hältst gelabelte Beispiele aus deinem eigenen Strom zurück, lässt das Gate sie bewerten und teilst die Vorhersagen in Konfidenzbänder ein. Pro Band misst du die Trefferquote. Den Schwellenwert setzt du dorthin, wo die Trefferquote deine Toleranz erreicht, egal was der Anbieter empfiehlt.
Prüf dich selbst
Quellen
- jev-test
Konfidenzbänder auf 1.000 SMS, Abstand zwischen Bereichen, Rohdaten für den Explorer.
- jev-phishing-bench
2.000 Phishing-Mails: eine Frage gegen fünf Signalfragen, Regex-Basislinie.
- Introducing System One Models & Jev
Herstellerangaben und Anmerkung zu „0 % Halluzinationen“.
- Jev After Eight Days of Independent Tests
Übersicht der ersten unabhängigen Tests: Spam-Vergleich auf 18.514 Mails, Kalibrierung, Temperaturkorrektur.