Glossar

Ein System, in dem ein Sprachmodell seinen nächsten Schritt selbst wählt: Es ruft Werkzeuge auf, wertet das Ergebnis aus und macht weiter, bis das Ziel erreicht ist.

Die Betriebsdisziplin für Agenten, wie sie Googles Whitepaper „Prototype to Production“ beschreibt: Evaluationen entscheiden über jedes Release, alles Verhaltensrelevante ist versioniert, und Logs, Traces und Metriken zeigen den Betrieb.

Eine Textdatei im Wurzelverzeichnis eines Repositorys mit kurzen Regeln für Coding-Agenten: Aufbau, Testbefehl, Verbote. Der Agent liest sie zu Beginn jeder Session.

Ein weiterer Name für dieselbe Seite, eingetragen in der Eigenschaft aliases. Obsidian schlägt die Seite beim Verlinken auch unter diesem Namen vor.

Ein eingehender Link: eine andere Seite verweist auf die Seite, die du gerade liest. Obsidian listet Backlinks im gleichnamigen Bereich.

Ein öffentlicher, fester Aufgabensatz, auf dem Modelle und Harnesses verglichen werden, etwa echte GitHub-Issues mit den Tests des Repositorys als Prüfung. Für dein eigenes Produkt brauchst du zusätzlich eigene Evals.

Ein Seitenzweig in Git, auf dem du Änderungen ausprobierst, ohne den Hauptstand zu berühren. Danach führst du ihn zusammen oder löschst ihn.

Eine Seite, die zwei sonst getrennte Bereiche des Graphen verbindet. Sie liegt auf vielen kürzesten Wegen zwischen anderen Seiten.

Die Anweisungsdatei, die Claude Code zu Beginn jeder Session liest. Claude Code lädt sie aus dem Startordner und aus jedem Ordner darüber und hängt die Inhalte aneinander.

Eine Gruppe von Knoten, die untereinander dicht verbunden sind und zum Rest des Graphen wenige Kanten haben. Algorithmen wie Leiden finden sie automatisch.

Ein Community-Plugin für Obsidian, das Frontmatter und Inline-Felder wie eine Datenbank abfragt. Die Ergebnisse erscheinen als Liste oder Tabelle direkt in der Notiz.

Der Betrieb eines Systems: Hosting, Logging, Monitoring. Der Teil, der aus einer Demo einen Dienst macht.

Die Gegenüberstellung zweier Stände einer Datei: Zeilen mit Plus kamen dazu, Zeilen mit Minus fielen weg. Git zeigt so, was ein Commit geändert hat.

Eine Zahlenreihe, die die Bedeutung eines Textabschnitts abbildet. Ähnliche Texte haben ähnliche Embeddings, so findet eine Suche verwandte Abschnitte ohne gleiche Wörter.

Eine Prüfung, die nur das Ergebnis eines Laufs bewertet: die letzte Nachricht oder den Endzustand. Sie misst, was Nutzerinnen und Nutzer erleben, zeigt aber keine Ursache.

Eine Person, Organisation, ein Produkt oder ein Tool, das in deinen Quellen vorkommt. Im Vault bekommt jede Entität eine eigene Seite, über die sich Quellen verbinden.

Das Zusammenführen von Einträgen, die dieselbe Entität meinen, etwa „J. Smith“ und „John Smith“. Ohne sie zerfällt ein Graph in Dubletten.

Ein Modell, das Text liest und typisierte Antworten mit Wahrscheinlichkeiten zurückgibt: eine Option, eine Stufe, ja oder nein. Es schreibt keinen Text. Beispiel ist Jev, vom Hersteller „System One Model“ genannt.

Ein fester Satz von Aufgaben mit bekannten Antworten, der nach jeder Änderung erneut läuft. So misst du, ob eine Änderung geholfen oder geschadet hat.

Ein fester Pfad ohne Modell, der übernimmt, wenn ein Loop ohne bestandene Prüfung endet. Er liefert immer eine vertretbare Antwort.

Das Lesen echter Traces mit einer kurzen Notiz zu jedem Fehler. Aus den Notizen entstehen benannte Fehlerarten, und aus den häufigsten werden Checks.

Ein Block mit Metadaten im YAML-Format ganz oben in einer Markdown-Datei, zwischen zwei Zeilen mit drei Bindestrichen. Obsidian zeigt ihn als Eigenschaften der Seite an.

Eine kleine, schnelle Entscheidung vor dem teuren Teil: eine Regel, ein Klassifikator oder ein günstiges Modell sortiert Anfragen, bevor sie den Agenten erreichen.

Ein zentraler Durchgang, durch den jeder Modellaufruf läuft. Dort werden sensible Felder maskiert, Antworten gecacht, fehlgeschlagene Aufrufe wiederholt und Tokens und Kosten pro Aufruf gezählt.

Die feste Sammlung von Testfällen, gegen die alle Evals laufen. Sie enthält gute und schlechte Beispiele und wächst mit jedem Fehler aus dem Betrieb.

Ein Netz aus Knoten und Kanten. Im Vault ist jede Seite ein Knoten und jeder Wikilink eine Kante.

Ein Verfahren von Microsoft Research: Ein Modell baut aus einem Textbestand einen Graphen, fasst dessen Gruppen zusammen und beantwortet Fragen aus diesen Zusammenfassungen.

Alles, was festlegt, was der Agent erreichen darf: Tools, Berechtigungen, Sandbox, Zeitlimits und die Prüfung, bevor eine Aktion wirkt. Englisch für Geschirr oder Gestell.

Ein Befehl, den der Harness bei einem festen Ereignis automatisch ausführt, etwa vor oder nach jedem Tool-Aufruf. Ein Hook vor dem Aufruf kann ihn blockieren und dem Modell den Grund melden.

Eine Seite mit auffällig vielen Links. Läuft fast alles über sie, verbindet der Graph zwar alles, sagt aber wenig über einzelne Zusammenhänge.

Eine Operation ist idempotent, wenn ein zweiter Aufruf mit denselben Daten nichts mehr ändert. Ein Tool, das ein Loop wiederholen kann, muss so gebaut sein.

Der Arbeitsschritt, in dem der Agent eine neue Quelle aus raw/ liest, daraus Wiki-Seiten schreibt oder ergänzt, sie verlinkt und den Lauf in index.md und log.md festhält.

Ein Sprachmodell, das die Ausgabe eines anderen Modells nach einer festen Frage bewertet, etwa ob eine Antwort auf der gefundenen Notiz beruht. Ein Judge ist ein Messgerät und muss gegen eigene Labels geprüft werden.

Wie gut eine Konfidenz zur tatsächlichen Trefferquote passt. Gut kalibriert heißt: Von allen Antworten mit 0,9 Konfidenz sind etwa neun von zehn richtig.

Ein trainiertes Verfahren, das einen Eintrag einer von mehreren festen Klassen zuordnet, etwa eine logistische Regression über Wortmerkmale. Es lernt aus Beispielen, die du vorher von Hand gelabelt hast.

Das Verkleinern des Gesprächsverlaufs während einer Session, etwa durch Abschneiden alter Runden oder durch eine laufende Zusammenfassung.

Der Wert zwischen 0 und 1, den ein Gate zu seiner Antwort mitliefert. Er sagt, wie sicher sich das Verfahren ist, und gilt als Rangfolge, bis du ihn auf eigenen Daten geprüft hast.

Alles, was das Modell bei einem Aufruf liest: Anweisungen, Verlauf, Dateien, Tool-Ergebnisse. Was dort fehlt, existiert für das Modell nicht.

Die Instanz, die einen Versuch im Loop bewertet: Code wie Tests und Linter oder ein zweiter Modellaufruf mit enger Rubrik. Der Kritiker arbeitet getrennt vom Agenten, der die Arbeit gemacht hat.

Eine automatische Prüfung der Struktur, etwa auf kaputte Links, Seiten ohne eingehende Links und fehlendes Frontmatter. Der Begriff kommt aus der Programmierung.

Die Schleife eines Agenten: denken, handeln, beobachten, wiederholen. Zwischen den Durchläufen wird der Kontext des Modells jedes Mal neu gebaut.

Die Arbeit am Steuerungssystem um einen Agenten: Es legt fest, was als Nächstes gepromptet wird, wie das Ergebnis geprüft wird, ob ein neuer Versuch folgt und wann der Lauf endet.

Ein offenes Protokoll, über das ein Agent Tools aus externen Servern einbindet, etwa für GitHub, Slack oder eine Datenbank. Jeder Server bringt eigene Tool-Definitionen mit.

Wissen, das ein Agent über mehrere Sessions hinweg behält. Es besteht aus extrahierten Fakten wie Vorlieben und Entscheidungen, die ein Modell aus Gesprächen herauszieht und mit dem Bestand abgleicht.

Das Sprachmodell (LLM, Large Language Model). Es liest Text, schreibt Text und entscheidet in einem Agenten, was als Nächstes passiert.

Mehrere spezialisierte Agenten, die sich gegenseitig wie Tools aufrufen. Meist verteilt ein Supervisor die Teilaufgaben.

Eine Frage, deren Antwort Fakten aus mehreren Dokumenten verknüpft. Kein einzelner Textabschnitt enthält sie.

Texterkennung in Bildern. Bei einem gescannten PDF erzeugt OCR eine unsichtbare Textebene, die Programme durchsuchen und auslesen können.

Die festgelegten Typen eines Graphen: welche Arten von Entitäten und welche Beziehungen es geben darf. Sie hält die Extraktion einheitlich.

Der Code um das Modell, der die Schleife ausführt: Kontext zusammenstellen, Modell aufrufen, angeforderte Tools ausführen, Ergebnis zurückgeben.

Die Stelle im Harness, die vor jedem Tool-Aufruf mit Nebenwirkung entscheidet, ob er laufen darf: per Allowlist, per Rückfrage beim Menschen oder per festem Verbot.

Eine Erweiterung für Obsidian, die du in den Einstellungen unter Community plugins installierst. Plugins stammen meist von Dritten und erweitern, was Obsidian kann.

Der Text, den du einem Sprachmodell bei einem Aufruf schickst. In einem Agenten setzt er sich aus Systemprompt, Tool-Definitionen, Verlauf und aktueller Anfrage zusammen.

Der Anbieter speichert einen unveränderten Anfang des Prompts zwischen und berechnet ihn beim nächsten Aufruf deutlich günstiger. Ein Treffer setzt voraus, dass dieser Anfang Zeichen für Zeichen gleich bleibt.

Text, der sich als Anweisung an das Modell ausgibt und über eine Eingabe oder ein Tool-Ergebnis in den Kontext gelangt, etwa eine Webseite mit „Ignoriere deine Anweisungen“. Ein Agent mit echten Rechten, der solchen Text liest, ist angreifbar.

Die Herkunft einer Angabe: aus welcher Quelle, Seite oder welchem Satz sie stammt. In einem Wissensgraphen hält die Provenienz fest, warum eine Kante existiert.

Ein mechanisches Prüfverfahren außerhalb des Modells, etwa eine Testsuite, ein Compiler, ein Linter oder ein Schema-Validator. Es beurteilt das Ergebnis eines Loops ohne die Meinung des Modells.

Ein Verfahren, bei dem Dokumente in Abschnitte zerlegt und als Embeddings gespeichert werden. Zu jeder Frage holt das System die ähnlichsten Abschnitte, und das Modell antwortet aus ihnen.

Eine Sperrklinke für Fortschritt: Jeder Versuch muss den besten bisherigen Messwert schlagen, etwa die Zahl bestandener Tests. Sonst setzt der Loop den Versuch zurück und hält an.

Der Anteil der passenden Seiten, den eine Suche tatsächlich findet. Ein hoher Recall heißt, dass kaum etwas Passendes fehlt, auch wenn Unpassendes mitkommt.

Ein neues System beantwortet dieselben Anfragen wie das alte, aber nur fürs Log. Die Aufrufer sehen weiter die Antwort des alten Systems, bis die Messwerte den Wechsel rechtfertigen.

Die Mindestkonfidenz, ab der ein Gate den günstigen Pfad nimmt. Liegt die Konfidenz darunter, geht der Eintrag an das große Modell.

Ein lokaler Ordner mit reinem Text, den ein Agent liest und schreibt. Er hält fest, was du gelesen und verstanden hast, und beantwortet Fragen über alles darin.

Dieselbe Frage mehrmals an ein Sprachmodell stellen, die häufigste Antwort nehmen und den Anteil ihrer Stimmen als Konfidenz verwenden. Misst, wie stabil das Modell antwortet, und sagt wenig darüber, ob die Antwort stimmt.

Ein einzelnes Gespräch mit einem Agenten: der Verlauf aller Nachrichten und Tool-Ergebnisse plus der Arbeitszustand. Endet das Gespräch, endet die Session.

Ein Ordner mit einer Datei SKILL.md, die einem Agenten eine wiederkehrende Aufgabe beschreibt. Claude Code lädt den Skill, wenn die Aufgabe passt oder du ihn mit seinem Namen aufrufst.

Ein Befehl, den du in Claude Code mit einem Schrägstrich aufrufst, etwa /ingest. Eigene Befehle sind Markdown-Dateien im Projektordner .claude/.

Lernen mit Wiederholungen, die über Tage und Wochen verteilt sind. Eine Karte, die du sicher beantwortest, kommt erst nach längerer Pause wieder dran.

Der Zustand, den du einem Entscheidungsmodell schickst: Text, ein JSON-Objekt, eine Liste von Texten oder Bilder. Alle Fragen eines Aufrufs werden über denselben State beantwortet.

Die Bedingungen, unter denen ein Loop endet: Der Prüfer ist zufrieden, das Runden-Limit ist erreicht oder zwei Versuche hintereinander sind gleich.

Ein Agent, den ein anderer Agent für eine Teilaufgabe startet. Er arbeitet in einem eigenen Kontextfenster und gibt nur sein Ergebnis zurück.

Der feste Anfang jedes Aufrufs: Rolle, harte Regeln, Ausgabeformat. Er steht vor dem Gesprächsverlauf und gilt für das ganze Gespräch.

Ein Block in der Antwort des Modells, der seine Überlegungen trägt, meist ohne sichtbaren Text und mit einer Signatur. Er geht unverändert mit dem Verlauf zurück und gilt nur, solange alles davor gleich bleibt.

Die Einheit, in der Modelle Text lesen und abrechnen: meist ein Wortteil. Anbieter rechnen pro Million Tokens ab.

Ein Werkzeug, das das Modell aufrufen kann: eine API, eine Datenbankabfrage, ein Shell-Befehl, eine Suche. Über Tools wirkt das Modell auf die Welt.

Die vollständige Aufzeichnung eines Agentenlaufs: Modellrunden, Tool-Aufrufe mit ihren Argumenten, Tool-Ergebnisse und Wiederholungen. Verhaltenschecks lesen den Trace.

Der ganze Weg eines Agentenlaufs von der Eingabe bis zum Ende: jede Modellrunde, jeder Tool-Aufruf, jedes Ergebnis, jede Wiederholung. Evals bewerten neben dem Endzustand auch diesen Weg.

Die Abschrift gesprochener Sprache als Text, etwa aus den Untertiteln eines Videos oder einer automatischen Spracherkennung.

Eine Aussage in der Form Subjekt, Prädikat, Objekt, etwa (Kunde A, nutzt, Framework X). Aus Tripeln setzt sich ein extrahierter Wissensgraph zusammen.

Der Ordner mit allen Markdown-Dateien deines Second Brain, so wie Obsidian ihn öffnet. Jede Seite ist eine eigene Textdatei.

Eine enge Ja-Nein-Prüfung, ob auf dem Weg zum Ergebnis ein bestimmter Schritt passiert ist, etwa ob der Agent die Bestellung vor der Antwort nachgeschlagen hat. Er läuft als Code über den Trace.

Eine Seite, auf die keine andere Seite verlinkt. Wer Links folgt, erreicht sie nie.

Eine Browser-Erweiterung, die den lesbaren Inhalt einer Webseite als Markdown-Datei speichert. Der Obsidian Web Clipper legt die Datei direkt im Vault ab.

Ein Verweis auf eine andere Seite in doppelten eckigen Klammern, etwa [[Kontextfenster]]. Aus allen Wikilinks eines Vaults entsteht ein Graph.

Ein Graph, in dem Entitäten die Knoten sind und ihre Beziehungen typisierte Kanten. Fragen nach Zusammenhängen werden so zu Wegen durch den Graphen.

Ein System, in dem Modellaufrufe und Tools auf Pfaden laufen, die du vorher im Code festgelegt hast. Der Code entscheidet den nächsten Schritt.

Ein zusätzliches Arbeitsverzeichnis desselben Git-Repositorys auf einem eigenen Branch. Ein Agent arbeitet darin, ohne deinen Checkout oder main zu berühren.

Ein ausführbares Skript, das mit Exit-Code 0 endet, wenn die Arbeit fertig ist, etwa weil alle Tests laufen und der Linter nichts meldet. Es ist die wichtigste Stoppbedingung eines Loops.