RAG, wenn du es brauchst

Lernziele

Du prüfst an drei Bedingungen, ob dein Vault eine Vektorsuche braucht.
Du planst eine Vektorsuche, die Wiki-Seiten einbettet, den Graphen in der Führung lässt und bei jedem Ingest mitläuft.
Du schließt zuerst die einfacheren Ursachen aus, wenn du etwas nicht findest.

Dieser Kurs rät für einen persönlichen Vault von einer Vektordatenbank ab. Die Gründe stehen in den Lektionen Wiki oder RAG und Graph oder Embeddings. Diese Empfehlung hat eine Schwelle. Hier benennen wir sie, damit du sie an deinem eigenen Vault prüfen kannst.

Wann es sich lohnt

Drei Bedingungen, ungefähr gleichzeitig:

Mehr als einige tausend Seiten. Ab dieser Größe passt „Index lesen und Links folgen“ nicht mehr in das Kontextbudget.

Fragen in Worten, die deine Seiten nicht verwenden. Findest du regelmäßig Dinge nicht, von denen du weißt, dass sie da sind, hast du ein Problem mit dem Recall · engl. recallDer Anteil der passenden Seiten, den eine Suche tatsächlich findet. Ein hoher Recall heißt, dass kaum etwas Passendes fehlt, auch wenn Unpassendes mitkommt.Im Glossar. Genau das lösen Embedding · engl. embeddingEine Zahlenreihe, die die Bedeutung eines Textabschnitts abbildet. Ähnliche Texte haben ähnliche Embeddings, so findet eine Suche verwandte Abschnitte ohne gleiche Wörter.Im Glossar.

Ein Bestand, den du nicht kuratiert hast. Hat ein Vault zehntausend Dokumente aufgenommen, ohne dass ein Mensch entschieden hat, was zählt, fehlt ihm eine verlässliche Struktur zum Navigieren. Dann bleibt nur die Ähnlichkeit.

Die meisten persönlichen Vaults erreichen nach unserer Einschätzung nie alle drei. Bei zwei von drei lohnt sich der zusätzliche Pflegeaufwand nach unserer Einschätzung noch nicht.

Was du einbettest

Bette die Wiki-Seiten ein. Die Rohquellen in raw/ bleiben draußen.

Wiki-Seiten sind schon Bedeutungseinheiten, geschrieben von etwas, das sie verstanden hat, eine Idee pro Seite. Genau das versucht Chunking, also das Zerlegen in Abschnitte, nachzubilden, und es gelingt ihm schlecht. Zerlegst du die Seiten erneut in Fenster fester Länge, zerstörst du die Struktur, für die du bezahlt hast. Mehr dazu in der Lektion Eine Seite, eine Idee.

Bette Titel, Aliase und Text einer Seite gemeinsam ein. In einem kuratierten Vault tragen die Titel viel Bedeutung, weil du sie gewählt hast.

Der Graph führt, Embeddings ergänzen

Die nützliche Anordnung lässt den Graphen in der Führung:

Einstieg über Embeddings. Die Vektorsuche findet Seiten als Einstiegspunkte, auch solche mit anderer Wortwahl.
Erweitern über den Graphen. Von diesen Einstiegspunkten aus folgt der Agent den Links.
Lesen und belegen. Der Agent liest die erweiterte Menge und antwortet mit Seitenangaben.

Embeddings liefern den Recall. Der Graph liefert die Struktur und den Grund, warum zwei Seiten zusammengehören. Nutzt du Ähnlichkeit für die ganze Kette, wirfst du die Links weg, und gerade sie haben dich Arbeit gekostet.

Den Index frisch halten

Diese Pflege rechnet kaum jemand ein. Jeder Ingest ändert Seiten, und ein veralteter Vektorindex liefert Seiten, deren Inhalt sich längst verändert hat.

Bette geänderte Seiten im selben Ingest-Lauf neu ein, ohne eigenen Zeitplan. Ein Index, der eine Woche hinterherhinkt, ist still falsch und erzeugt plausible, falsche Antworten.

Klingt das nach mehr Aufwand, als es wert ist, dann ist das nach unserer Einschätzung für die meisten Vaults die richtige Lesart. Deshalb ist diese Lektion kurz.

Erst das Einfachere probieren

Bevor du Infrastruktur aufbaust, prüf, ob das Problem wirklich der Recall ist.

Die häufigste Ursache für „ich finde es nicht“ sind fehlende Aliase. Ein schlechter Index ist eine andere. Eine dritte ist ein Ingest, der vor zwei Monaten aufgehört hat, sauber zu verlinken, und seitdem einen wachsenden Haufen von Waise · engl. orphanEine Seite, auf die keine andere Seite verlinkt. Wer Links folgt, erreicht sie nie.Im Glossar hinterlässt. Die erreicht kein Suchverfahren über Links.

Lass das Skript scripts/link_check.py aus dem Werkzeugkasten des Kurses laufen und lies deinen Index, bevor du entscheidest, dass du Vektoren brauchst. Das Skript meldet auch Links, die auf einen Alias zielen und deshalb ins Leere gehen. Mehr dazu in der Lektion Namen und Aliase.

Einfache Ursache oder Fall für Embeddings?

Du findest etwas nicht, von dem du weißt, dass es im Vault steht. Was ist im jeweiligen Fall der nächste Schritt?

Noch offen (5)

Du suchst „RAG“, die Seite heißt „Retrieval augmented generation“ und hat keine Aliase
link_check.py meldet seit dem letzten Quartal 80 neue Seiten ohne eingehende Links
Der Index listet die Hälfte der Konzeptseiten nicht
Dein Vault hat 15.000 automatisch importierte Support-Tickets, die nie jemand geordnet hat
6.000 gepflegte Seiten, und du fragst regelmäßig in Worten, die deine Seiten nie verwenden, obwohl die Aliase gepflegt sind

Einfache Ursache beheben (0)

Embeddings erwägen (0)

Merksätze

Eine Vektorsuche lohnt sich ab einigen tausend Seiten, bei Fragen in fremder Wortwahl und bei unkuratiertem Bestand, und nach unserer Einschätzung erst, wenn alle drei zusammenkommen.
Eingebettet werden die Wiki-Seiten mit Titel, Aliasen und Text. Ein erneutes Chunking zerstört ihre Struktur.
Embeddings finden den Einstieg, der Graph erweitert, der Agent liest und belegt.
Geänderte Seiten werden im selben Ingest-Lauf neu eingebettet. Ein veralteter Index liefert plausible, falsche Antworten.
Vor jeder Vektorsuche prüfst du Aliase, Index und Waisen.

Prüf dich selbst

Denkfrage

Dein Vault hat 4.000 Seiten, alle von dir kuratiert, und du findest fast alles. Brauchst du eine Vektorsuche?

Denkfrage

Warum bettest du die Wiki-Seiten ein und nicht die Rohquellen in raw/?