Graph oder Embeddings · Agentenwerk

Lernziele

Du vergleichst Ähnlichkeitssuche und Graph nach Recall, Struktur und Art der Frage.
Du erkennst Fragen, an denen Ähnlichkeitssuche scheitert, und Fragen, an denen der Graph scheitert.
Du begründest, warum ein Vault mit einigen tausend Seiten ohne Embeddings auskommt, und beschreibst die hybride Variante.

Der übliche Rat für Fragen an die eigenen Dokumente lautet: als Embedding · engl. embeddingEine Zahlenreihe, die die Bedeutung eines Textabschnitts abbildet. Ähnliche Texte haben ähnliche Embeddings, so findet eine Suche verwandte Abschnitte ohne gleiche Wörter.Im Glossar speichern und nach Ähnlichkeit abrufen. Dieser Kurs geht einen anderen Weg. Diese Lektion erklärt den Grund, damit du ihn selbst prüfen kannst.

Was beide gut können

Embeddings

Findet: Text, der etwas Ähnliches bedeutet wie die Frage, auch mit ganz anderen Wörtern
Stärke: Recall, also möglichst viel Passendes finden
Braucht: keine Struktur, funktioniert auf einem ungeordneten Stapel

Graph

Findet: Seiten, die ausdrücklich verbunden sind, in einer Richtung, der du folgen kannst
Stärke: Fragen über mehrere Schritte und das Warum einer Verbindung, wenn die Links typisiert sind
Braucht: gepflegte Links

Wo Ähnlichkeit versagt

Der Fehler ist genau benennbar. Ähnlichkeitssuche holt Abschnitte, die der Frage ähneln, und die Antwort auf eine gute Frage ähnelt ihr oft gar nicht.

Fragst du, was zwei Ideen verbindet, teilen die Stellen, die die Verbindung belegen, womöglich kein Wort mit einer der beiden. Fragst du, wobei du deine Meinung geändert hast, ähnelt kein Abschnitt dieser Frage. Die Antwort liegt in der Beziehung zwischen zwei Seiten, die ein Jahr auseinander entstanden sind.

Dazu kommt das Ranking. Zwanzig Abschnitte, die die Frage jeweils halb beantworten, verdrängen die eine Seite, die sie ganz beantwortet. Ähnlichkeit kennt keinen Begriff von Vollständigkeit.

Wo der Graph versagt

Beim Recall. Wurde eine Seite nie verlinkt, erreicht der Graph sie nicht. Und gerade die Verlinkungsregeln verfallen still, wenn der Ingest nachlässig wird.

Der Graph findet auch nicht, woran du dich halb erinnerst, ohne es benennen zu können. Das ist eine Suchaufgabe. Eine Volltextsuche über einen Vault mit einigen tausend Seiten antwortet sofort, deshalb deckt ripgrep (Befehl rg) das in der Praxis meist ab.

rg -i "abruf" wiki/

Suche oder Graph?

Welcher Weg beantwortet die Frage besser?

Noch offen (5)

Da war doch irgendwas mit Karteikarten und einem Fach-System …
Was verbindet Schlafphasen und Abrufübung?
Was widerspricht meiner Seite „Langer Kontext ersetzt RAG“?
Wo habe ich den Begriff „Leitner“ überall verwendet?
Wobei habe ich in den letzten zwei Jahren meine Meinung geändert?

Suche (Volltext oder Embeddings) (0)

Graph (0)

Warum ein persönlicher Vault zum Graphen neigt

Bei dieser Größe sprechen nach unserer Einschätzung drei Gründe für den Graphen.

Dein Bestand ist klein. Einige tausend Seiten sind ein Ordner, den jede Suche bewältigt. Die Infrastruktur für Embeddings lohnt sich bei Millionen von Dokumenten. Darunter kostet sie mehr, als sie bringt.

Dein Bestand ist schon zerlegt. Atomare Seiten sind Bedeutungseinheiten, geschrieben von jemandem, der sie verstanden hat. Zerlegst du sie erneut in Abschnitte fester Länge, zerstörst du die Struktur, für die du bezahlt hast.

Deine Fragen sind Beziehungsfragen. Was weiß ich über X, was verbindet X und Y, was spricht gegen Z. Das sind Abfragen an einen Graphen.

Hybrid, wenn es so weit ist

Die sinnvolle Kombination: Volltextsuche oder Embeddings finden Einstiegspunkte, und der Graph erweitert von dort aus.

So kommt der Recall aus der Suche und die Struktur aus dem Graphen, und jeder Teil macht, was er gut kann. Ab welcher Größe sich RAG zusätzlich lohnt, zeigt das Kapitel Abfragen.

Merksätze

Embeddings finden Ähnliches, auch mit anderen Wörtern, und brauchen keine Struktur.
Der Graph findet ausdrücklich Verbundenes und beantwortet Fragen über mehrere Schritte.
Ähnlichkeitssuche versagt, wenn die Antwort der Frage nicht ähnelt, und kennt keine Vollständigkeit.
Der Graph versagt beim Recall: Unverlinktes erreicht er nicht. Dafür gibt es die Volltextsuche.
Hybrid heißt: Suche findet den Einstieg, der Graph erweitert von dort.

Prüf dich selbst

Denkfrage

Warum findet Ähnlichkeitssuche schlecht, was zwei Ideen verbindet?

Denkfrage

Dein Vault hat 3.000 Seiten. Brauchst du einen Vektorindex?