Praxisprojekt Second Brain · Konzepte
Wiki oder RAG
Lernziele
- Du beschreibst RAG und das Wiki an der Frage, wann die Arbeit passiert.
- Du nennst je drei Vorteile und Kosten des Wiki-Ansatzes.
- Du entscheidest für einen Bestand, ob ein Wiki oder RAG besser passt.
Der übliche Rat für Fragen an die eigenen Dokumente lautet: Leg sie als Embedding · engl. embeddingEine Zahlenreihe, die die Bedeutung eines Textabschnitts abbildet. Ähnliche Texte haben ähnliche Embeddings, so findet eine Suche verwandte Abschnitte ohne gleiche Wörter.Im Glossar in eine Vektordatenbank. Dieser Kurs geht einen anderen Weg und begründet das mit der Struktur der beiden Ansätze. Eine Vorliebe für bestimmte Werkzeuge spielt dabei keine Rolle.
Die beiden Ansätze
RAG · engl. retrieval-augmented generationEin Verfahren, bei dem Dokumente in Abschnitte zerlegt und als Embeddings gespeichert werden. Zu jeder Frage holt das System die ähnlichsten Abschnitte, und das Modell antwortet aus ihnen.Im Glossar speichert deine Dokumente als Abschnitte mit Embeddings. Eine Frage holt die ähnlichsten Abschnitte, und das Modell · engl. model, LLMDas Sprachmodell (LLM, Large Language Model). Es liest Text, schreibt Text und entscheidet in einem Agenten, was als Nächstes passiert.Im Glossar antwortet aus ihnen. Dabei wird nichts geschrieben, der Bestand bleibt, wie er war.
Ein Wiki verarbeitet Dokumente einmal zu Seiten, die ein AgentEin System, in dem ein Sprachmodell seinen nächsten Schritt selbst wählt: Es ruft Werkzeuge auf, wertet das Ergebnis aus und macht weiter, bis das Ziel erreicht ist.Im Glossar geschrieben und verlinkt hat. Fragen werden beantwortet, indem der Agent durch diese Seiten navigiert. Der Bestand wird umgearbeitet und wird dabei laufend besser.
Der Unterschied liegt darin, wann die Arbeit passiert. RAG erledigt sie bei jeder Frage, jedes Mal von vorn. Andrej Karpathy beschreibt das in seinem Gist so: Das Sprachmodell entdeckt das Wissen bei jeder Frage neu, und nichts baut sich auf. Ein Wiki erledigt die Arbeit einmal beim Ingest und nutzt das Ergebnis danach immer wieder.
RAG
- Wann gearbeitet wird: bei jeder Frage, von vorn
- Was gespeichert wird: Abschnitte mit Embeddings, unverändert
- Die zehnte Quelle zu einem Thema: ein weiterer Abschnitt
- Widersprüche: stecken in getrennten Abschnitten
- Infrastruktur: Index, Embeddings, Abgleich mit den Dateien
Wiki
- Wann gearbeitet wird: einmal beim Ingest
- Was gespeichert wird: Seiten, die ein Agent geschrieben und verlinkt hat
- Die zehnte Quelle zu einem Thema: verbessert die Seite, die neun Quellen aufgebaut haben
- Widersprüche: stehen auf der Seite, mit Datum
- Infrastruktur: Markdown-Dateien und Wikilinks
Was das bringt
Verständnis sammelt sich an. Die zehnte Quelle zu einem Thema verbessert die Seite, die die ersten neun aufgebaut haben. Bei RAG ist das zehnte Dokument ein weiterer Abschnitt. Wächst der Bestand, wächst dort nur die Menge.
Widersprüche werden sichtbar. Zwei Dokumente, die sich widersprechen, ergeben bei RAG zwei Abschnitte, die eine Suche womöglich nie gemeinsam findet. Auf einer Wiki-Seite steht der Widerspruch, mit Datum, und lässt sich nicht übersehen.
Antworten lassen sich prüfen. Die Seite nennt Quellen, die du öffnen kannst. Gefundene Abschnitte sind Bruchstücke ohne die Begründung, die sie verbunden hat.
Keine Infrastruktur. Es gibt keinen Index, kein erneutes Berechnen der Embeddings und keine Abweichung zwischen Speicher und Dateien.
Was es kostet
Der Ingest ist teuer. Seiten zu schreiben und zu verlinken kostet vorab Rechenzeit des Modells. Bei RAG ist das Einlesen fast kostenlos.
Die Qualität hängt am Ingest. Ein schlechter Seitenvertrag, also schlechte Regeln dafür, was eine Seite enthalten muss, ergibt einen schlechten Vault, und das merkst du erst später. Bei RAG zeigen sich Fehler bei der Frage und fallen eher auf.
Was gefunden wird, hängt an den Links. Eine Seite, auf die nichts verlinkt, erreicht der Graph nicht. RAG findet sie über Ähnlichkeit trotzdem.
Die ehrliche Position
Nach unserer Einschätzung ist dieser Tausch richtig für einen persönlichen, kuratierten Bestand mit einigen tausend Seiten. Für eine Million Dokumente, die niemand geordnet hat, ist er falsch.
Für ein Second Brain passt das Wiki, für ein Suchprodukt passt RAG. Die meisten Ratschläge zu RAG sind nach unserer Beobachtung für den zweiten Fall geschrieben. Ab welcher Größe sich die Antwort umkehrt, zeigt das Kapitel Abfragen. Wie Graph und Embeddings beim Finden zusammenspielen, zeigt das Kapitel Graphen.
Wiki oder RAG?
Ordne jeden Bestand dem Ansatz zu, der nach der Einschätzung dieser Lektion besser passt.
Noch offen (5)
- Deine 300 gelesenen Artikel und Papers zu Agenten aus zwei Jahren
- Eine Million Support-Tickets, die nie jemand geordnet hat
- Deine Notizen zu einem Fachbuch, das du Kapitel für Kapitel liest
- Eine Suchfunktion für alle öffentlichen Dokumente einer Behörde
- Die Recherche für deine Masterarbeit über mehrere Monate
Wiki (0)
RAG (0)
Merksätze
- RAG arbeitet bei jeder Frage von vorn, ein Wiki arbeitet einmal beim Ingest.
- Im Wiki sammelt sich Verständnis an, Widersprüche werden sichtbar und Antworten lassen sich prüfen.
- Dafür ist der Ingest teuer, die Qualität hängt an den Seitenregeln, und unverlinkte Seiten bleiben unerreichbar.
- Für ein persönliches Second Brain passt das Wiki, für ein Suchprodukt über riesige Bestände passt RAG.
Prüf dich selbst
Denkfrage
Zwei Artikel in deinem Bestand widersprechen sich bei einer Zahl. Was passiert damit bei RAG und was im Wiki?
Bei RAG liegen die beiden Aussagen in zwei Abschnitten, die eine Suche womöglich nie zusammen findet. Du bekommst je nach Frage die eine oder die andere Zahl. Im Wiki schreibt der Agent den Widerspruch beim Ingest auf die Seite, mit Datum, und du siehst ihn bei jeder Antwort.
Denkfrage
Eine Seite in deinem Vault hat keine eingehenden Links. Warum ist das im Wiki ein Problem, bei RAG aber nicht?
Im Wiki navigiert der Agent über Links zu den passenden Seiten. Eine Seite ohne eingehende Links erreicht er auf diesem Weg nicht. RAG findet sie über die Ähnlichkeit ihres Textes zur Frage, unabhängig von Links.
Prüf dich selbst
Quellen
- LLM Wiki
RAG entdeckt Wissen bei jeder Frage neu, „There's no accumulation“; das Wiki als „persistent, compounding artifact“.