RAG einfach erklärt
Retrieval-Augmented Generation, kurz RAG, verbindet eine Suche mit einem Sprachmodell. Zuerst werden zur Frage die passenden Abschnitte aus Ihren Dokumenten gesucht, dann formuliert das Modell die Antwort nur aus diesen Abschnitten und nennt die Quelle. So antwortet das System auf Basis Ihres Wissens statt aus dem Training, und erfundene Angaben werden selten.
Ein Sprachmodell weiß nichts über Ihr Unternehmen. Es kennt weder Ihre Verträge noch Ihre Produktdokumentation noch die Betriebsvereinbarung. Fragt man es trotzdem, antwortet es aus dem, was es beim Training gelernt hat, und das ist für Ihre Frage meist falsch oder erfunden. RAG löst dieses Problem, ohne dass das Modell neu trainiert werden muss.
Wie RAG funktioniert
Das Verfahren hat zwei Schritte. Retrieval, das Auffinden: Ihre Dokumente werden in Abschnitte zerlegt und so abgelegt, dass man zu einer Frage die inhaltlich passenden Abschnitte finden kann. Dafür werden Embeddings in einer Vektordatenbank genutzt. Generation, das Erzeugen: Die gefundenen Abschnitte werden zusammen mit der Frage in das Kontextfenster des Modells gelegt, und das Modell formuliert daraus die Antwort. Die Anweisung lautet dabei: Antworte nur aus diesen Abschnitten, nenne die Quelle, und sag, wenn nichts passt.
Ein Beispiel aus dem Alltag
Eine Mitarbeiterin fragt den internen Assistenten: „Wie viele Tage Sonderurlaub gibt es bei Umzug?“ Das System sucht in Betriebsvereinbarungen und Handbuch, findet den Absatz zur Freistellung und übergibt ihn dem Modell. Die Antwort: „Bei einem Umzug aus betrieblichen Gründen ein Tag, laut Betriebsvereinbarung Arbeitszeit, Abschnitt 7.“ Mit Link zum Dokument. Hätte das Modell ohne RAG geantwortet, hätte es eine Zahl aus irgendeinem Tarifvertrag genannt.
Warum das für Unternehmen der Standard ist
RAG ist heute das übliche Verfahren, um KI auf Unternehmenswissen arbeiten zu lassen, weil es drei Dinge zugleich leistet: Es reduziert Halluzinationen, es macht Antworten nachprüfbar und es funktioniert mit aktuellen Dokumenten ohne Training. Was es nicht leistet: Es macht schlechte Dokumente nicht besser. Ein Laufwerk mit fünf Versionen einer Anleitung liefert fünf Antworten. Deshalb beginnt jedes RAG-Projekt mit dem Sichten der Quellen, siehe Wissensassistent.
Nächster Schritt
Welcher Prozess kostet Sie die meiste Zeit?
Erzählen Sie es in 30 Minuten. Sie bekommen eine ehrliche Einschätzung, ob KI dort hilft und was der erste Schritt wäre.