RAG (Retrieval-Augmented Generation) – Definition & Bedeutung

Was ist RAG?

Retrieval-Augmented Generation (RAG) ist eine Methode, die ein Sprachmodell mit einer externen Wissensquelle verbindet. Bevor das Modell antwortet, durchsucht ein Retrieval-Schritt eine Datenbasis, etwa Produktdaten, Handbücher, Verträge oder Support-Artikel, nach passenden Abschnitten und gibt sie dem Modell als Kontext mit. Die Antwort stützt sich dann auf diese Inhalte und kann die Quelle nennen.

RAG ist die pragmatische Antwort auf zwei Grundprobleme großer Sprachmodelle: Sie kennen nur den Stand ihrer Trainingsdaten, und sie erfinden gelegentlich plausibel klingende Fakten, siehe KI-Halluzination. Mit RAG arbeitet das Modell auf aktuellem, eigenem Wissen, ohne dass es neu trainiert werden muss.

Wie funktioniert RAG?

Ein RAG-System besteht aus zwei Strecken. Die Aufbereitung läuft im Hintergrund: Dokumente werden aus Quellen wie SharePoint, Wiki, DMS oder Datenbanken geladen, in sinnvolle Abschnitte zerlegt und als Embeddings, also Zahlenvektoren, die die Bedeutung abbilden, in einer Vektordatenbank gespeichert.

Die Antwortstrecke läuft bei jeder Frage:

1. Die Frage wird ebenfalls in einen Vektor übersetzt, bei Bedarf vorher umformuliert.
2. Die Suche findet die inhaltlich ähnlichsten Abschnitte, oft kombiniert mit einer klassischen Stichwortsuche (hybride Suche), damit auch Artikelnummern und Fachbegriffe gefunden werden.
3. Ein Reranking sortiert die Treffer nach Relevanz, und es werden nur Abschnitte berücksichtigt, die die fragende Person sehen darf.
4. Das Modell bekommt die Frage und die besten Abschnitte mit der Anweisung, nur auf dieser Grundlage zu antworten und die Quelle zu nennen.

RAG, Fine-Tuning oder langes Kontextfenster?

RAG ist nicht der einzige Weg, einem Modell Wissen mitzugeben. Fine-Tuning verändert das Modell selbst und eignet sich eher für Stil, Format und Fachsprache als für Wissen, das sich ändert. Ein großes Kontextfenster erlaubt es, ganze Dokumente in eine Anfrage zu packen, was bei einzelnen Verträgen sinnvoll ist, bei einer ganzen Wissensbasis aber teuer und langsam wird und Zugriffsrechte ignoriert. In der Praxis ist RAG meist der Ausgangspunkt, die anderen Verfahren ergänzen.

Wofür RAG im Unternehmen genutzt wird

• Interne Wissensassistenten: ein Unternehmens-GPT, das Fragen aus Handbüchern, Richtlinien und Tickets beantwortet.
• Kundenservice: Chatbots und Assistenten, die aus Produktdaten, FAQ und Dokumentation antworten.
• E-Commerce: semantische Suche und Kaufberatung auf Basis von Katalog und Datenblättern.
• Vertrieb und B2B: Angebotsentwürfe aus früheren Angeboten, Preislisten und technischen Unterlagen.

Woran die Qualität hängt

Die Qualität eines RAG-Systems entscheidet sich weniger im Modell als in der Aufbereitung und der Suche: saubere Zerlegung der Dokumente, Metadaten wie Gültigkeit und Abteilung, eine Suche, die auch Fachbegriffe findet, und ein Rechtekonzept. Gemessen wird sie mit Testfragen, deren richtige Antwort bekannt ist. Wie wir solche Systeme bauen, zeigt unsere Seite RAG-System entwickeln lassen; einen Überblick über alle KI-Leistungen gibt unsere KI-Agentur.