RAG einfach erklärt: KI mit eigenen Dokumenten

RAG (Retrieval Augmented Generation, deutsch etwa „durch Abruf erweiterte Texterzeugung“) ist ein Verfahren, bei dem eine KI vor dem Antworten in Ihren eigenen Dokumenten nach passenden Textstellen sucht und ihre Antwort auf genau diese Stellen stützt. So kann sie Fragen zu Handbüchern, Verträgen, Richtlinien oder Projektunterlagen beantworten und die Quelle nennen, ohne dass das Sprachmodell mit Ihren Daten trainiert werden muss.

Warum ein Sprachmodell allein nicht reicht

Ein Sprachmodell wie ChatGPT kennt nur das, was in seinen Trainingsdaten stand. Ihre internen Dokumente kennt es nicht. Fragt man es trotzdem nach Ihrer Reisekostenrichtlinie, erfindet es im schlimmsten Fall eine plausibel klingende Antwort, eine sogenannte Halluzination. RAG löst dieses Problem, indem es dem Modell die relevanten Textstellen bei jeder Frage mitgibt.

So funktioniert RAG in drei Schritten

Vorbereiten (einmalig und laufend): Ihre Dokumente werden in Abschnitte zerlegt und so indexiert, dass nach Bedeutung gesucht werden kann, nicht nur nach exakten Wörtern. Dabei wird auch festgehalten, wer welches Dokument sehen darf.
Suchen (bei jeder Frage): Stellt jemand eine Frage, sucht das System die inhaltlich passendsten Abschnitte heraus, nur aus Dokumenten, auf die diese Person zugreifen darf.
Antworten: Das Sprachmodell erhält die Frage zusammen mit den gefundenen Abschnitten und formuliert daraus eine Antwort, mit Verweis auf die Quelldokumente.

Der entscheidende Punkt: Das Modell antwortet nicht aus seinem allgemeinen Wissen, sondern aus Ihren Unterlagen. Findet es nichts Passendes, sollte es das sagen, statt zu raten.

RAG, Fine-Tuning oder einfache Suche?

Ansatz	Was passiert	Gut für	Grenzen
Stichwortsuche	findet Dokumente mit exakten Begriffen	bekannte Dateinamen und Begriffe	keine Antworten, nur Trefferlisten
RAG	sucht passende Stellen und formuliert eine Antwort mit Quelle	Fragen zu internem Wissen, aktuelle Dokumente	Qualität hängt von Dokumenten und Suche ab
Fine-Tuning	Modell wird mit eigenen Daten nachtrainiert	Stil, Fachsprache, feste Formate	aufwendig, Wissen veraltet, keine Quellenangabe

Für Fragen zu Unternehmenswissen ist RAG fast immer die bessere Wahl: Neue Dokumente sind sofort auffindbar, und jede Antwort lässt sich an der Quelle prüfen.

Wofür KMU RAG einsetzen

Interne Wissenssuche: Mitarbeitende fragen nach Abläufen, Richtlinien oder früheren Projekten, statt Kolleginnen und Kollegen zu unterbrechen. Siehe Interne Dokumente in Sekunden finden.
Kundenservice: Ein KI-Chatbot beantwortet Kundenfragen auf Basis Ihrer Produktinformationen und FAQ.
Fachbereiche mit vielen Unterlagen: Kanzleien, Pflege, Verwaltung oder Technik, siehe KI-Dokumentensuche für Steuerkanzleien.
Einarbeitung: Neue Mitarbeitende finden Antworten selbst, mit Verweis auf das Originaldokument.

Worauf es bei RAG ankommt

Dokumentenqualität: Veraltete oder widersprüchliche Dokumente führen zu falschen Antworten. Aufräumen lohnt sich vorher.
Zugriffsrechte: Die Suche muss die Berechtigungen aus Ihren Systemen übernehmen, damit niemand über die KI Dokumente sieht, die er sonst nicht öffnen dürfte.
Quellenangabe: Jede Antwort sollte die verwendeten Dokumente nennen, damit sie geprüft werden kann.
Datenschutz und Hosting: Wo laufen Suche und Sprachmodell? Für sensible Daten kommen Modelle in Frage, die in Deutschland oder im eigenen Haus betrieben werden, siehe KI-Modelle DSGVO-konform hosten.
Ehrlichkeit bei Lücken: Ein gutes System sagt „dazu habe ich nichts gefunden“, statt eine Antwort zu erfinden.

Die Beratung und begleitete Einführung ist förderfähig: Über INQA-Coaching übernimmt der Bund 80 % der Beratungskosten von bis zu 1.200 € pro Tag für bis zu 12 Tage, also bis zu 11.520 € Zuschuss. In Mecklenburg-Vorpommern und den anderen neuen Bundesländern kommt bis zum 31.12.2026 auch die BAFA-Beratungsförderung mit 80 % in Frage (in den alten Bundesländern 50 %). Gefördert wird die Beratung, nicht die Software. Welches Programm passt, zeigt der Förder-Check.

Häufig gestellte Fragen

Was bedeutet RAG?

RAG steht für Retrieval Augmented Generation. Eine KI sucht vor dem Antworten in einer festgelegten Dokumentensammlung nach passenden Textstellen und formuliert ihre Antwort auf dieser Grundlage, meist mit Quellenangabe.

Wird das KI-Modell bei RAG mit meinen Daten trainiert?

Nein. Bei RAG werden Ihre Dokumente nur durchsucht und die passenden Stellen bei der jeweiligen Frage mitgegeben. Das Modell selbst wird nicht verändert. Ob ein Anbieter Eingaben für eigenes Training nutzt, ist vertraglich zu klären.

Kann RAG falsche Antworten geben?

Ja, wenn die Dokumente fehlerhaft oder veraltet sind oder die Suche unpassende Stellen findet. Deshalb sind Quellenangaben wichtig, damit Antworten geprüft werden können. Gegenüber einem Sprachmodell ohne RAG sinkt das Risiko erfundener Antworten deutlich.

Was ist der Unterschied zwischen RAG und Fine-Tuning?

Beim Fine-Tuning wird ein Modell mit eigenen Daten nachtrainiert, beim RAG werden Dokumente bei jeder Frage durchsucht. RAG ist aktueller, nennt Quellen und ist für Unternehmenswissen meist besser geeignet; Fine-Tuning eignet sich eher für Stil und Fachsprache.

Nächster Schritt

Unsere KI-Dokumentensuche nutzt RAG, übernimmt Ihre Zugriffsrechte und läuft auf Servern in Deutschland. Wie die Einrichtung abläuft, beschreibt der Beitrag KI-Dokumentensuche einrichten. Begriffserklärung im Glossar unter RAG.