RAG-System im Unternehmen aufbauen: Ablauf, Kosten, typische Fehler

Ein RAG-System (Retrieval Augmented Generation) beantwortet Fragen auf Basis Ihrer eigenen Dokumente: Es zerlegt Unterlagen in kurze Abschnitte, macht sie über Embeddings inhaltlich durchsuchbar und lässt ein Sprachmodell nur aus den gefundenen Stellen antworten – mit Quellenangabe. Der Aufbau folgt sechs Schritten. Die häufigsten Fehler sind schlechte Datenqualität, fehlende Zugriffsrechte und kein Test mit echten Fragen.

Wie ein RAG-System funktioniert

Die Grundidee: Statt einem Sprachmodell Ihr Firmenwissen „beizubringen“, gibt man ihm bei jeder Frage die passenden Textstellen mit. Das Modell formuliert die Antwort, die Fakten stammen aus Ihren Unterlagen. Mehr zum Begriff im Glossar unter RAG; warum das meist besser ist als Nachtrainieren, erklärt RAG oder Fine-Tuning?.

Der Aufbau in sechs Schritten

1. Ziel und Fragen klären

Wer soll was fragen? Mitarbeitende im Service, in der Verwaltung, neue Kolleginnen? Sammeln Sie 30 bis 50 echte Fragen aus dem Alltag. Sie bestimmen, welche Dokumente gebraucht werden, und dienen später als Test.

2. Datenquellen auswählen und aufräumen

Handbücher, Richtlinien, Verträge, Produktinformationen, FAQ. Veraltete Versionen und Dubletten aussortieren – widersprüchliche Dokumente führen zu widersprüchlichen Antworten.

3. Dokumente aufbereiten

Texte werden aus PDFs, Word-Dateien oder Scans gelesen (bei Scans per Texterkennung) und in Abschnitte zerlegt. Die Größe der Abschnitte beeinflusst die Qualität stark: zu klein fehlt Kontext, zu groß wird die Suche ungenau.

4. Durchsuchbar machen

Jeder Abschnitt wird in ein Embedding umgerechnet und in einer Vektordatenbank gespeichert – zusammen mit Quelle und Zugriffsrechten.

5. Antworten erzeugen

Bei einer Frage werden die passenden Abschnitte gesucht und mit klaren Regeln an das Sprachmodell gegeben: nur auf dieser Basis antworten, Quellen nennen, Unwissen zugeben. Mehr dazu: KI-Antworten mit Quellenangabe.

6. Testen, einführen, pflegen

Die gesammelten Fragen beantworten lassen, Antworten bewerten, nachschärfen. Danach regelmäßig neue Dokumente einlesen und offene Fragen auswerten.

Was ein RAG-System kostet

Feste Preise gibt es nicht; die wichtigsten Kostentreiber sind:

• Datenmenge und -qualität: Aufräumen und Aufbereiten ist oft der größte Aufwand.
• Anzahl der Quellen: Jede Anbindung (Laufwerk, Nextcloud, DMS, Wiki) kostet Einrichtung.
• Rechtekonzept: Wer darf was sehen? Je feiner, desto aufwendiger.
• Modell und Betrieb: eigener GPU-Server, Modell-Dienst in Deutschland oder Cloud – siehe KI-Modelle DSGVO-konform hosten.
• Pflege: laufendes Einlesen neuer Dokumente und Auswertung.

Die häufigsten Fehler

• „Alles rein“: Ungefilterte Laufwerke mit alten Versionen verschlechtern die Antworten.
• Keine Rechte: Wenn das System Personalakten oder Geschäftsführungsunterlagen jedem zeigt, ist das ein Datenschutzproblem.
• Kein Test: Ohne echte Fragen weiß niemand, ob das System hilft.
• Keine Quellenangabe: Ohne Quellen können Mitarbeitende Antworten nicht prüfen.
• Nur Technik, kein Prozess: Wer pflegt Dokumente? Wer wertet offene Fragen aus?
• Gescannte PDFs ohne Texterkennung: Inhalte bleiben unsichtbar.

Fertiglösung oder Eigenbau?

Viele Werkzeuge bringen RAG bereits mit – etwa Nextcloud Context Chat, Open WebUI oder Paperless-ngx. Für Unternehmen mit vielen Quellen und Rechteanforderungen lohnt eine durchdachte Lösung wie unsere KI-Dokumentensuche. Wie die Einrichtung im Detail abläuft, beschreibt KI-Dokumentensuche einrichten.

bettersorted setzt für seine Kundinnen und Kunden auf offene, einsehbare Bausteine – betrieben auf Servern in Deutschland und gebündelt im automaisa Hub. Wir beraten herstellerneutral, sind beim BAFA registrierter Berater und autorisierter INQA-Coach. Die Beratung und begleitete Einführung lassen sich über das INQA-Coaching mit 80 % fördern; den passenden Weg zeigt der Förder-Check. Für ein unverbindliches Erstgespräch: Kontakt.

Beispiel: RAG im Kundenservice eines Händlers

Ein illustratives Szenario: Ein technischer Großhändler hat Hunderte Datenblätter, Montageanleitungen und Garantiebedingungen. Der Innendienst sucht täglich nach Antworten auf Kundenfragen. Ein RAG-System liest die Dokumente ein, beachtet, welche Unterlagen nur intern sind, und beantwortet Fragen mit Verweis auf Datenblatt und Seite. Nach vier Wochen Test mit 50 echten Fragen wird es für den Innendienst freigegeben; offene Fragen werden wöchentlich ausgewertet.

Erfolg messen

• Anteil richtig beantworteter Testfragen
• Anteil Antworten mit korrekter Quelle
• Zeitersparnis bei typischen Suchaufgaben
• Häufigste Fragen ohne Antwort – Hinweise auf fehlende Dokumente

Kosten und Förderung

Die Kosten für ein RAG-System setzen sich aus drei Teilen zusammen: Einrichtung (Planung, Installation, Anbindung, Tests), laufender Betrieb (Server oder Hosting, Updates, Überwachung, Datensicherung) und Begleitung der Mitarbeitenden (Schulung, Regeln, Ansprechpartner). Feste Preise nennen wir nicht, weil Umfang und Ausgangslage stark variieren. Die Software selbst verursacht bei Open-Source-Lösungen keine Lizenzkosten.

Gefördert wird nicht die Technik, sondern die Beratung und begleitete Einführung: Über das INQA-Coaching übernimmt der Bund bundesweit 80 % der Coachingkosten (bis zu 11.520 €, Schecks bis 30.06.2028). Eine vorgelagerte Analyse lässt sich über die BAFA-Beratungsförderung bezuschussen – mit 80 % in den neuen Bundesländern, Lüneburg und Trier, sonst 50 %, für Anträge bis 31.12.2026. Für Investitionen bieten manche Länder eigene Programme – siehe Fördermöglichkeiten für Unternehmen in Deutschland.

Häufig gestellte Fragen

Was ist ein RAG-System?

Ein System, das Fragen auf Basis eigener Dokumente beantwortet: Es sucht passende Textstellen und lässt ein Sprachmodell nur daraus eine Antwort formulieren, idealerweise mit Quellenangabe.

Wie lange dauert der Aufbau eines RAG-Systems?

Ein Pilot mit wenigen, gut gepflegten Quellen ist oft in einigen Wochen möglich. Der größte Zeitfaktor ist meist das Aufräumen und Aufbereiten der Dokumente.

Kann ein RAG-System Zugriffsrechte beachten?

Ja, wenn die Rechte beim Einlesen mitgespeichert und bei jeder Suche geprüft werden. Das sollte von Anfang an eingeplant werden.

Braucht ein RAG-System eine eigene KI?

Nein. Das Sprachmodell kann lokal, bei einem deutschen Modell-Dienst oder in der Cloud laufen. Für sensible Dokumente empfiehlt sich lokale oder in Deutschland gehostete Verarbeitung.

Stand: Oktober 2026.