RAG mit dem IONOS AI Model Hub: Dokumentensuche komplett aus Deutschland

Mit dem IONOS AI Model Hub lässt sich eine KI-Dokumentensuche nach dem RAG-Prinzip aufbauen, deren Sprach- und Embedding-Modelle in deutschen Rechenzentren laufen. Die Vektordatenbank, etwa Qdrant, und die Anwendung betreiben Sie auf eigenen Servern in Deutschland. So verlassen weder Dokumente noch Fragen den deutschen Rechtsraum.

Viele Unternehmen wollen ihr Wissen per KI durchsuchbar machen, scheuen aber US-Dienste. Dieser Beitrag zeigt eine Architektur, die vollständig in Deutschland bleibt. Die Grundlagen von RAG erklärt RAG einfach erklärt.

Die Bausteine

So läuft eine Anfrage ab

1. Eine Mitarbeiterin stellt eine Frage in der Chat-Oberfläche.
2. Die Frage wird über den AI Model Hub in einen Vektor umgewandelt.
3. Qdrant sucht passende Abschnitte – gefiltert nach den Rechten der Mitarbeiterin.
4. Optional bewertet ein Reranker die Treffer neu.
5. Die besten Abschnitte gehen mit der Frage an das Sprachmodell im AI Model Hub.
6. Die Antwort kommt mit Quellenangabe zurück.

Welche Modelle sich eignen

• Embeddings: Für deutsche Texte ist ein mehrsprachiges Modell nötig, etwa bge-m3 (0,02 € pro Million Token) oder paraphrase-multilingual-mpnet-base-v2 (0,01 €).
• Reranker: Qwen3-VL-Reranker-8B (0,04 € pro Million Token) verbessert die Trefferreihenfolge.
• Sprachmodell: Mistral Small 24B als günstiger Allrounder, gpt-oss-120b oder Llama 3.3 70B für anspruchsvollere Antworten.

Preise netto laut IONOS-Preisliste, Stand: Oktober 2026. Mehr dazu im Beitrag IONOS AI Model Hub Preise.

Warum die Vektordatenbank selbst betrieben wird

IONOS führt die früheren „Document Collections“ laut Preisliste als Altangebot, das für neue Bereitstellungen nicht mehr verfügbar ist. Für neue Projekte betreiben wir die Vektordatenbank deshalb selbst – mit Qdrant auf einem Server in Deutschland. Das hat Vorteile: volle Kontrolle über Filter und Berechtigungen, hybride Suche und kein Wechselrisiko, falls sich das Angebot erneut ändert.

Datenschutz

IONOS gibt an, den AI Model Hub DSGVO-konform in Deutschland zu betreiben und Kundendaten nicht zum Training zu verwenden. Für den Einsatz brauchen Sie einen Auftragsverarbeitungsvertrag mit IONOS; für die selbst betriebenen Teile gelten Ihre eigenen Maßnahmen. Der Beitrag KI-Dokumentensuche und DSGVO beschreibt, worauf es ankommt.

Aufwand realistisch eingeschätzt

Die Modellkosten sind gering; der Aufwand steckt in der Anbindung der Dokumentenquellen, der sinnvollen Zerlegung, Berechtigungen und Tests. Genau das ist unsere KI-Dokumentensuche: aufgebaut mit dem IONOS AI Model Hub, Qdrant und n8n, betrieben in Deutschland.

Die Beratung und begleitete Einführung ist förderfähig: Über INQA-Coaching übernimmt der Bund 80 % der Beratungskosten von bis zu 1.200 € pro Tag für bis zu 12 Tage, also bis zu 11.520 € Zuschuss. In Mecklenburg-Vorpommern und den anderen neuen Bundesländern kommt bis zum 31.12.2026 auch die BAFA-Beratungsförderung mit 80 % in Frage (in den alten Bundesländern 50 %). Gefördert wird die Beratung, nicht die Software. Welches Programm passt, zeigt der Förder-Check.

Häufig gestellte Fragen

Kann ich ein RAG-System komplett in Deutschland betreiben?

Ja. Sprach- und Embedding-Modelle laufen im IONOS AI Model Hub in deutschen Rechenzentren, Vektordatenbank und Anwendung auf Servern in Deutschland.

Bietet IONOS eine eigene Vektordatenbank an?

Die früheren Document Collections sind laut Preisliste für neue Bereitstellungen nicht mehr verfügbar. Für neue Projekte empfiehlt sich eine selbst betriebene Vektordatenbank wie Qdrant.

Welches Embedding-Modell eignet sich für deutsche Texte?

Ein mehrsprachiges Modell wie bge-m3 oder paraphrase-multilingual-mpnet-base-v2. Rein englische Modelle liefern bei deutschen Dokumenten schlechtere Treffer.

Was kostet ein RAG-System mit IONOS im Betrieb?

Die Modellkosten liegen bei typischer Nutzung oft im Cent- bis niedrigen Euro-Bereich pro Monat. Dazu kommen Server für Vektordatenbank und Anwendung sowie Pflege.

Sie möchten Ihr Firmenwissen mit KI aus Deutschland durchsuchbar machen? Sprechen Sie uns über die Kontaktseite an.