KI-Antworten mit Quellenangabe: So vermeiden Sie Halluzinationen

Eine Halluzination ist eine KI-Antwort, die plausibel klingt, aber falsch ist. Ganz ausschließen lässt sich das nicht, aber stark reduzieren: Die KI antwortet nur auf Basis gefundener Textstellen aus geprüften Dokumenten, nennt zu jeder Aussage die Quelle und sagt offen, wenn sie nichts findet. Dazu kommen gute Datenqualität, Tests mit echten Fragen und geschulte Mitarbeitende, die Quellen prüfen.

Warum KI überhaupt halluziniert

Sprachmodelle erzeugen Texte, indem sie Wort für Wort die wahrscheinlichste Fortsetzung wählen. Sie haben kein eingebautes Wissen darüber, ob eine Aussage stimmt. Fehlt eine Information, füllt das Modell die Lücke mit etwas, das sprachlich passt – etwa einer erfundenen Frist, Zahl oder Quelle. Mehr zum Begriff im Glossar: Halluzination.

Sechs Maßnahmen gegen Halluzinationen

1. Antworten aus eigenen Quellen (RAG)

Statt aus dem allgemeinen Modellwissen antwortet die KI auf Basis der passenden Stellen aus Ihren Dokumenten. Das ist der wirksamste Hebel – siehe RAG-System aufbauen.

2. Quelle zu jeder Aussage

Jede Antwort verweist auf Dokument und Stelle. Mitarbeitende können mit einem Klick prüfen, ob die Aussage dort wirklich steht. Antworten ohne Quelle sind ein Warnsignal.

3. Klare Regeln für das Modell

Das Modell bekommt die Anweisung, nur auf Basis der gelieferten Textstellen zu antworten und bei fehlender Information ehrlich „Dazu habe ich keine Angabe gefunden“ zu sagen. Zusätzlich wird festgelegt, wozu es sich nicht äußern soll – etwa verbindliche Rechtsauskünfte.

4. Saubere Datenbasis

Veraltete oder widersprüchliche Dokumente erzeugen widersprüchliche Antworten. Vor dem Start aufräumen, danach regelmäßig pflegen.

5. Testen mit echten Fragen

Ein Katalog aus 30 bis 50 echten Fragen mit erwarteten Antworten zeigt, wo das System danebenliegt. Nach jeder größeren Änderung erneut testen.

6. Mensch prüft bei Wichtigem

Bei Entscheidungen mit Folgen – Verträge, Förderanträge, Personalfragen – prüft immer ein Mensch. Das gehört in die KI-Richtlinie; der EU AI Act verlangt außerdem ausreichende KI-Kompetenz der Mitarbeitenden.

Woran Sie ein vertrauenswürdiges System erkennen

• Antworten nennen Dokument und Stelle.
• Das System sagt offen, wenn es nichts weiß.
• Es antwortet nur aus Dokumenten, die die fragende Person sehen darf.
• Es gibt eine Auswertung offener und falsch beantworteter Fragen.
• Die Wissensbasis hat eine verantwortliche Person.

Was Quellenangaben nicht leisten

Eine Quelle zeigt, woher eine Aussage stammt – nicht, ob das Dokument selbst richtig ist. Und ein Modell kann eine Quelle falsch zusammenfassen. Deshalb bleibt der kurze Blick in die Quelle bei wichtigen Fragen Pflicht.

Unsere KI-Dokumentensuche arbeitet nach genau diesen Prinzipien: Antworten nur aus Ihren Dokumenten, mit Fundstelle und unter Beachtung bestehender Zugriffsrechte.

bettersorted setzt für seine Kundinnen und Kunden auf offene, einsehbare Bausteine – betrieben auf Servern in Deutschland und gebündelt im automaisa Hub. Wir beraten herstellerneutral, sind beim BAFA registrierter Berater und autorisierter INQA-Coach. Die Beratung und begleitete Einführung lassen sich über das INQA-Coaching mit 80 % fördern; den passenden Weg zeigt der Förder-Check. Für ein unverbindliches Erstgespräch: Kontakt.

Beispiel: Förderauskunft mit Quellenpflicht

Ein illustratives Szenario: Eine Wirtschaftsförderung setzt einen internen Assistenten ein, der Fragen zu Förderprogrammen beantwortet. Ohne Quellenbindung erfand das Testmodell eine Frist. Nach der Umstellung auf Antworten nur aus den hinterlegten Richtlinien, mit Verweis auf Abschnitt und Stand-Datum, antwortet es bei fehlender Angabe mit „Dazu liegt mir keine Information vor“ – und die Mitarbeitenden prüfen kritische Angaben in der verlinkten Richtlinie.

Schulung: Was Mitarbeitende wissen müssen

• KI kann sich irren – auch wenn sie überzeugend formuliert.
• Quelle öffnen, bevor eine Angabe nach außen geht.
• Fehler melden, damit Wissensbasis und Regeln verbessert werden.
• Keine vertraulichen Daten in nicht freigegebene Werkzeuge eingeben.

Kosten und Förderung

Für eine verlässliche KI-Wissenssuche fallen bei Open-Source-Werkzeugen keine Lizenzkosten an. Kosten entstehen für Einrichtung (Planung, Installation, Anbindung, Tests), Betrieb (Server oder Hosting in Deutschland, Updates, Überwachung, Datensicherung) und Begleitung (Schulung, Regeln, Ansprechpartner). Feste Preise nennen wir nicht, weil Umfang und Ausgangslage stark variieren.

Förderfähig ist die Beratung und begleitete Einführung: Das INQA-Coaching übernimmt bundesweit 80 % der Coachingkosten (bis 11.520 €, Schecks bis 30.06.2028); eine vorgelagerte Analyse bezuschusst die BAFA-Beratungsförderung mit 80 % in den neuen Bundesländern, Lüneburg und Trier, sonst 50 % – für Anträge bis 31.12.2026.

Häufig gestellte Fragen

Was sind KI-Halluzinationen?

Antworten einer KI, die überzeugend klingen, aber falsch oder erfunden sind – etwa falsche Zahlen, Fristen oder Quellen.

Wie kann man Halluzinationen vermeiden?

Vor allem durch Antworten aus eigenen, geprüften Dokumenten (RAG), Quellenangaben zu jeder Aussage, klare Regeln für das Modell, eine saubere Datenbasis, Tests und menschliche Prüfung bei wichtigen Fragen.

Halluziniert eine KI mit RAG nie?

Seltener, aber nicht nie. Sie kann eine Quelle falsch zusammenfassen oder schwach passende Stellen nutzen. Deshalb sind Quellenangaben und Prüfung bei wichtigen Fragen wichtig.

Welche KI-Modelle halluzinieren am wenigsten?

Neuere, größere Modelle halluzinieren tendenziell seltener, doch kein Modell ist frei davon. Der Aufbau des Gesamtsystems – Quellen, Regeln, Tests – ist wichtiger als die Modellwahl.

Stand: Oktober 2026.