Wie funktioniert ein KI-Chatbot? Die Technologie hinter modernen Chatbots

Ein KI-Chatbot funktioniert im Kern mit zwei Bausteinen: einem großen Sprachmodell (LLM), das Sprache versteht und Antworten formuliert, und einer Suche im Wissen Ihres Unternehmens, aus dem die Fakten für die Antwort stammen. Diese Kombination heißt Retrieval Augmented Generation (RAG). Leitplanken legen fest, worüber der Bot spricht; Schnittstellen erlauben ihm, Aufgaben zu erledigen.

Baustein 1: Das Sprachmodell

Ein Large Language Model wurde mit sehr großen Textmengen trainiert und hat dabei gelernt, wie Sprache aufgebaut ist. Es erkennt, was jemand meint – auch bei Tippfehlern, Umgangssprache oder unvollständigen Sätzen – und formuliert flüssige Antworten. Was es nicht kennt, sind die aktuellen Details Ihres Unternehmens. Deshalb braucht es den zweiten Baustein.

Baustein 2: Die Wissensbasis (RAG)

Ihre Inhalte – Website, FAQ, Produktinformationen, Dokumente – werden vorbereitet:

1. Die Texte werden in kurze Abschnitte zerlegt.
2. Jeder Abschnitt wird in einen Vektor umgerechnet, eine Zahlenfolge, die seine Bedeutung abbildet.
3. Stellt jemand eine Frage, wird auch sie in einen Vektor übersetzt; die Suche findet die Abschnitte mit der ähnlichsten Bedeutung – auch wenn andere Wörter verwendet werden.
4. Diese Abschnitte erhält das Sprachmodell zusammen mit der Frage und der Anweisung, nur auf dieser Grundlage zu antworten.

So bleibt das Wissen aktuell, ohne dass ein Modell neu trainiert werden muss: Ändern Sie eine Information in der Wissensbasis, antwortet der Bot ab sofort anders.

Baustein 3: Leitplanken

Damit der Chatbot verlässlich bleibt, bekommt er klare Regeln:

• Nur über das Unternehmen und seine Themen sprechen.
• Keine Antworten erfinden: Findet sich nichts in der Wissensbasis, sagt er es und bietet Kontakt an. So werden Halluzinationen vermieden.
• Keine verbindlichen Zusagen zu Preisen, Fristen oder Rechtsfragen, wenn das nicht ausdrücklich vorgesehen ist.
• Ton und Ansprache passend zur Marke.

Baustein 4: Schnittstellen und Aktionen

Über APIs kann der Chatbot mehr als antworten: freie Termine abfragen und buchen, eine Anfrage im CRM anlegen, einen Bestellstatus prüfen. Das Sprachmodell erkennt, dass eine Aktion nötig ist, sammelt die nötigen Angaben im Gespräch und löst sie aus.

Was den Unterschied zur alten Chatbot-Technologie ausmacht

Frühere Chatbots arbeiteten mit Schlagwörtern und Entscheidungsbäumen: Erkannte der Bot ein Stichwort nicht, kam die Standardantwort „Das habe ich leider nicht verstanden“. KI-Chatbots verstehen die Bedeutung einer Frage, behalten den Gesprächsverlauf im Blick und können Rückfragen stellen. Mehr dazu im Vergleich KI-Chatbot oder regelbasierter Chatbot?.

Was das für die Praxis bedeutet

• Die Qualität der Antworten hängt an der Qualität Ihrer Inhalte. Veraltete oder widersprüchliche Texte führen zu schlechten Antworten.
• Datenschutz ist eine Architekturfrage: Wo laufen Sprachmodell und Wissensbasis? Siehe KI-Chatbot und DSGVO.
• Auswertung ist Pflicht: Offene Fragen zeigen, wo die Wissensbasis Lücken hat.

Wie das in einem fertigen Produkt aussieht, zeigt unser KI-Chatbot. Die Einführung eines KI-Chatbots lässt sich als Beratungsprojekt fördern: Über das INQA-Coaching werden bundesweit 80 % der Coachingkosten übernommen – gefördert wird die Begleitung, nicht die Software. Der Förder-Check zeigt, was für Ihr Unternehmen infrage kommt.

Die Technologie Schritt für Schritt an einem Beispiel

1. Eine Besucherin fragt: „Liefert ihr auch nach Österreich, und was kostet das?“
2. Die Frage wird in einen Vektor umgerechnet und mit der Wissensbasis verglichen.
3. Gefunden werden die Abschnitte „Versand ins Ausland“ und „Versandkosten“.
4. Das Sprachmodell erhält Frage, Abschnitte und Regeln („nur auf Basis der Abschnitte antworten“).
5. Es formuliert eine kurze Antwort mit den Angaben aus den Abschnitten.
6. Fehlt eine Angabe in der Wissensbasis, sagt der Bot das und bietet Kontakt an.

Sprachmodelle: Cloud oder selbst betrieben?

Das Sprachmodell kann bei einem großen Anbieter in der Cloud laufen oder auf eigenen bzw. in Deutschland gehosteten Servern. Cloud-Modelle sind sehr leistungsfähig, verlangen aber eine sorgfältige Datenschutzprüfung. Selbst betriebene, offene Modelle geben mehr Kontrolle über die Daten. Welche Variante passt, hängt von der Sensibilität der Daten und den Anforderungen an die Antwortqualität ab.

Begriffe kurz erklärt

• LLM (Large Language Model): großes Sprachmodell, das Texte versteht und erzeugt – siehe Glossar.
• RAG: Antworten auf Basis gefundener Textstellen – siehe Glossar.
• Embedding/Vektor: Zahlenfolge, die die Bedeutung eines Textes abbildet.
• Prompt: die Anweisung an das Sprachmodell, inklusive Regeln.
• Halluzination: eine plausibel klingende, aber falsche Antwort – siehe Glossar.

Warum das für Entscheider wichtig ist

Wer die Bausteine kennt, stellt Anbietern die richtigen Fragen: Woher kommen die Fakten? Wo läuft das Modell? Was passiert, wenn nichts gefunden wird? Wie werden Inhalte aktualisiert? Die Antworten auf diese vier Fragen sagen mehr über die Qualität eines Chatbots aus als jede Demo.

Wie ein KI-Chatbot mit Ihren Inhalten aktuell bleibt

Weil die Fakten aus der Wissensbasis kommen, genügt es, Inhalte dort zu ändern: neue Öffnungszeiten, ein neues Produkt, eine geänderte Regel. Die Wissensbasis wird neu eingelesen, und der Bot antwortet ab dann mit dem neuen Stand. Gute Systeme lesen Quellen wie Website oder Dokumentenablage automatisch in festen Abständen neu ein.

Grenzen der Technologie

• Fehlende Inhalte: Was nicht in der Wissensbasis steht, kann der Bot nicht korrekt beantworten.
• Widersprüche: Sagen zwei Dokumente Unterschiedliches, kann die Antwort uneinheitlich werden.
• Komplexe Abwägungen: Rechtliche oder medizinische Einzelfallbewertungen gehören zu Fachleuten.
• Sehr lange Gespräche: Der Bot behält Kontext, aber nicht unbegrenzt – bei komplexen Fällen ist eine Übergabe sinnvoll.

Häufig gestellte Fragen

Welche Technologie steckt hinter einem KI-Chatbot?

Ein großes Sprachmodell (LLM) für das Verstehen und Formulieren, eine semantische Suche in der Wissensbasis des Unternehmens (RAG), Leitplanken für verlässliche Antworten und Schnittstellen für Aktionen.

Muss ein KI-Chatbot mit meinen Daten trainiert werden?

In der Regel nicht. Mit RAG greift der Chatbot zur Laufzeit auf Ihre Inhalte zu. Das ist schneller, günstiger und leichter aktuell zu halten als ein eigenes Training.

Kann ein KI-Chatbot falsche Antworten geben?

Das Risiko besteht, lässt sich aber stark senken: durch eine saubere Wissensbasis, die Anweisung, nur auf ihrer Grundlage zu antworten, und eine ehrliche Antwort, wenn nichts gefunden wird.

Was ist der Unterschied zwischen ChatGPT und einem Unternehmens-Chatbot?

ChatGPT ist ein allgemeiner Assistent mit breitem Weltwissen. Ein Unternehmens-Chatbot nutzt ebenfalls ein Sprachmodell, antwortet aber auf Basis Ihrer eigenen Inhalte, nach Ihren Regeln und kann an Ihre Systeme angebunden werden.

Stand: Oktober 2026.