RAG-Chatbot und KI-Wissensdatenbank: Antworten aus eigenen Dokumenten und ihre Grenzen

Wonach gesucht wird

Quelle: SE Ranking, Deutschland, Oktober 2026 (Keyword Difficulty, KD, Skala 0 bis 100; CPC = geschätzter Klickpreis). Es sind Schätzwerte eines Keyword-Tools.

Die allgemeinen Begriffe „chatbot“ (KD 97) und „ki chatbot“ (KD 89) sind groß und sehr schwer. Die Begriffe der Technik sind klein, aber leicht (KD 0 bis 12): „rag chatbot“ hat 260 Suchen im Monat, „ki wissensmanagement“ und „ki wissensdatenbank“ haben 70 und 50. Wer so sucht, kennt das Verfahren vermutlich schon oder will Wissen im Betrieb auffindbar machen.

So antwortet ein System aus eigenen Dokumenten

Das Verfahren heißt Retrieval-Augmented Generation (RAG). Laut BSI werden relevante Informationen mit Suchmechanismen in einer Wissensdatenbank gefunden und zusammen mit der Frage an das Sprachmodell übergeben, ohne dass die Dokumente vorher zum Training dienten (BSI, „Generative KI-Modelle“, Version 2.0 vom 17. Januar 2025, abgerufen am 14. Oktober 2026).

Zeigt das System die Textstellen an, auf denen eine Antwort beruht, lassen sich laut BSI die Auswirkungen von Halluzinationen mildern. Ausgeschlossen werden sie nicht: Die BRAK schreibt in ihrem Leitfaden, dass Halluzinationen im Einzelfall nicht ausgeschlossen werden können, und Google beschreibt, dass Sprachmodelle eine wahrscheinliche Wortfolge vorhersagen, statt Fakten abzurufen.

Dokumente aufbereiten und Zugriffsrechte festlegen

Die Qualität der Antworten hängt zuerst an den Dokumenten. Diese Punkte klären Sie vor dem Einlesen:

• Bestand sichten: welche Dokumente es gibt, wer sie verantwortet und welche Fassung gilt.
• Veraltetes, Doppeltes und Entwürfe aussortieren, Datum und Version je Dokument festhalten.
• Dokumente mit Personendaten, Geheimnissen oder Verträgen gesondert bewerten, bevor sie in die Wissensbasis kommen.
• Festlegen, wer was abfragen darf, und diese Rechte in der Suche umsetzen, nicht nur im Text der Eingabe.
• Festlegen, wer Dokumente einstellen und löschen darf, und einen Pflegerhythmus vereinbaren.

Zu den Rechten sagt das BSI, dass sich die Informationen über ein Rechte- und Rollenkonzept bestimmten Nutzergruppen zuordnen lassen, und rät wegen der Angreifbarkeit davon ab, das allein über Textanweisungen an das Modell zu lösen. Das OWASP-Projekt zu Sicherheit von Sprachmodell-Anwendungen empfiehlt „permission-aware“ Speicher für die Suchdaten (LLM08:2025). Das BSI beschreibt außerdem, dass Angreifende manipulierte Inhalte in eine Wissensbasis einschleusen können, die das Modell zu falschen Antworten verleiten.

Qualität prüfen mit Testfragen

Ob ein System taugt, zeigt sich an Ihren Fragen. Sammeln Sie echte Fragen aus Support, Vertrieb oder Team und halten Sie für jede die richtige Antwort samt Fundstelle fest. Nach jeder Änderung an Dokumenten oder Einstellungen läuft derselbe Satz erneut.

Ein Rechenbeispiel, angenommen: 40 Testfragen, davon 34 richtig, 3 teilweise richtig und 3 falsch. Das sind 85 % richtig und 7,5 % falsch. Entscheidend sind die drei falschen Antworten: Fehlte ein Dokument, war es veraltet, oder hat die Suche den falschen Abschnitt geliefert? Ab welchem Ergebnis Sie das System einsetzen, legen Sie vorher nach dem Risiko fest.

Datenschutz und Grenzen

• Dokumente mit Namen, Adressen oder Gesundheitsangaben enthalten personenbezogene Daten (Art. 4 Nr. 1 DSGVO). Zweckbindung, Datenminimierung und Speicherbegrenzung gelten auch in der Wissensbasis (Art. 5 Abs. 1 Buchst. b, c und e).
• Wird ein Dokument gelöscht, gehört es auch aus dem Suchindex. Das Recht auf Löschung regelt Art. 17 DSGVO.
• Läuft Suche oder Sprachmodell bei einem Dienstleister, braucht es einen Vertrag nach Art. 28 DSGVO. Klären Sie, wohin Eingaben gehen und ob sie zum Training dienen.
• Bei Berufsgeheimnissen kommt zusätzliche Prüfung hinzu, siehe KI in Kanzlei und Steuerbüro.

Häufige Fragen