Retrieval Augmented Generation (RAG): einfach erklärt

Retrieval Augmented Generation (RAG) heißt: Die KI schlägt vor jeder Antwort in Ihren eigenen Unterlagen nach und formuliert erst dann. So nennt ein KI-Telefonassistent Ihre Öffnungszeiten und Preise, statt sie zu raten.

Wenn ein KI-Telefonassistent auf die Frage „Haben Sie am Samstag geöffnet?“ Ihre echten Öffnungszeiten nennt, steckt fast immer Retrieval Augmented Generation dahinter. Das Sprachmodell selbst weiß nichts über Ihren Betrieb. Es bekommt die passenden Informationen in dem Moment zugespielt, in dem der Anrufer fragt. Für Sie als Geschäftsführer ist das der Teil der Technik, den Sie direkt beeinflussen: Was in der Wissensbasis steht, sagt der Assistent. Was fehlt, muss er umschiffen.

Was ist Retrieval Augmented Generation?

Retrieval Augmented Generation, kurz RAG, verbindet zwei Dinge: eine Suche in einer Wissensquelle (Retrieval) und die Texterzeugung durch ein Large Language Model (Generation). Die Suche liefert die Fakten, das Sprachmodell formuliert daraus eine verständliche Antwort.

Der Begriff stammt aus einem Forschungspapier von Patrick Lewis und Kollegen, das 2020 auf der Konferenz NeurIPS veröffentlicht wurde („Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks“). Seitdem ist RAG ein weit verbreitetes Verfahren, um Sprachmodelle mit Firmenwissen zu verbinden, ohne sie neu zu trainieren.

Ein Vergleich aus dem Büroalltag: Ein Sprachmodell ohne RAG ist wie eine neue Aushilfe, die gut formulieren kann, aber Ihren Betrieb nicht kennt. Mit RAG liegt neben dem Telefon ein Ordner mit allen Antworten, und die Aushilfe schlägt vor jedem Satz nach.

So funktioniert RAG in vier Schritten

1. Wissen aufbereiten (Indexierung): Ihre Unterlagen, etwa Website, Preisliste, FAQ oder Leistungsbeschreibungen, werden in kurze Abschnitte zerlegt. Jeder Abschnitt wird in einen Zahlenvektor umgerechnet, ein sogenanntes Embedding, und in einer Vektordatenbank gespeichert. Das passiert einmal und bei jeder Änderung erneut.
2. Passende Stellen finden (Retrieval): Stellt ein Anrufer eine Frage, wird auch sie in einen Vektor umgerechnet. Das System sucht die Abschnitte, die inhaltlich am nächsten liegen. Weil das über Bedeutung statt über exakte Wörter läuft, findet es zu „Wann kann ich vorbeikommen?“ auch den Abschnitt „Öffnungszeiten“.
3. Anfrage anreichern (Augmentation): Die gefundenen Abschnitte werden zusammen mit der Frage und den Grundregeln Ihres Assistenten, dem Prompt, an das Sprachmodell übergeben.
4. Antwort erzeugen (Generation): Das Modell formuliert die Antwort auf Basis der mitgelieferten Fakten. Am Telefon spricht die Sprachsynthese sie anschließend aus.

RAG im KI-Telefonassistenten

Im Telefonbetrieb sitzt RAG mitten in einer Kette: Spracherkennung wandelt die Stimme in Text, RAG holt das passende Wissen, das Sprachmodell entscheidet über Antwort, Rückfrage, Terminbuchung oder Weiterleitung, die Sprachsynthese spricht. Das hat zwei Folgen, die bei Text-Chatbots weniger ins Gewicht fallen:

• Geschwindigkeit: Jede Suche kostet Zeit. Am Telefon fallen Pausen sofort auf, deshalb ist die Latenz ein Qualitätsmerkmal. Prüfen Sie im Test, ob Antworten auf Wissensfragen merklich länger dauern als Smalltalk.
• Gesprochene Fragen: Anrufer formulieren unvollständig, mit Dialekt oder mitten im Satz korrigiert. Die Suche muss trotzdem den richtigen Abschnitt treffen. Kurze, klar überschriebene Abschnitte in der Wissensbasis helfen dabei mehr als lange Fließtexte.

In den Anbieterunterlagen heißt RAG selten so. Meist steht dort „Wissensdatenbank“, „Wissensbasis“ oder „FAQ“. Einige Beispiele aus unseren geprüften Anbieterdaten:

Auch telli, smao, Zeeg und die Entwicklerplattformen Retell AI, Synthflow und Bland AI führen eine Wissensdatenbank in ihrer Funktionsliste. Wie die Suche technisch arbeitet, etwa welches Embedding-Modell oder welche Datenbank genutzt wird, legen die meisten Anbieter nicht offen.

RAG, Fine-Tuning oder nur ein langer Prompt?

Für einen Telefonassistenten in einem KMU ist RAG fast immer der richtige Weg. Ihre Preise ändern sich, Ihr Team wechselt, Feiertage kommen hinzu. Das alles pflegen Sie in der Wissensbasis, ohne dass jemand ein Modell trainieren muss. Fine-Tuning taucht in den Funktionslisten der von uns erfassten fertigen Telefonassistenten nicht auf, für ein KMU ist es auch selten nötig.

Grenzen, die Sie kennen sollten

• Falsche Fundstelle: Findet die Suche einen ähnlichen, aber unpassenden Abschnitt, etwa den Preis des Vorjahres, gibt das Modell ihn überzeugend wieder. Alte Dokumente gehören deshalb aus der Wissensbasis gelöscht, nicht nur ergänzt.
• Lücken: Steht etwas nicht in der Wissensbasis, kann das Modell trotzdem antworten und dabei halluzinieren. Legen Sie im Prompt fest, dass der Assistent dann nachfragt, einen Rückruf anbietet oder über die Anrufweiterleitung an einen Menschen übergibt.
• Widersprüche: Stehen auf Website und im PDF zwei verschiedene Öffnungszeiten, ist offen, welche der Assistent nennt. Eine Quelle pro Fakt ist die einfachste Regel.
• Pflegeaufwand: RAG ist nur so aktuell wie Ihre Unterlagen. Wird die Website automatisch eingelesen, klären Sie, wie oft der Anbieter neu einliest.

Datenschutz: Was gehört in die Wissensbasis?

Die Wissensbasis liegt beim Anbieter, oft samt Embedding-Modell und Vektordatenbank bei weiteren Dienstleistern. Für personenbezogene Daten gilt deshalb Art. 28 DSGVO: Sie brauchen einen Auftragsverarbeitungsvertrag, und die beteiligten Unterauftragsverarbeiter müssen benannt sein. Bei Übermittlungen in Drittländer wie die USA gelten zusätzlich Art. 44 ff. DSGVO. Quelle: Verordnung (EU) 2016/679 auf EUR-Lex.

Für die meisten Telefon-Einsätze ist die einfachste Lösung, gar keine personenbezogenen Daten in die Wissensbasis zu laden: Öffnungszeiten, Leistungen, Preise, Anfahrt, Zuständigkeiten nach Abteilung genügen. Interne Dokumente mit Kundennamen, Mitarbeiterdaten oder Vertragsdetails gehören nicht hinein. Berufsgeheimnisträger wie Kanzleien und Praxen sollten zusätzlich § 203 StGB im Blick haben.

An der Transparenzpflicht der KI-Verordnung (EU) 2024/1689 ändert RAG nichts: Nach Art. 50 Abs. 1 müssen KI-Systeme, die direkt mit Menschen interagieren, so gestaltet sein, dass die Betroffenen erfahren, dass sie mit einer KI sprechen, sofern das nicht offensichtlich ist. Die Pflicht richtet sich an den Anbieter des Systems. Als Betreiber sollten Sie trotzdem prüfen, dass der KI-Hinweis in Ihrer Begrüßung tatsächlich zu hören ist, denn bei manchen Anbietern richten Sie die Begrüßung selbst ein. Mehr dazu im Ratgeber AI Act und KI-Telefonie und unter Datenschutz bei KI-Telefonie. Diese Übersicht ist keine Rechtsberatung.

Fünf Fragen an den Anbieter

1. Aus welchen Quellen kann der Assistent Wissen beziehen: Website, PDF, eingetippte FAQ, Live-Daten über eine Schnittstelle?
2. Wie oft wird die Website neu eingelesen, und kann ich das manuell anstoßen?
3. Kann ich festlegen, dass der Assistent nur aus der Wissensbasis antwortet und sonst weiterleitet?
4. Wo werden Wissensbasis und Embeddings gespeichert, und welcher Dienstleister ist beteiligt?
5. Sehe ich im Gesprächsprotokoll, welche Fundstelle eine Antwort ausgelöst hat?

Weitere Prüfpunkte finden Sie in der Checkliste zur Anbieterauswahl.

Welcher Telefonassistent passt?

Sie müssen RAG nicht selbst bauen. Fertige KI-Telefonassistenten erledigen Indexierung und Suche im Hintergrund, Sie liefern die Inhalte. Wer den Ablauf selbst programmieren und Wissensquellen frei anbinden will, findet Optionen im Vergleich der Voicebot-Plattformen für Entwickler.

Die nach unserer Methodik bestbewerteten Anbieter, unabhängig von Provisionen:

fonio mit Ihrer Website kostenlos testen →Anzeige

Was ein Assistent bei Ihrem Anrufaufkommen kostet, rechnen Sie im Kostenrechner durch. Alle geprüften Anbieter mit Hosting- und Funktionsangaben finden Sie im Vergleich der KI-Telefonassistenten.

Häufige Fragen