Large Language Model (LLM): Bedeutung und Einsatz am Telefon

Ein Large Language Model (LLM), auf Deutsch großes Sprachmodell, ist eine KI, die mit sehr viel Text trainiert wurde und Sprache verstehen und erzeugen kann. In einem KI-Telefonassistenten ist das LLM der Teil, der das Anliegen erkennt und die Antwort formuliert.

Viele KI-Telefonassistenten werben damit, dass sie „verstehen, was Anrufer wollen". Dahinter steckt in der Regel ein Large Language Model. Für Sie als Geschäftsführer lohnt es sich, die Technik grob zu kennen. Nicht, um selbst ein Modell zu bauen, sondern um Angebote einordnen zu können: Welches Modell steckt drin, wo läuft es, was kann schiefgehen und welche Fragen sollten Sie dem Anbieter stellen?

Was ist ein Large Language Model?

Ein Large Language Model (LLM), auf Deutsch großes Sprachmodell, ist ein KI-Modell, das mit sehr großen Mengen Text trainiert wurde. Aus diesem Training hat es gelernt, wie Sprache aufgebaut ist, welche Wörter in welchem Zusammenhang auftauchen und wie typische Antworten auf typische Fragen aussehen.

Im Kern macht ein LLM eine Sache: Es sagt vorher, welches Textstück als Nächstes am wahrscheinlichsten folgt. Diese Textstücke heißen Token, das sind Wörter oder Wortteile. Weil das Modell das Wort für Wort und mit Blick auf den gesamten bisherigen Text tut, entstehen zusammenhängende Antworten, Zusammenfassungen oder Übersetzungen.

„Large" bezieht sich auf zwei Dinge: die riesige Trainingsmenge und die Zahl der Parameter, also der internen Stellschrauben, die beim Training eingestellt werden. Moderne LLMs basieren fast alle auf der sogenannten Transformer-Architektur, die 2017 vorgestellt wurde.

So entsteht ein LLM: Training in drei Stufen

1. Vortraining: Das Modell liest enorme Textmengen und lernt, das jeweils nächste Token vorherzusagen. Dafür braucht es keine von Menschen beschrifteten Daten, der Text selbst liefert die Lösung.
2. Feinabstimmung: Mit kleineren, gezielt ausgewählten Beispielen lernt das Modell, Anweisungen zu befolgen und im Dialog zu antworten.
3. Ausrichtung mit menschlichem Feedback: Menschen bewerten Antworten, das Modell wird in Richtung hilfreicher und sicherer Antworten trainiert.

Für den Einsatz im Unternehmen kommt meist eine vierte Ebene hinzu, die kein Training ist: Der Anbieter gibt dem Modell bei jedem Gespräch Anweisungen (den Prompt) und Ihr Firmenwissen mit, etwa Öffnungszeiten, Leistungen und Preise. Dieses Verfahren heißt Retrieval Augmented Generation, kurz RAG. Ihr Wissen fließt also nicht in das Modell selbst, sondern wird zur Laufzeit nachgeschlagen.

Begriffe, die in Angeboten auftauchen

Beispiele für Large Language Models

Bekannte Modellfamilien sind GPT von OpenAI (Grundlage von ChatGPT), Claude von Anthropic, Gemini von Google, Llama von Meta und die Modelle von Mistral AI aus Frankreich. ChatGPT selbst ist übrigens kein Modell, sondern eine Anwendung, die auf GPT-Modellen aufsetzt.

Welche Modelle KI-Telefonassistenten nutzen, ist unterschiedlich und lässt sich meist in der Datenschutzerklärung oder der Unterauftragnehmerliste nachlesen. Einige Beispiele aus unseren geprüften Anbieterdaten:

• fonio: Sprachmodell über OpenAI Ireland mit Verarbeitung in Europa, laut AVV-Anhang.
• sipgate sona: Die Startseite betont eigene Sprachmodelle in deutschen Rechenzentren, die Unterauftragnehmerliste nennt für den Anruf-Assistenten zusätzlich ein GPT-Modell über Microsoft Azure in Irland.
• smao: Laut Anbieter selbst betriebene Open-Source-, Open-Weight- oder lizenzierte Modelle in Deutschland, ohne OpenAI in der Gesprächsverarbeitung.
• telli: Bei EU-Hosting laufen die Sprachmodelle laut Anbieter auf Microsoft Azure in der EU.
• Vapi und Retell AI: Entwicklerplattformen, bei denen Sie das Modell selbst wählen, laut Anbietern bei beiden unter anderem von OpenAI und Anthropic, bei Retell AI auch von Google.

Die Rolle des LLM in einem KI-Telefonassistenten

Ein LLM allein kann nicht telefonieren. Es verarbeitet Text. Ein Voicebot verbindet deshalb mehrere Bausteine:

1. Die Spracherkennung wandelt die Stimme des Anrufers in Text um.
2. Das LLM erkennt das Anliegen, prüft hinterlegtes Wissen und entscheidet über den nächsten Schritt: antworten, nachfragen, Termin buchen oder an einen Menschen weiterleiten.
3. Über Schnittstellen schreibt das System Termine in den Kalender oder legt eine Gesprächsnotiz an.
4. Die Sprachsynthese spricht die Antwort aus.

Das LLM ist damit das „Gehirn", aber nicht das ganze Produkt. Ob ein Assistent im Alltag gut funktioniert, hängt genauso an der Spracherkennung bei Hintergrundlärm, an der Reaktionszeit, an den Integrationen und an einer sauberen Anrufweiterleitung. Ältere Sprachmenüs (IVR) arbeiten ohne LLM mit festen Menübäumen, deshalb müssen Anrufer dort Tasten drücken oder Stichworte treffen.

Grenzen, die Sie kennen sollten

• Halluzinationen: Ein LLM berechnet wahrscheinliche Antworten, nicht wahre. Fehlt eine Information in der Wissensbasis, kann es eine plausibel klingende, aber falsche Antwort geben. Lassen Sie Preise, Fristen und Zusagen nur aus hinterlegten Daten nennen und testen Sie gezielt Fragen, auf die es keine Antwort gibt.
• Aktualität: Das Modell kennt nur seinen Trainingsstand. Aktuelle Informationen zu Ihrem Betrieb kommen ausschließlich aus der Wissensbasis, die Sie pflegen müssen.
• Reaktionszeit: Große Modelle brauchen Rechenzeit. Am Telefon fallen schon kurze Pausen auf, deshalb ist die Reaktionszeit ein wichtiges Kriterium bei der Modellwahl. Testen Sie sie selbst mit einem Probeanruf.
• Verzerrungen: Trainingsdaten enthalten Vorurteile, die sich in Antworten zeigen können. Für Standardanliegen wie Terminbuchung ist das selten ein Thema, bei Beratung schon eher.

Datenschutz: Wo läuft das Sprachmodell?

Für die DSGVO ist entscheidend, wo die Gesprächsinhalte verarbeitet werden. Viele Anbieter hosten ihre eigene Plattform in Deutschland, schicken den Gesprächstext zur Verarbeitung aber an einen Modellhersteller. Dieser ist dann Unterauftragnehmer und muss nach Art. 28 DSGVO im Auftragsverarbeitungsvertrag bzw. in der Liste der Unterauftragsverarbeiter auftauchen. Bei Übermittlungen in Drittländer wie die USA gelten zusätzlich die Regeln aus Kapitel V DSGVO (Art. 44 ff.).

Fragen Sie den Anbieter konkret:

1. Welches Sprachmodell wird genutzt, von welchem Hersteller, in welcher Region?
2. Werden Gesprächsdaten zum Training verwendet oder beim Modellhersteller gespeichert?
3. Ist der Modellhersteller in der Unterauftragnehmerliste genannt?
4. Gibt es eine Option mit Modell auf eigener Infrastruktur oder in einer EU-Region?

Mehr dazu im Ratgeber Datenschutz bei KI-Telefonie und im Vergleich KI-Telefonassistent mit Servern in Deutschland.

LLM und AI Act

Die KI-Verordnung (EU) 2024/1689 unterscheidet zwischen Anbietern und Betreibern. Die Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck, also etwa Dokumentation und Angaben zu Trainingsdaten nach Art. 53, gelten laut Art. 113 seit dem 2. August 2025 und richten sich an die Modellhersteller. Als Unternehmen, das einen fertigen Telefonassistenten nutzt, sind Sie Betreiber. Relevant ist vor allem Art. 50 Abs. 1: Anrufer müssen erfahren, dass sie mit einer KI sprechen, sofern das nicht offensichtlich ist. Diese Pflicht gilt seit dem 2. August 2026 und richtet sich dem Wortlaut nach an den Anbieter des KI-Systems, also den Hersteller Ihres Telefonassistenten. Prüfen Sie trotzdem, ob der KI-Hinweis in Ihrer Begrüßung eingeschaltet ist, denn Anrufer erleben ihn als Ansage Ihres Unternehmens. Zusätzlich verlangt Art. 4, dass Beschäftigte, die mit KI-Systemen arbeiten, ausreichende KI-Kompetenz haben. Quelle: Verordnung (EU) 2024/1689 auf EUR-Lex. Details im Ratgeber AI Act und KI-Telefonie.

Diese Übersicht ist keine Rechtsberatung. Lassen Sie Ihren Einsatz bei Bedarf von Ihrem Datenschutzbeauftragten oder einer Kanzlei prüfen.

Fertiger Assistent oder eigenes Modell wählen?

Für die meisten KMU ist ein fertiger KI-Telefonassistent der passende Weg: Der Anbieter wählt und betreibt das Sprachmodell, Sie hinterlegen Ihr Wissen und richten eine Rufumleitung ein. Wer das Modell selbst wählen und den Ablauf programmieren will, greift zu einer Voicebot-Plattform für Entwickler, rechnet dann aber pro Minute ab und braucht technisches Know-how.

Die nach unserer Methodik bestbewerteten Anbieter, unabhängig von Provisionen:

Was ein Assistent bei Ihrem Anrufvolumen kostet, rechnen Sie mit dem Kostenrechner durch. Alle geprüften Anbieter mit Hosting- und Modellangaben finden Sie im Vergleich der KI-Telefonassistenten.

Häufige Fragen