Latenz in der Telefonie mit KI: Ursachen, Grenzwerte, Test

Latenz ist die Zeit, die zwischen Sprechen und Hören vergeht. Bei einem KI-Telefonassistenten kommt eine zweite Wartezeit dazu: die Pause, bis der Bot nach Ihrem letzten Wort antwortet. Beide entscheiden, ob ein Gespräch flüssig wirkt.

Ein Anrufer fragt nach einem Termin am Donnerstag. Dann ist es still. Nach einer gefühlten Ewigkeit sagt er „Hallo?“, und genau in diesem Moment beginnt der Bot zu antworten. Beide reden durcheinander, das Gespräch stockt. Hinter dieser Szene steckt fast immer ein Latenzproblem.

Für Geschäftsführer, die einen KI-Telefonassistenten auswählen, ist Latenz ein unterschätztes Kriterium. In Produktdemos fällt sie selten auf, im Alltag mit echten Anrufern dagegen sofort. Auf dieser Seite lesen Sie, was Latenz in der klassischen Telefonie bedeutet, wo sie bei einem KI-Assistenten entsteht, welche Grenzwerte belegt sind und wie Sie Anbieter vor Vertragsabschluss prüfen.

Latenz: zwei Bedeutungen, die man auseinanderhalten sollte

1. Übertragungslatenz. Das ist die klassische Bedeutung. Gemeint ist die Zeit, die Ihre Stimme vom Mikrofon bis zum Lautsprecher des Gesprächspartners braucht. Die Internationale Fernmeldeunion (ITU) spricht vom „mouth-to-ear delay“, also der Verzögerung von Mund zu Ohr. Sie entsteht durch Kodierung der Sprache, Paketversand über das Netz, Puffer in Telefonen und Anlagen. Bei Internettelefonie (VoIP) und SIP-Trunks ist ein Teil davon gewollt: Weil Sprachpakete unterschiedlich schnell ankommen, sammelt ein Puffer sie kurz, bevor er sie abspielt.

2. Antwortlatenz. Bei einem Voicebot kommt eine zweite, meist deutlich längere Wartezeit hinzu. Sie beginnt, wenn der Anrufer aufhört zu sprechen, und endet, wenn der Bot hörbar antwortet. In dieser Zeit „denkt“ das System. Mit dieser Pause haben Anrufer die meisten Probleme, denn sie fällt in genau den Moment, in dem ein Mensch eine Reaktion erwartet.

Wer mit Anbietern spricht, sollte deshalb nachfragen, welche der beiden Größen gemeint ist. Eine gute Netzqualität sagt nichts darüber, wie schnell das Sprachmodell antwortet.

Was die Normen sagen: ITU-T G.114

Für die Übertragungslatenz gibt es eine anerkannte Richtschnur: die ITU-T-Empfehlung G.114 „One-way transmission time“ in der Fassung vom Mai 2003, laut ITU weiterhin in Kraft (Empfehlung bei der ITU). Darin stehen zwei Kernaussagen:

• Unter 150 Millisekunden Einweg-Verzögerung (Mund zu Ohr) erleben die meisten Anwendungen, Sprache eingeschlossen, eine im Wesentlichen verzögerungsfreie Interaktion. Einige wenige Anwendungen können schon darunter leicht beeinträchtigt sein.
• Über 400 Millisekunden gelten für die allgemeine Netzplanung als nicht akzeptabel. Ausnahmen nennt die ITU etwa bei doppelten Satellitenverbindungen in schwer erreichbare Regionen.

Die Empfehlung betont außerdem, dass Verzögerungen so niedrig wie möglich bleiben sollten, und verweist zur genaueren Abschätzung auf das E-Modell (ITU-T G.107).

Wichtig: G.114 betrifft die Leitung, nicht die Bedenkzeit eines Bots. Eine offizielle Norm für die Antwortzeit von Voicebots haben wir bei unserer Recherche nicht gefunden.

Wie schnell Menschen sich abwechseln

Warum fällt eine Pause von einer Sekunde am Telefon so stark auf? Eine Antwort liefert die Gesprächsforschung. Eine Studie von Stivers und Kollegen, 2009 in der Fachzeitschrift PNAS veröffentlicht, hat Gespräche in zehn Sprachen ausgewertet (Studie bei PMC). Der häufigste Abstand zwischen zwei Redebeiträgen lag je nach Sprache zwischen 0 und 200 Millisekunden, der Durchschnitt über alle Daten bei 208 Millisekunden. Die Spanne der Sprachmittelwerte reichte von 7 Millisekunden (Japanisch) bis 469 Millisekunden (Dänisch).

Menschen sind also auf sehr kurze Übergänge geeicht. Ein Bot, der deutlich länger braucht, wirkt zögerlich oder defekt, auch wenn seine Antwort inhaltlich stimmt. Das heißt nicht, dass ein KI-Telefonassistent diese Werte erreichen muss. Es erklärt aber, warum jede eingesparte Zehntelsekunde hörbar ist.

Wo bei einem KI-Telefonassistenten Latenz entsteht

Ein Telefonat mit einem Voicebot durchläuft bei jeder Antwort eine Kette von Schritten. Jeder kostet Zeit, und die Zeiten addieren sich:

1. Telefonnetz und Weiterleitung: Der Anruf kommt über Ihre Nummer, oft per Anrufweiterleitung, beim Anbieter an. Das ist die klassische Übertragungslatenz, in beide Richtungen.
2. Ende des Satzes erkennen: Der Bot muss entscheiden, ob Sie fertig sind oder nur Luft holen. Wartet er zu kurz, fällt er Ihnen ins Wort. Wartet er zu lang, entsteht eine Pause. Diese Abwägung heißt Endpointing.
3. Spracherkennung: Speech-to-Text wandelt das Gesagte in Text um.
4. Sprachmodell: Das Large Language Model liest den Text samt Gesprächsverlauf und Anweisungen und beginnt mit der Antwort. Größere Modelle und lange Anweisungen brauchen tendenziell länger.
5. Werkzeugaufrufe: Prüft der Bot freie Termine im Kalender oder sucht er eine Kundennummer im CRM, wartet er auf dieses System.
6. Sprachsynthese: Die Sprachsynthese erzeugt aus dem Text hörbare Sprache.

Gute Systeme warten nicht, bis ein Schritt komplett fertig ist. Sie geben Teilergebnisse weiter (Streaming): Die Sprachsynthese beginnt schon mit dem ersten Halbsatz, während das Modell den Rest formuliert. Ob und wie ein Anbieter das umsetzt, steht selten auf der Website. Fragen Sie danach.

Beispiel: Wie Entwicklerplattformen das Warten einstellen

Wie stark allein Schritt 2 ins Gewicht fällt, zeigt die Dokumentation der Entwicklerplattform Vapi. Dort legt der Wert waitSeconds im „Start Speaking Plan“ fest, wie lange der Assistent nach Ihrem Satzende wartet, bevor er spricht. Die Vorgabe beträgt laut Vapi-Dokumentation 0,4 Sekunden. Vapi empfiehlt, den Wert zu erhöhen, wenn der Assistent zu früh spricht, und zu senken, wenn Antworten verzögert wirken. Optional lässt sich eine „intelligente“ Satzende-Erkennung zuschalten, die laut Dokumentation standardmäßig aus ist.

Diese bewusst eingebaute Pause kommt also zu allen übrigen Verarbeitungszeiten hinzu. Bei Komplettlösungen für KMU sind solche Werte in der Regel voreingestellt. In unseren Anbieterdaten ist bei keinem Komplettanbieter dokumentiert, ob sich Wartezeit oder Antwortgeschwindigkeit anpassen lässt.

Latenz und Unterbrechungen hängen zusammen

Je länger die Antwortlatenz, desto häufiger sprechen Anrufer und Bot gleichzeitig. Der Anrufer interpretiert die Stille als Verbindungsabbruch und setzt neu an, während die Antwort des Bots schon unterwegs ist. Ob der Bot dann sauber verstummt, regelt die Unterbrechungserkennung. Mehr dazu im Glossar unter Barge-in.

Jitter, Paketverlust, WLAN: was Sie selbst beeinflussen

Ein Teil der Latenz liegt beim Anbieter, ein Teil in Ihrer eigenen Infrastruktur:

• Jitter ist die Schwankung der Verzögerung. Je stärker sie schwankt, desto größer muss der Puffer sein, und desto höher wird die Latenz.
• WLAN und Mobilfunk sind anfälliger für Schwankungen als ein Kabelanschluss. Das betrifft Sie vor allem, wenn der Bot Gespräche an Mitarbeiter durchstellt, die per Softphone im WLAN telefonieren.
• Umwege in der Weiterleitung: Wird ein Anruf über mehrere Anlagen und Dienste geleitet, kann jede Station Zeit kosten. Klären Sie mit dem Anbieter, welcher Weg empfohlen ist, etwa direkte Weiterleitung oder Anbindung per SIP.

Prüfliste: Latenz beim Anbieter testen

Viele Anbieter bieten Testnummern, Demo-Assistenten oder Freiminuten. Nutzen Sie diese gezielt:

1. Messen statt schätzen: Nehmen Sie den Testanruf auf Ihrer Seite auf und messen Sie im Audioprogramm die Stille zwischen Ihrem letzten Wort und dem ersten Wort des Bots.
2. Einfache und schwere Fragen stellen: Eine Begrüßungsfrage ist schnell beantwortet. Fragen Sie auch nach einem konkreten freien Termin, damit der Bot einen Kalender abfragen muss.
3. Zu verschiedenen Zeiten anrufen: Vormittags, mittags, nachmittags. So sehen Sie, ob die Antwortzeit bei Last schwankt.
4. Mit Pausen sprechen: Machen Sie mitten im Satz eine kurze Denkpause. Fällt Ihnen der Bot ins Wort?
5. Vom Handy und vom Festnetz testen: Ihre Anrufer nutzen beides.
6. Beim Anbieter nachfragen: Wo laufen Spracherkennung, Sprachmodell und Sprachsynthese? Werden Antworten gestreamt? Gibt es Füllsätze wie „Einen Moment, ich schaue nach“ bei Kalenderabfragen? Lässt sich die Wartezeit nach dem Satzende einstellen?

Der Ort der Verarbeitung ist auch eine Datenschutzfrage. Hosting und Subprozessoren haben wir für jeden Anbieter in den Testberichten erfasst. Hintergrund dazu im Ratgeber Datenschutz in der KI-Telefonie. Das ist keine Rechtsberatung.

Anbieter im Vergleich

Messwerte zur Latenz veröffentlichen die Anbieter in unseren Daten nicht, und eigene Messungen haben wir nicht durchgeführt. Die folgende Tabelle zeigt deshalb Anbieter, bei denen Sie die Antwortzeit ohne Vertragsbindung selbst prüfen können: über einen Demo-Assistenten, einen kostenlosen Tarif oder Freiminuten.

Laut unseren Anbieterdaten bietet fonio einen kostenlosen Demo-Assistenten, der aus Ihrer eigenen Website erstellt wird, und eine 30-Tage-Geld-zurück-Garantie. sipgate sona hat einen dauerhaft kostenlosen Tarif mit 500 Minuten, smao 50 Freiminuten ohne Kreditkarte, Famulor 800 Start-Credits nach kostenloser Registrierung ohne Kreditkarte. Genug, um die Prüfliste oben einmal durchzugehen.

Welche Kriterien in unsere Bewertung einfließen, erklärt die Methodik. Alle Lösungen finden Sie im Vergleich, was der Betrieb kostet, zeigt der Kostenrechner. Eine ausführliche Anleitung für den Probelauf folgt im Ratgeber KI-Telefonassistent testen.

fonio kostenlos testen →Anzeige

Verwandte Begriffe

• Barge-in: wie der Bot reagiert, wenn Anrufer ihn unterbrechen
• Speech-to-Text: der erste Verarbeitungsschritt nach dem Satzende
• Sprachsynthese: der letzte Schritt vor der hörbaren Antwort
• SIP-Trunk: die Leitung zwischen Telefonanlage und Anbieter
• Conversational AI: die Technik hinter frei sprechenden Bots

Häufige Fragen