Spracherkennung: Wie KI am Telefon zuhört und versteht

Spracherkennung, auch automatische Spracherkennung (ASR) oder Speech-to-Text, wandelt gesprochene Sprache in Text um. Im KI-Telefonassistenten ist sie der erste Schritt: Erst wenn der Anrufer richtig verstanden wurde, kann das System sinnvoll antworten.

Ein KI-Telefonassistent kann nur so gut antworten, wie er zuhört. Versteht er „Dienstag“ statt „Donnerstag“ oder macht aus „Herr Kühn“ einen „Herrn Kuhn“, landet der Termin am falschen Tag oder die Rückrufnotiz beim falschen Kunden. Die Technik, die dafür zuständig ist, heißt Spracherkennung.

Diese Seite erklärt, wie Spracherkennung funktioniert, warum Telefonate für Maschinen schwieriger sind als ein Diktat am Schreibtisch und wie Sie die Erkennungsqualität eines Anbieters vor Vertragsabschluss selbst prüfen. Wenn Sie Spracherkennung für Windows oder das Smartphone einrichten möchten, finden Sie das in der Hilfe des jeweiligen Herstellers. Hier geht es um den Einsatz im Unternehmen, vor allem am Telefon.

Was ist Spracherkennung?

Spracherkennung, in der Fachsprache automatische Spracherkennung oder ASR (Automatic Speech Recognition), ist ein Teilgebiet der Informatik und Computerlinguistik. Software wandelt gesprochene Sprache in maschinenlesbaren Text um. Im Englischen und bei vielen Anbietern heißt das auch Speech-to-Text (STT).

Zwei Begriffe werden oft verwechselt:

• Sprechererkennung stellt fest, wer spricht. Das ist ein anderes Verfahren mit anderen rechtlichen Folgen.
• Sprachverstehen (Natural Language Understanding, Teil des Natural Language Processing) ermittelt, was gemeint ist. Die Spracherkennung liefert dafür nur den Text.

Das Gegenstück ist die Sprachsynthese, die aus Text eine Stimme macht. Ein Voicebot braucht beides.

Wie funktioniert Spracherkennung?

Vereinfacht läuft die Erkennung in drei Schritten ab:

1. Signalaufbereitung: Das Audiosignal wird digitalisiert, in kurze Abschnitte von wenigen Millisekunden zerlegt und in Merkmale umgerechnet, die beschreiben, welche Frequenzen gerade wie stark vorkommen.
2. Akustische Auswertung: Ein Modell schätzt, welche Laute und Wörter zu diesen Merkmalen passen.
3. Sprachmodell: Ein zweites Modell bewertet, welche Wortfolge im Zusammenhang wahrscheinlich ist. So entscheidet das System etwa zwischen „Termin um acht“ und „Termin umacht“.

Lange arbeiteten Erkenner mit statistischen Verfahren wie Hidden-Markov-Modellen, die akustisches Modell, Aussprachewörterbuch und Sprachmodell getrennt behandelten. Heute dominieren neuronale Netze, die oft alle drei Schritte in einem einzigen Modell erledigen („End-to-End“). Sie werden mit sehr vielen Stunden transkribierter Sprache trainiert und brauchen kein Training auf die einzelne Stimme mehr. Das ist die Voraussetzung dafür, dass ein Telefonassistent fremde Anrufer ohne Einlernphase versteht.

Wo Spracherkennung eingesetzt wird

• Diktat und Dokumentation: Arztbriefe, Schriftsätze, E-Mails.
• Sprachassistenten: Steuerung von Smartphone, Auto oder Smart Home.
• Untertitel und Transkripte: Videos, Besprechungen, Interviews.
• Barrierefreiheit: Bedienung von Computern ohne Tastatur.
• Telefonie: Sprachgesteuerte IVR-Menüs, Transkripte für Telefonzentralen und vollwertige KI-Telefonassistenten.

Warum Telefonate für Spracherkennung schwieriger sind

Am Schreibtisch sprechen Sie mit gutem Mikrofon in ruhiger Umgebung. Am Telefon sieht es anders aus:

• Schmales Frequenzband: Klassische Telefonverbindungen übertragen nur etwa 300 bis 3.400 Hertz. Zischlaute wie s und f liegen teils darüber und gehen verloren. HD-Telefonie verbessert das, aber nicht jede Verbindung nutzt sie.
• Kompression und Störungen: Mobilfunk, Funklöcher und VoIP-Paketverluste verzerren das Signal.
• Umgebung: Baustelle, Auto mit Freisprechanlage, Kinder im Hintergrund.
• Schwierige Inhalte: Nachnamen, Straßennamen, Kundennummern, E-Mail-Adressen und Kennzeichen. Gerade die Angaben, auf die es ankommt, stehen in keinem Wörterbuch.
• Echtzeit: Ein Diktat darf eine Sekunde nachlaufen. Im Gespräch muss die Erkennung mitlaufen, während der Anrufer noch spricht (Streaming), und rasch erkennen, wann er fertig ist. Jede Verzögerung erhöht die Latenz und lässt das Gespräch stocken.
• Unterbrechungen: Fällt der Anrufer der KI ins Wort, muss die Erkennung das trotz laufender Sprachausgabe mitbekommen. Das nennt man Barge-in.

Gute Systeme gleichen das aus, indem sie Modelle verwenden, die mit Telefonaudio trainiert wurden, wichtige Angaben wiederholen („Ich habe Kühn mit ü notiert, richtig?“) und bei geringer Erkennungssicherheit nachfragen statt zu raten.

Wie man Erkennungsqualität misst

Das gängige Maß ist die Wortfehlerrate (Word Error Rate, WER). Man vergleicht das Ergebnis der Maschine mit einer korrekten Abschrift und zählt ersetzte, ausgelassene und eingefügte Wörter. Diese Summe geteilt durch die Zahl der Wörter in der korrekten Abschrift ergibt die WER. Je niedriger, desto besser.

Veröffentlichte WER-Werte sollten Sie mit Vorsicht lesen. Sie hängen stark vom Testmaterial ab: Vorgelesene Nachrichtentexte schneiden viel besser ab als Telefonate mit Hintergrundlärm. Für Ihr Unternehmen zählt außerdem nicht jedes Wort gleich. Ein verschlucktes „äh“ ist egal, eine falsche Ziffer in der Telefonnummer nicht. Belastbarer als jede Herstellerangabe sind deshalb eigene Testanrufe.

Spracherkennung im KI-Telefonassistenten

Im KI-Telefonassistenten arbeitet die Spracherkennung in einer Kette: Sie liefert den Text, ein Large Language Model versteht das Anliegen und formuliert die Antwort, die Sprachsynthese spricht sie aus. Wie diese Bausteine zusammenspielen, beschreibt der Eintrag Conversational AI.

Die wenigsten Telefonassistenten entwickeln ihre Spracherkennung selbst. Ein Blick in die Datenschutzunterlagen der von uns erfassten Anbieter zeigt, wer im Hintergrund zuhört:

Stand der Angaben ist der jeweilige Datenstand in unserer Methodik. Die Liste zeigt: „Server in Deutschland“ auf der Startseite sagt noch nichts darüber, wo die Spracherkennung läuft. Fragen Sie gezielt nach.

Datenschutz und Recht

Gesprochene Sprache am Telefon enthält fast immer personenbezogene Daten: Name, Rufnummer, Anliegen, manchmal Gesundheitsdaten. Für die Spracherkennung durch einen externen Dienstleister brauchen Sie deshalb einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, und die eingesetzten Unterauftragsverarbeiter sollten offengelegt sein.

Drei Punkte verdienen besondere Aufmerksamkeit:

• Speichern oder nur verarbeiten: Für die Erkennung selbst muss Audio nicht dauerhaft gespeichert werden. Ob Aufnahmen und Transkripte bleiben und wie lange, regelt der Anbieter sehr unterschiedlich. fonio etwa löscht laut AVV Aufnahmen nach 30 Tagen und Transkripte nach 90 Tagen, novofon speichert laut Anbieter gar kein Audio. Das Aufnehmen des nichtöffentlich gesprochenen Wortes ohne Befugnis ist nach § 201 StGB strafbar. Mehr dazu im Ratgeber Telefongespräche aufzeichnen.
• Keine Stimmerkennung durch die Hintertür: Werden Stimmmerkmale genutzt, um eine Person eindeutig zu identifizieren, sind das biometrische Daten im Sinne von Art. 4 Nr. 14 DSGVO mit den strengen Regeln des Art. 9 DSGVO. Reine Spracherkennung fällt in der Regel nicht darunter.
• KI-Hinweis: Nach Art. 50 Abs. 1 der KI-Verordnung (EU) 2024/1689 müssen Anrufer erfahren, dass sie mit einem KI-System sprechen, sofern das nicht offensichtlich ist. Details im Ratgeber zum AI Act in der KI-Telefonie.

Diese Hinweise ersetzen keine Rechtsberatung. Für Ihren konkreten Fall wenden Sie sich an Ihren Datenschutzbeauftragten oder eine Anwältin. Einen Überblick gibt unser Ratgeber Datenschutz in der KI-Telefonie.

So prüfen Sie die Spracherkennung eines Anbieters

Viele Anbieter lassen sich kostenlos, mit Freiminuten oder per Demo testen. Nutzen Sie diese Möglichkeit für einen strukturierten Test statt für einen einzelnen Probeanruf:

1. Namen buchstabieren lassen: Rufen Sie mit drei schwierigen Nachnamen aus Ihrem Kundenstamm an.
2. Zahlen diktieren: Telefonnummer, Kundennummer, Datum und Uhrzeit. Prüfen Sie im Transkript jede Ziffer.
3. Störgeräusche: Ein Anruf aus dem Auto mit Freisprechanlage, einer von der Straße.
4. Dialekt und Akzent: Lassen Sie Kolleginnen und Kollegen anrufen, die so sprechen wie Ihre Kundschaft.
5. Unterbrechen: Fallen Sie der KI ins Wort und schauen Sie, ob sie reagiert.
6. Transkript lesen: Viele Anbieter zeigen nach dem Gespräch ein Transkript im Dashboard. Dort sehen Sie schwarz auf weiß, was die Erkennung tatsächlich verstanden hat.

Fragen Sie zusätzlich schriftlich, welcher Dienst die Spracherkennung übernimmt, in welcher Region er läuft und ob Ihre Gesprächsdaten zum Training genutzt werden. Weitere Prüfpunkte enthält unsere Checkliste zur Anbieterauswahl.

Den in unserer Methodik am besten bewerteten Anbieter können Sie direkt ausprobieren:

Welcher Anbieter zu Ihrer Branche, Ihrem Budget und Ihren Datenschutzanforderungen passt, zeigt der Anbietervergleich. Was die Minuten kosten, rechnen Sie im Kostenrechner durch.

Häufige Fragen

Passend zum Thema