Conversational AI: Bedeutung, Technik und Einsatz im KMU
Conversational AI (konversationelle KI) ist der Sammelbegriff für Systeme, die natürliche Sprache verstehen und im Dialog antworten, per Text oder Stimme. Am Telefon heißt das Ergebnis Voicebot oder KI-Telefonassistent.
Inhalt
Der Begriff Conversational AI taucht in fast jedem Anbieterprospekt auf, vom Website-Chat bis zur Contact-Center-Plattform. Für Sie als Geschäftsführer ist weniger die Definition interessant als die Frage dahinter: Kann so ein System bei uns Anrufe, Anfragen oder Termine übernehmen, und was muss ich dafür wissen?
Diese Seite erklärt den Begriff, die Technik und die Abgrenzung zu Chatbot, Sprachmenü und Agentic AI. Danach geht es um das Telefon, wo konversationelle KI für den Mittelstand am greifbarsten ist, um die rechtlichen Pflichten und um die Wahl zwischen fertigem Produkt und Plattform.
Was ist Conversational AI?
Conversational AI, auf Deutsch konversationelle KI, ist ein Sammelbegriff für Software, die mit Menschen in natürlicher Sprache kommuniziert. Das System versteht frei formulierte Sätze, erkennt das Anliegen dahinter, behält den bisherigen Gesprächsverlauf im Blick und antwortet sinnvoll. Ob die Eingabe getippt oder gesprochen wird, spielt für den Begriff keine Rolle.
Drei Eigenschaften unterscheiden Conversational AI von einfacher Automatisierung:
- Freie Eingabe: Der Nutzer muss keine Schlüsselwörter treffen. „Ich bräuchte nächste Woche einen Termin, am liebsten vormittags" wird genauso verstanden wie „Termin Dienstag früh?".
- Kontext: Das System merkt sich, was vorher gesagt wurde. Auf „Und am Donnerstag?" weiß es, dass es weiter um den Termin geht.
- Dialog statt Abfrage: Fehlen Angaben, fragt es nach, etwa nach Name oder Rückrufnummer.
Am Telefon heißen solche Systeme Voicebot, Voice Agent oder KI-Telefonassistent. Im Chat spricht man von KI-Chatbot oder virtuellem Assistenten.
Die Bausteine: So funktioniert konversationelle KI
Ein Gespräch mit einer Conversational AI läuft, vereinfacht, in fünf Schritten ab. Beim Telefon kommen zwei Schritte hinzu, die im Chat fehlen.
- Spracherkennung (ASR): Die Spracherkennung wandelt das Gesprochene in Text um. Im Chat entfällt dieser Schritt.
- Sprachverständnis (NLU): Das System bestimmt die Absicht („Termin vereinbaren", „Rechnung reklamieren") und zieht Details heraus, etwa Datum, Name oder Kundennummer. Heute übernehmen das meist große Sprachmodelle (LLM).
- Dialogsteuerung: Sie entscheidet, was als Nächstes passiert: nachfragen, antworten, weiterleiten oder abschließen. Hier legen Sie als Betreiber die Regeln fest, zum Beispiel „Notfälle sofort durchstellen".
- Wissen und Aktionen: Antworten stützen sich auf eine hinterlegte Wissensbasis, etwa Öffnungszeiten, Preise oder FAQ. Über Schnittstellen kann das System Termine in einen Kalender schreiben, ein CRM abfragen oder eine E-Mail mit der Gesprächsnotiz senden.
- Antwort: Das Sprachmodell formuliert die Antwort. Am Telefon spricht sie die Sprachsynthese aus.
Am Telefon zählen zusätzlich Reaktionszeit und Unterbrechbarkeit. Lange Pausen wirken unnatürlich, und Anrufer fallen einem Bot ins Wort. Gute Systeme hören auch während der eigenen Ansage zu und reagieren auf Einwürfe, das nennt sich Barge-in. Die Anbindung an Ihre Telefonanlage läuft über eine Rufumleitung oder einen SIP-Trunk.
Conversational AI, Chatbot, IVR, Agentic AI: die Abgrenzung
Die Begriffe werden oft durcheinander verwendet. Diese Übersicht hilft beim Lesen von Angeboten:
| Begriff | Was es ist | Versteht freie Sprache? | Erledigt Aufgaben? |
|---|---|---|---|
| Regelbasierter Chatbot | Klickpfade oder feste Schlüsselwörter | nein | nur vordefinierte |
| IVR / Sprachmenü | „Drücken Sie die 1 …", fester Menübaum | nein oder nur Stichworte | Weiterleitung, Ansagen |
| Generative AI | Erzeugt Text, Bild oder Sprache | ja | nein, nur Inhalte |
| Conversational AI | Führt einen Dialog in natürlicher Sprache | ja | je nach Anbindung |
| Agentic AI | Plant und führt Aufgaben selbstständig aus | ja | ja, über Werkzeuge |
Generative AI ist also eine Technik innerhalb heutiger Conversational AI: Das Sprachmodell formuliert die Antworten. Agentic AI geht einen Schritt weiter und handelt. Ein KI-Telefonassistent, der einen Termin nicht nur bespricht, sondern im Kalender einträgt und eine Bestätigung verschickt, ist in diesem Sinn beides. Ob ein Anbieter das kann, hängt an den Integrationen, nicht am Etikett „Conversational" oder „Agentic".
Wo KMU Conversational AI einsetzen
In großen Konzernen läuft konversationelle KI oft im Contact Center mit Tausenden Gesprächen am Tag. Im Mittelstand sind die Anwendungen bodenständiger:
- Anrufannahme: Der Assistent nimmt jeden Anruf an, auch während Meetings, in der Mittagspause und nach Feierabend. Er beantwortet Standardfragen und schickt Ihnen eine Zusammenfassung. Mehr dazu im Ratgeber KI-Telefonie.
- Terminvereinbarung: Anrufer buchen, verschieben oder sagen ab, direkt im angebundenen Kalender.
- Vorqualifizierung: Der Bot fragt Anliegen, Dringlichkeit und Kontaktdaten ab und leitet nur relevante Fälle an Ihr Team weiter.
- Ausgehende Anrufe: Terminerinnerungen oder Rückrufe nach Liste. Hier gelten zusätzliche Regeln zur Telefonwerbung.
- Chat und Messenger: Dieselbe Wissensbasis beantwortet Fragen auf der Website oder per WhatsApp.
Für viele Betriebe liegt der erste spürbare Nutzen am Telefon. Ein nicht angenommener Anruf kann ein verlorener Auftrag sein, und diese Lücke kann ein Voicebot ohne zusätzliches Personal schließen. Weitere Szenarien finden Sie unter KI im Kundenservice.
Grenzen, die Sie kennen sollten
Konversationelle KI ist kein Ersatz für Ihr Team, sondern eine Annahmestelle mit klaren Grenzen:
- Falsche Antworten: Sprachmodelle können Inhalte erfinden, wenn die Wissensbasis lückenhaft ist. Begrenzen Sie den Bot auf geprüfte Inhalte und lassen Sie Preise oder Zusagen nur aus hinterlegten Daten nennen.
- Akustik: Baustellenlärm, schlechte Mobilfunkverbindung oder starker Dialekt erhöhen die Fehlerquote der Spracherkennung. Testen Sie mit echten Anrufen aus Ihrem Alltag.
- Komplexe Fälle: Beschwerden, Verhandlungen oder heikle Themen gehören zu einem Menschen. Planen Sie eine Anrufweiterleitung und eine Rückruf-Option fest ein.
- Pflegeaufwand: Ändern sich Preise oder Öffnungszeiten, muss die Wissensbasis nachgezogen werden.
Rechtlicher Rahmen in Kürze
Für Conversational AI am Telefon sind in Deutschland vor allem drei Punkte relevant:
- KI-Hinweis: Art. 50 Abs. 1 der KI-Verordnung (EU) 2024/1689 verlangt, dass Menschen erfahren, wenn sie mit einem KI-System interagieren, sofern das nicht offensichtlich ist. Die Regel gilt laut Art. 113 seit dem 2. August 2026. Bei vielen Anbietern müssen Sie den Hinweis in der Begrüßung selbst aktivieren. Details im Ratgeber AI Act und KI-Telefonie.
- Datenschutz: Der Anbieter verarbeitet personenbezogene Daten in Ihrem Auftrag. Dafür brauchen Sie einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO. Prüfen Sie Hosting-Standort und Unterauftragnehmer, insbesondere solche mit Sitz in den USA.
- Aufzeichnung: Wer das nichtöffentlich gesprochene Wort unbefugt aufnimmt, macht sich nach § 201 StGB strafbar. Gespräche aufzuzeichnen oder zu transkribieren, setzt daher eine saubere Rechtsgrundlage und einen klaren Hinweis voraus.
Diese Übersicht ist keine Rechtsberatung. Lassen Sie Ihren konkreten Einsatz bei Bedarf von Ihrem Datenschutzbeauftragten oder einer Kanzlei prüfen.
Fertiges Produkt oder Plattform?
Wer Conversational AI am Telefon nutzen will, hat drei Wege:
1. Fertiger KI-Telefonassistent. Sie hinterlegen Ihre Website oder FAQ, verbinden den Kalender und richten eine Rufumleitung ein. Das ist für die meisten KMU der passende Weg. Beispiele aus unseren Daten: fonio mit Paketen ab 99 € netto im Monat bei Jahreszahlung und rund 30 Integrationen, sipgate sona mit einem dauerhaft kostenlosen Tarif über 500 Minuten oder Famulor mit Prepaid ab 0,15 € netto pro Minute ohne Grundgebühr.
2. Enterprise-Plattform. Für Unternehmen mit eigenem Contact Center und Anbindung an Systeme wie Salesforce, SAP oder Genesys. Parloa nennt Preise nur auf Anfrage, Synthflow Enterprise-Pakete ab 30.000 USD im Jahr.
3. Entwicklerplattform. Baukasten per API mit frei wählbaren Sprachmodellen und Stimmen, abgerechnet nach Minute. Das lohnt sich, wenn Sie eigene Entwickler oder eine Agentur haben. Vapi etwa verarbeitet laut eigenen Angaben standardmäßig in den USA, eine EU-Region gibt es nur im Premier-Paket. Mehr dazu unter Voicebot-Plattformen für Entwickler.
| Anbieter | Wertung | Preis ab | Testphase | Hosting | AVV | Terminbuchung | Ausgehende Anrufe | |
|---|---|---|---|---|---|---|---|---|
| fonio | 4,4/ 5 | ab 99 € netto/Monat (jährlich), 119 € monatlich | kostenlos testen (Demo-Assistent aus der eigenen Website), 30 Tage Geld-zurück-Garantie | EU (DE/FI/FR) | ✓ Ja | ✓ Ja | ✓ Ja | Zum Anbieter →Anzeige |
| sipgate sona | 4,3/ 5 | Free 0 €, bezahlt ab 69,95 € netto/Monat | Free-Tarif dauerhaft kostenlos (500 Min.), ohne Kreditkarte | EU (Deutschland) | ✓ Ja | ✓ Ja | ✓ Ja | Zum Anbieter → |
| Famulor | 4,3/ 5 | ab 0 € Grundgebühr (Prepaid 0,15 €/Min. netto) | kostenlose Registrierung ohne Kreditkarte mit 800 Start-Credits (rechnerisch rund 26 Minuten bei 200 Credits je Euro und 0,15 €/Min.) | Frankfurt, KI-Region wählbar | ✓ Ja | ✓ Ja | ✓ Ja | Zum Anbieter → |
| Parloa | 3,5/ 5 | Preis auf Anfrage | nicht angegeben | Region wählbar | ✓ Ja | ◐ Teilweise | ✓ Ja | Zum Anbieter → |
| Vapi | 3,3/ 5 | ab 0 USD Grundgebühr + 0,05 USD/Min. Plattform | 5 USD Startguthaben und eine kostenlose US-Nummer (nur eingehend), keine befristete Testphase | USA (EU nur Premier) | ✓ Ja | ✓ Ja | ✓ Ja | Zum Anbieter → |
Die bestbewerteten KI-Telefonassistenten nach unserer Methodik
Unsere Bewertung gewichtet Funktionen, Datenschutz, Preis-Leistung, Einrichtung und Vertrag. Provisionen fließen nicht ein, wie wir vorgehen, steht unter Methodik.
fonio 4,4/ 5
- Öffentliche Preise mit 1.000 Inklusivminuten schon im Solo-Tarif
- Rund 30 verfügbare Integrationen, darunter Google Calendar, Calendly, eTermin, Pipedrive, onOffice, Make und n8n
- AVV mit vollständiger Subprozessorliste, Löschfristen und Verschwiegenheitserklärungen für Berufsgeheimnisträger
Famulor 4,3/ 5
- Prepaid ohne Grundgebühr und ohne Vertragsbindung, 0,15 € netto pro Minute, sekundengenaue Abrechnung
- Ein- und ausgehende Anrufe, Terminbuchung im Gespräch, warme Weiterleitung mit Briefing, dazu WhatsApp, SMS und E-Mail
- Sehr viele Anbindungen: Google Kalender, Outlook, HubSpot, Salesforce, Pipedrive, Zapier, REST-API, SDK und SIP-Trunks
sipgate sona 4,3/ 5
- Free-Tarif mit 500 Minuten dauerhaft kostenlos, ohne Kreditkarte
- Öffentliche Preise, Mehrminute 0,12 € netto
- Monatlich kündbar, Frist ein Werktag zum Monatsende
smao 4,3/ 5
- Öffentliche Preise mit Pay as you Go ohne Grundgebühr und 50 Freiminuten ohne Kreditkarte
- Hosting in Deutschland, selbst betriebene Sprachmodelle, laut Anbieter keine OpenAI- oder US-KI-Subprozessoren in der Gesprächsverarbeitung
- 74 Integrationen, darunter HubSpot, Salesforce, Jira Service Management, TANSS und HaloPSA, dazu REST-API und Webhooks
VITAS 4,3/ 5
- Hosting komplett in Deutschland (Open Telekom Cloud), öffentliche Subprozessorenliste im AVV ohne US-Dienstleister
- Prüfung nach BSI C5 Typ 1 und ISO 27001, AVV und TOMs öffentlich als PDF abrufbar
- Viele Anbindungen an Praxis- und Terminsoftware wie medatixx, samedi, tomedo, cituro oder dubidoc
- Öffentliche Preise mit 1.000 Inklusivminuten schon im Solo-Tarif
- Rund 30 verfügbare Integrationen, darunter Google Calendar, Calendly, eTermin, Pipedrive, onOffice, Make und n8n
- AVV mit vollständiger Subprozessorliste, Löschfristen und Verschwiegenheitserklärungen für Berufsgeheimnisträger
So prüfen Sie ein Angebot
Bevor Sie sich für ein System entscheiden, klären Sie diese Punkte:
- Anliegen: Welche fünf Anrufgründe kommen am häufigsten vor? Genau die muss der Bot sicher abdecken.
- Integrationen: Unterstützt der Anbieter Ihren Kalender, Ihr CRM oder Ihre Branchensoftware direkt?
- Übergabe: Wie und wann stellt der Bot zu einem Menschen durch, und was passiert, wenn niemand abnimmt?
- Datenschutz: Wo wird gehostet, gibt es einen AVV, sind die Unterauftragnehmer offengelegt?
- KI-Hinweis: Ist er voreingestellt oder müssen Sie ihn selbst einrichten?
- Kosten: Grundgebühr, Inklusivminuten, Preis je Zusatzminute und Laufzeit. Mit dem Kostenrechner rechnen Sie Ihr eigenes Anrufvolumen durch.
Testen Sie anschließend mit echten Anrufen, idealerweise von Kollegen, die das System nicht kennen. Alle geprüften Anbieter mit Preisen und Datenschutzangaben finden Sie im Vergleich der KI-Telefonassistenten.