KOMMUNIKATION

Banken-Chatbots besser als die von Fintechs

Spätestens seit dem "gestohlenen" Wahlsieg von Donald Trump ist es endgültig klar: Nicht alles, was immer wieder wiederholt wird, ist wahr. Das gilt offenbar auch für die Überlegenheit der Fintechs gegenüber klassischen Banken, wo es um digitale Services geht. Zweifellos haben diese Start-ups die etablierten Kreditinstitute unter Druck gesetzt, ihre Digitalisierung zügig voranzutreiben, und haben ihnen sicher noch einiges voraus. Zumindest bei Chatbots hat jedoch eine Studie von Prof. Dr. Peter Gentsch vom Institut für Conversational Business der Universität Aalen zutage gefördert: Chatbots der Sparkassen und Volksbanken schlagen die der Fintechs.

Für die Untersuchung wurden 13 ausgewählte Chatbots der Finanzbranche im Hinblick auf ihre Fähigkeit untersucht, die Anfragen und Bedürfnisse der Kunden richtig zu erkennen und die entsprechend richtige Antwort zu liefern. Um die Konversationsfähigkeit der Chat bots entsprechend zu bewerten, wurden neben fachlichen Fragen zu Produkten und Konditionen auch "Off-Topic-" sowie persönliche Fragen gestellt.

Im Ergebnis schnitten die Sparkassen und Volksbanken am besten ab. Mit durchschnittlich 70 Prozent Trefferquote rangieren sie deutlich vor den Direktbanken und Fintechs mit durchschnittlich 41 Prozent und den Versicherungen mit durchschnittlich nur 35 Prozent Trefferquote. Gemessen an der Gesamtzahl der korrekten beziehungsweise hilfreichen Antworten führten die beiden Sparkassen im Test (Sparkasse Nürnberg und Sparkasse Köln-Bonn) das Ranking mit einer Trefferquote von jeweils 72 Prozent an, ihnen folgten die Volksbanken Freiburg (69 Prozent) und Westmünsterland (65 Prozent), vor Inter Versicherungen (57 Prozent), Deutsche Familienversicherung (52 Prozent) und Uniqa (51 Prozent). Die ING platziert sich mit 51 Prozent auf Platz acht vor der HUK Coburg (49 Prozent) sowie den Fintechs N26 (37 Prozent) und Fidor Bank (34 Prozent). Die Versicherer Ergo und Axa rangieren mit einer Trefferquote von 3 Prozent ganz am Ende. Das schlechte Abschneiden der Versicherer ist jedoch teilweise darauf zurückzuführen, dass sie beziehungsweise ihre Bots oft auf wenige Produkte spezialisiert sind, in den Fragen allerdings eine breite Produktpalette zugrunde gelegt wurde.

Wer erwartet hätte, dass fachliche Fragen von den Chatbots deutlich besser richtig identifiziert und zugeordnet werden als nicht-fachbezogene, der lernt: Das Gegenteil ist der Fall. Zumindest bei den Bots der Sparkassen und Volksbanken im Test lag die Trefferquote bei den nicht-fachlichen Fragen mit 83 Prozent deutlich höher als bei den fachlichen (70 Prozent). Die Bots der Direktbanken und Fintechs können die sogenannten "Off-Topic-Fragen" mit einer Trefferquote von durchschnittlich lediglich 10 Prozent hingegen kaum zuordnen. Bei der ING werden fachliche Anliegen zu 78 Prozent erkannt, andere zu 10 Prozent, N26 kommt auf eine Trefferquote von 60 Prozent bei den fachbezogenen Fragen, sonstige Anliegen werden zu 100 Prozent nicht erkannt.

Aus der teilweise schlechten Performance der untersuchten Chatbots zieht Studienautor Prof. Gentsch den Schluss, dass die Chatbots keine Plug & Play-Lösung sind, sondern vom Kunden her gedachte und trainierte Dialogstrecken erfordern. Schon eine Vorgängerstudie hatte gezeigt, dass sie häufig noch zu sehr aus der Perspektive der Kostenersparnis und Prozessautomatisierung und nicht der Kundenperspektive entwickelt werden.

Wie gut Chatbots die Erwartungen der Kunden erfüllen, ist allerdings auch eine Frage der Technologie: Auf KI basierende Ansätze liefern zwar nahezu menschliche Dialoge. Ein verlässliches Kontextverständnis lässt sich der Studie zufolge allerdings nur auf Basis des NLU-Ansatzes erreichen (Natural Language Understanding). Diese benötigen allerdings entsprechende Lexika sowie umfangreiche Kontextmodellierung, sind also im Zweifelsfall weniger schnell umzusetzen. Unternehmen, die darauf setz ten, schnitten im Test jedoch deutlich besser ab. Der Königsweg in der Zukunft ist deshalb nach Auffassung von Prof. Gentsch ein hybrider Ansatz, der beides verknüpft. Im Zweifelsfall sei kein Chatbot jedenfalls besser als ein schlechter. Red.

Noch keine Bewertungen vorhanden


X