REGULIERUNG

Künstliche Intelligenz - Erklärbarkeit wird eingefordert

Sebastian Unger, Foto: Sopra Steria Consulting

Je mehr Banken und Finanzdienstleister Künstliche Intelligenz im Geschäftsbetrieb nutzen und je stärker selbstlernende Lösungen zum Einsatz kommen, desto wichtiger wird es, die Erklärbarkeit maschineller Entscheidungen und Empfehlungen sicherzustellen. Zur Blackbox dürfen KI-Entscheidungen nicht werden. In diesem Bereich ist mit mehr Regulierung zu rechnen, erwartet Sebastian Unger. Weil diese aber auch auf mögliche neue Wettbewerber der Banken zielen wird, könnte sie der Kreditwirtschaft eher nutzen als sie zu behindern. Dennoch werden sich Banken künftig auch für Regressforderungen wappnen müssen, die die Beratung durch Robos oder Chatbots betreffen. Red.

Banken bieten ihren Kunden zunehmend Dienste an, die auf Künstlicher Intelligenz (KI) basieren, oder verwenden sie für interne Prozesse. Robo-Advisor, Chatbots, Authentifizierungsverfahren, automatisierte Kreditentscheidungen und Geldwäscheüberprüfung sind aktuell die Paradebeispiele. Die Bankenaufsicht beobachtet diese Entwicklung im Hinblick auf die Nachvollziehbarkeit der Ergebnisse, die Künstliche Intelligenz und Softwareroboter produzieren. Es empfiehlt sich daher, KI-Analysen und ihre Resultate systematisch zu dokumentieren.

Den Wettlauf um die Digitalisierung der gesamten Wertschöpfungskette von Bankgeschäftsprozessen wollen immer mehr Banken und Finanzdienstleister mittels Künstlicher Intelligenzen gewinnen. Sie stehen durch große Internetkonzerne stark unter Druck. Einem Institut, das aktuell bei der Wahl der richtigen Kreditrisikostrategie und der Fähigkeit zur Beurteilung seiner Kunden Vorreiter ist, droht bei Eintritt der Tech-Konzerne und von KI-Analyse-Spezialisten starke Konkurrenz. Diese branchenfremden Unternehmen können sich so zu systemrelevanten Marktteilnehmern entwickeln. Denn es gibt derzeit noch kaum konkrete institutionelle Anforderungen an KI-Analysen.

Die Branche reagiert darauf und bietet ihren Kunden selbst Dienstleistungen an, die auf Kalkulationen und Entscheidungen von Algorithmen basieren. Dazu zählen etwa Chatbots, Robo-Advisor und Authentifizierungsverfahren. Zudem verwenden sie KI-Analysen für interne Prozesse: für Kreditentscheidungen, Geldwäscheüberprüfungen, Liquiditätssteuerung und die Ausarbeitung individueller Kundenangebote. Oder sie nutzen die aggregierten Daten selbst als neue Ertragsquelle durch Weiterverkauf.

Datenbeschaffung für kleinere Institute eine Eintrittsbarriere

Bei all diesen Kalkulationen werden KI-Analysen mit großen Datenmengen durchgeführt, um bestimmte Muster und Wahrscheinlichkeiten zur Prognose von Aktienkursen zu finden, zur Gesichtserkennung, zur Bonitätsbewertung, zum Erkennen von Betrugsversuchen oder zur Kundensegmentierung.

Aktiv sind vor allem große Banken und Finanzdienstleister. Der Grund dafür: Für Kalkulationen und Auswertungen ist eine große Menge relevanter Daten notwendig, beispielsweise Kundendaten, Informationen zum Bezahlverhalten oder zu Finanztransaktionen. Großbanken besitzen die benötigte Masse an relevanten Daten und müssen diese nur in einen Zusammenhang bringen. Für kleinere Institute stellt die Datenbeschaffung dagegen eine hohe Markteintrittsbarriere dar.

Durch die KI-Analysen wollen die Institute eine Führungsposition im Markt einnehmen und sich einen Wettbewerbsvorteil bei der digitalen Transformation verschaffen. Ein Effekt ist die geringere Fehlerquote. Bei Anwendung werden beispielsweise menschliche Eingabefehler (sogenanntes Fat-Finger-Problematik) umgangen und so unnötige Schäden vermieden. Darüber hinaus sind komplexe Analysen ohne menschliches Zutun möglich, die besonders im Kapitalmarkt notwendig sind. Die Daten können effektiver und effizienter genutzt werden, viele Bankgeschäfte werden profitabler und günstiger.

Bank- und Finanzdienstleistungskunden nehmen dabei gerne in Kauf, in einer Filiale keinen menschlichen Ansprechpartner mehr anzutreffen, wenn sie dafür eine Künstliche Intelligenz in Form eines Chatbots jederzeit auf der Website erreichen können.

Beim KI-Einsatz ist allerdings folgendes zu beachten: Das Vertrauen in die KI-Analysen hängt von der messbaren Nachvollzieh- und Erklärbarkeit der Ergebnisse dieser Analysen ab. Dies wird mit vermehrtem Einsatz und steigender Komplexität der KI-Analysen zu einer Herausforderung für Banken und Finanzdienstleister, die zu einem verantwortungsvollen Umgang mit ihren Daten verpflichtet sind.

KI-Blackbox vermeiden

Besonders bei der Entwicklung ist die Übernahme von Verantwortung für Entscheidungen von zentraler Bedeutung. KI-Blackboxen sollten Institute in jedem Fall vermeiden. Das sieht die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) ähnlich. Laut der Behörde müssen Erklärbarkeit und Nachvollziehbarkeit einer algorithmischen Lösung Grundvoraussetzung für eine ordnungsgemäße Geschäftsorganisation sein. Alle Ergebnisse und Prozesse müssen hinreichend dokumentiert werden. Jeder einzelne Algorithmus muss Teil der ordnungsgemäßen Geschäftsorganisation sein.

Auf Analysen durch eine Künstliche Intelligenz gestützte Entscheidungen müssen also innerhalb des Unternehmens und für Dritte nachvollziehbar und überprüfbar sein. "Maschinen dürfen auch bei automatisierten Prozessen nicht die Verantwortung tragen", so BaFin-Präsident Felix Hufeld in einem Interview.

Mehr Regulierung ist zu erwarten

Die Begründung für mangelnde Nachvollziehbarkeit durch Blackbox-Effekte oder die Wahrung des Geschäftsgeheimnisses wird künftig nur schwer von der Bankenaufsicht zu akzeptieren sein. Maßgebliche Prozessoptimierungen und Effektivitätssteigerungen durch KI-Analysen können sich nicht selbst überlassen werden und die Verantwortung für ihre Ergebnisse tragen. Die Bankenaufsicht wird die ordnungsgemäße Eingliederung in die Geschäftsorganisation von Banken und Finanzdienstleistern einfordern sowie die Übernahme der Verantwortung für die Erklärbarkeit und Nachvollziehbarkeit automatisierter Prozesse durch die Geschäftsleitung.

Für die Bankenaufsicht steht besonders das Thema Kaskadeneffekte im Vordergrund. Stark vernetzte Systeme bergen die Gefahr, dass sich Entwicklungsoder Trainingsfehler sehr schnell und unkontrolliert ausbreiten können. Im Bereich des algorithmischen Börsenhandels gibt es bereits Mechanismen der Volatilitätsunterbrechung und Abkopplungsmechanismen, um dieses Risiko zu beherrschen. Eine abgeschlossene Testumgebung für KI-Analysen ist ebenfalls denkbar.

Die Adaptation dieser oder ähnlicher Sicherheitsmechanismen auf andere KI-Einsatzfelder kann künftig von der Bankenaufsicht eingefordert werden, um Fehler oder Schäden zu vermeiden.

Mögliche KI-Regulierung wird nicht nur Banken betreffen

Am meisten wird der Kapitalmarkt von Regulierungen betroffen sein. Zwar sind die Börsen den Umgang mit sehr großen Datenmengen gewohnt, und hier bestehen auch die größten Potenziale zur Steigerung der Effektivität durch Verwendung von KI-Analysen. Aber negative Auswirkungen würden sich hier am schnellsten zeigen und am schwierigsten einzudämmen sein.

Darüber hinaus werden sich die Banken gegen mögliche Regresse wegen Falschberatung durch einen Robo Advisor oder Chatbot schützen müssen. Denn auch KI-Analysen sind nicht zu 100 Prozent vor dem Risiko gefeit, dass es zum Beispiel bei Kreditantragsprozessen zu Falscheinschätzungen von Bonität und Kreditlimit kommt. Auch die Diskriminierung durch Erschweren des Zugangs von bestimmten Kundengruppen und ungerechtfertigte Ablehnung ist möglich.

Eine Regulierung wird sich zudem nicht nur auf Banken und Finanzdienstleister mit aufsichtsrechtlicher Geschäftserlaubnis erstrecken, sondern auf alle Marktakteure, die mit den KI-Daten in Kontakt kommen.

- Das sind zum einen Fintechs, die gezielt an der Kundenschnittstelle, bei vor- und nachgelagerten Prozessen des Kerngeschäfts sowie in den margenstarken Teilbereichen des Kerngeschäfts aktiv sind.

- Zum anderen zielen mögliche Regulierungsvorhaben auch auf die Bigtechs wie Google, Amazon, Facebook und Apple. Sie stellen die Online-Plattformen, Dienstleistungen, digitale Infrastrukturen und Kundendaten zur Verfügung, könnten also als Teil des Finanzsystems betrachtet werden.

Eine mögliche KI-Regulierung ist damit auch Bollwerk gegen unliebsame Konkurrenz der Banken und Finanzdienstleister. Die klassischen Marktteilnehmer der Finanzbranche können sich bei einer möglichen konkreteren Regulierung von KI-Analysen als zuverlässiges Bindeglied zwischen Bankenaufsicht und Tech unternehmen etablieren. Denn diese müssen bereits viele spezifische regulatorische Anforderungen erfüllen, um als Kredit- oder Finanzdienstleistungsinstitut auf dem Markt agieren zu dürfen. Sie verfügen über eine solide regulatorische Kompetenz und geregelte Prozesse für den Austausch mit Aufsichtsbehörden.

Dokumentation von Künstlicher Intelligenz

Neben Sicherheitsmechanismen ist eine lückenlose Dokumentation der Funktionsweise von KI-Analysen eine wirksame Vorbereitung, um gerüstet zu sein. Dokumentationen sind der zentrale Baustein, um einer künftigen konkreten Regulierung durch die Bankenaufsicht gerecht zu werden und um aktiv möglichen Anfragen von Kunden serviceorientiert zu begegnen.

Eine Dokumentation von KI-Anwendungen baut grundsätzlich auf der Verfahrensdokumentation auf. Sie ist bereits bei Banken und Finanzdienstleistern verpflichtend, so steht es in den Grundsätzen zur ordnungsmäßigen Führung und Aufbewahrung von Büchern (GoBD), den Grundsätzen ordnungsmäßiger Buchführung beim Einsatz von Informationstechnologie (IDW RS FAIT 1) und den Bankaufsichtlichen Anforderungen an die IT (BAIT).

Die Institute müssen die Dokumentation nach den Vorgaben der Anwender-, der technischen System- sowie der Betriebsdokumentation verfassen. Für KI-Anwendungen müssten diese um die Besonderheiten für Künstliche Intelligenzen erweitert werden (siehe KI-Dokumentationsrahmenwerk). Ein sachkundiger Dritter soll nach dem Lesen der Dokumentation in der Lage sein, bei Anwendung von KI-Anwendungen nachvollziehbare und zuverlässige Output-Daten zu erhalten.

Bei der Vielzahl von KI-Analysemethoden müssen künstliche neuronale Netze (KNN) besonders betrachtet werden. Sie zeichnen sich dadurch aus, dass eine beliebige Anzahl von Neuronen miteinander in Verbindung steht.

Die Künstliche Intelligenz arbeitet ähnlich wie ein menschliches Gehirn. Das Anlernen von künstlichen neuronalen Netzwerken ist stark von der initialen Konfiguration (Neuronen, Gewichtungen und Schwellenwerten), der Topologie (Struktur der Input-, Hidden- und Outputlayer) und von den verwendeten Trainingsdaten zur Erkennung von bestimmten Mustern abhängig.

Durch den lernenden Charakter einer Künstlichen Intelligenz verändert sich das künstliche neuronale Netzwerk fortwährend durch selbstständiges Verknüpfen oder Lösen von Verbindungen sowie durch Veränderung von Schwellenwerten und Gewichtungen innerhalb des KNN. Diese Prozesse müssen aus Gründen der Erklärbarkeit ebenfalls dokumentiert werden, damit die Veränderungen nachvollzogen und die Ergebnisse einzelnen Veränderungen zugeordnet werden können. Diese Veränderungen lassen sich auch grafisch darstellen mittels sogenannter XAI Frameworks (XAI = Explainable Artificial Intelligence).

Für Dokumentation und Herleitung der Ergebnisse bietet sich ein Vorher-nachher-Vergleich an. Anhand der Ergebnisse werden die selbstständigen Veränderungen des neuronalen Netzwerks (Lernen) hergeleitet. Dieses Vorgehen entspricht dem Erklärungsstrang. Nachdem die Ergebnisse protokolliert wurden, wird die Konfiguration und Datenverarbeitung des KNN gegebenenfalls erneut verändert und wieder angelernt.

Restrisiken managen

Selbst wenn die KI-Analysen zu den gewünschten Ergebnissen gelangen, darf die menschliche Kontrolle nicht ausbleiben. Die KI-Anwendungen können Muster nur so gut selbstständig erkennen, wie sie zuvor angelernt wurden. Die Auswertung der Ergebnisse erfordert eine Plausibilisierung, um mögliche Fehlentscheidungen zu erkennen, bevor sie zu Schäden führen, wie zum Beispiel Reputationsschäden oder finanzielle Einbußen durch die Rückabwicklung von Kreditentscheidungen.

Manipulationsmöglichkeiten sind bei KNN ebenfalls gegeben. Dazu zählen

- die Verwendung unvollständiger und irrelevanter Inputdaten zum Anlernen der KI-Anwendung und

- die unzureichende Konfiguration der Netzwerke, wodurch Output-Daten maßgeblich verändern werden.

KNN benötigen daher eine starke IT-Sicherheit und menschliche Überwachung.

Je komplexer ein neuronales Netzwerk gestaltet ist, desto schwieriger ist es für einen sachkundigen Dritten nachzuvollziehen, ordnungsgemäß zu bedienen und die Output-Daten zu erklären. Banken und Finanzdienstleister benötigen hierfür ein Erklärmodell mit Entscheidungsparametern und ein Interface, das die Erklärungen transparent macht. Die größte Herausforderung bei der Umsetzung besteht darin, dass die Banken eine Balance aus Performance und Erklärbarkeit erreichen.

Konkretisierungen der Bankenaufsicht zu erwarten

Die Regulierungsverantwortlichen werden bald konkreter werden hinsichtlich der Anforderungen beim Einsatz von KI-Analysen. Es wird künftig vonseiten der Aufsichtsbehörden eine Mindestanforderung an die Datenverarbeitung mittels Künstlichen Intelligenzen notwendig werden, die über die bereits angewendeten Mindestanforderungen an das Risikomanagement (MaRisk) und Bankaufsichtlichen Anforderungen an die IT (BAIT) hinausgeht. Der technologische Fortschritt darf nicht ungeregelt systemrelevante Aufgaben übernehmen.

Je mehr Banken und Finanzdienstleister somit Künstliche Intelligenz im Geschäftsbetrieb nutzen und je stärker selbstlernende Lösungen zum Einsatz kommen, desto wichtiger wird es, die Erklärbarkeit maschineller Entscheidungen und Empfehlungen sicherzustellen. Die Entwicklung geeigneter Modelle und Lösungen, um KI-Analysen und ihre Ergebnisse wirksam und effizient nachzuvollziehen, beginnt gerade erst. Wichtig ist, sich systematisch mit der Dokumentation von KI-Analysen und den betroffenen Prozessen zu befassen. Diesen Mindeststandard sollten Banken und andere Finanzdienstleister bereits heute erfüllen.

Sebastian Unger, Sopra Steria Consulting, Hamburg

Weitere Artikelbilder

Noch keine Bewertungen vorhanden


X