Vor der Finanzkrise 2007/2008 herrschte in der Finanzwirtschaft großes Vertrauen in die Anwendung von Modellen, unabhängig davon, ob es sich um Bewertungs-, Risiko- oder Entscheidungsunterstützungsmodelle handelt. Eine der zentralen Lehren der Finanzkrise war, Modellen nicht unkritisch zu vertrauen. Hieraus entwickelten sich zwei Handlungsstränge. Die sorgfältige Validierung von Modellen gewann große Bedeutung. Gleichzeitig wurde gefordert, dem Expertenwissen mehr zu vertrauen und ihm mehr Raum einzuräumen. Doch in jüngster Zeit scheint das Pendel zurückzuschlagen. Tendenziell werden eher mehr Modelle eingesetzt und Expertenschätzungen zurückgefahren. In einzelnen Fällen wird dies sogar von Prüfern vorgeschlagen, ohne dass die Qualität der vorliegenden Schätzung kritisch gewürdigt wurde. Vielmehr scheinen das grundsätzliche Argument, dass Expertenurteile Schwächen haben und die implizite, aber nicht geprüfte Annahme, dass Modelle bessere Schätzer seien als Experten, Auslöser dieser Vorschläge zu sein. Doch ist das gerechtfertigt? Sind nun Modelle oder Experten die besseren Schätzer?
Einsatz von Modellen und Schätzungen
Ziel des Beitrags ist es, diese Argumentation kritisch zu analysieren und zu zeigen, dass Expertenschätzungen auch in der kreditwirtschaftlichen Praxis dahingehend untersucht und verbessert werden können, dass sie eine sachgerechte und angemessene Einschätzung eines Sachverhalts liefern. Diese Untersuchung wurde getrieben durch die häufig von Instituten thematisierte Unsicherheit bei Szenarioanalysen und Stresstests einerseits und andererseits durch die MaRisk-Anforderungen zur kritischen Analyse der Risikoquantifizierung, da diese häufig mittelbar oder unmittelbar auf Expertenschätzungen zurückgreift.
Die Vorteile eines Modells scheinen auf der Hand zu liegen: Modelle sind objektiv, datenbasiert, wissenschaftlich. Sie liefern genaue Ergebnisse, bei Bedarf bis auf viele Nachkommastellen. Sie sind dokumentiert, strukturiert, validierbar, idealerweise auch validiert. Schätzungen sind subjektiv, gelten oft sogar als willkürlich. Sie haben weniger konkreten Bezug zu Daten und werden von "diffusem" Bauchgefühl bestimmt. Damit erscheinen sie nicht vertrauenswürdig. Ihr größter Vorteil ist gleichzeitig auch ihr größtes Problem: Sie sind leicht gemacht und werden deshalb auch gerne als Abkürzung für kompliziertere Analysen getätigt. Doch so einfach ist die Antwort nicht: Es gibt gute und schlechte Modelle so wie es gute und schlechte Expertenschätzungen gibt. Oder noch genauer sollte man sagen: Es gibt gut und schlecht validierte Modelle und es gibt gut und schlecht validierte Expertenschätzungen.
Ein paar Beispiele mögen das Problem illustrieren. So wird im Umsetzungsleitfaden Stresstests der Sparkassen-Finanzgruppe ein Institut zitiert, das zur Abschätzung des Beteiligungsrisikos die Formel des IRB-Ansatzes verwendet. Als Alternative könnte man auch eine Expertenschätzung vornehmen. Was ist besser?
Auf volkswirtschaftlichen Modellen beruhende Zinsprognosen sagen überwiegend für die Zukunft steigende Zinsen voraus, die so in der Vergangenheit eher selten beobachtet wurden. Institute verwenden diese zur Festlegung ihrer Hauszinsmeinung. Inwieweit sind diese Modelle einer Expertenschätzung tatsächlich überlegen?
Gefahr von Scheingenauigkeiten
Die Fortpflanzung von Schätzungenauigkeiten wird bei der Validierung von Modellen in der Regel nicht untersucht. Andererseits verweist Gigerenzer1) darauf, dass Harry Markowitz für seine persönliche Altersvorsorge nicht seine mit dem Wirtschaftsnobelpreis ausgezeichnete Formel, sondern eine einfache 1/N-Heuristik verwendete. Die Minimum-Varianz-Methode ist optimal in einer idealen Welt, in der alle Risiken genau bekannt sind. Sie ist nicht optimal für Kontexte, in denen viele Einflüsse nicht bekannt sind, denn sie benötigt lange Datenhistorien zur Schätzung der Parameter. Erst wenn etwa 500 Jahre an Daten vorlägen, wären die Parameter so genau, dass das Minimum-Varianz-Portfolio erfolgreicher ist als die einfache 1/N-Regel. Modelle können also Scheingenauigkeiten produzieren, wenn eine präzise Rechnung auf Annahmen beruht, die nur näherungsweise erfüllt sind.
Modelle können dann eine gute Wahl sein, wenn viele Daten in einem Markt zur Verfügung stehen, der stationär auf Zeitskalen ist, die lang sind verglichen mit dem angestrebten Prognosehorizont des Modells. Doch auch dann werden, wie das Beispiel der Markowitz-Formel zeigt, nur hinreichend einfache Modelle robuste Ex-ante-Voraussagen ermöglichen.
Bei strategischen Fragestellungen, Systembrüchen oder emergenten Risiken haben die Daten der Vergangenheit in der Regel keine Aussagekraft für die Zukunft. Hier bieten Expertenschätzungen (teilweise eingebettet in Szenarioanalysen oder Stresstests) einen komplementären Ansatzpunkt. Zwar ist bekannt, dass auch Experten umso treffsicherer urteilen, je häufiger sie eine bestimmte Aufgabe lösen müssen und je unmittelbarer sie Feedback zur Genauigkeit ihrer Antwort erhalten, doch können sie ihr Fachwissen von Anfang an einsetzen und dieses gegebenenfalls bei Bekanntwerden von Daten auch prüfen und anpassen. Sollen die Expertenschätzungen hohen Ansprüchen genügen und zum Beispiel als Grundlage weitreichender Entscheidungen dienen, also eine bestmögliche Näherung an valide Ergebnisse liefern, so müssen sie kritisch auf typische Fehler untersucht werden.
Kognitive Verzerrungen
Das menschliche Denken ist nicht immer rational logisch und deshalb anfällig für verschiedene Einflüsse. Allerdings lassen sich durch bewusste Auseinandersetzung mit psychologischen Effekten bei Denkprozessen und der Anwendung adäquater Strategien, verzerrende Einflüsse reduzieren und somit die Qualität von Entscheidungen positiv beeinflussen.
Folgendes Beispiel, das aus dem kognitiven Reflexionstest 2) von Frederick stammt, soll verdeutlichen, wie leicht ein falsches Urteil entstehen kann: "Ein Schläger und ein Ball kosten zusammen 1,10 Euro. Der Schläger kostet 1 Euro mehr als der Ball. Wie viel kostet der Ball?" Die spontane Antwort auf diese Frage ist vielfach 10 Cent. Das ist allerdings nicht korrekt, die Antwort muss 5 Cent lauten. Da diese Antwort jedoch in der Regel nicht sofort assoziiert wird, lädt dieses Beispiel sehr gut zu einer Differenzierung von Denkstilen ein: Die Unterscheidung zwischen dem automatisch ablaufenden, intuitiven Denken, von Kahneman auch System 1 genannt3) , und dem rationalen aber dafür bewussten Denken, System 2.
Aufgaben, die nur wenig bewusster Anstrengung bedürfen, werden überwiegend im System 1 bearbeitet. Als klassisches Beispiel gilt die Frage nach dem Produkt aus 2 x 2. Diesem Denkansatz entstammt auch die spontane Antwort 10 Cent. Daneben gibt es aber auch Aufgaben, die offensichtlich nicht automatisch gelöst werden können und ein bewusstes Problemlösen notwendig machen, wie etwa die Frage nach dem Produkt aus 69 x 134. Eben dieses System 2 wird verwendet, um auf die korrekte Lösung von 5 Cent bei der vorigen Frage zu kommen.
Problematisch jedoch ist - und das etwa zeigt das Beispiel mit dem Ball - dass es auch Situationen geben kann, die nach einer bewussten Auseinandersetzung (System 2) verlangen, aber fälschlicherweise mit System 1 automatisch gelöst werden. Hier kann es zu Fehlern und anderen sogenannten Verzerrungen (biases) kommen, die nicht als solche erkannt werden.
Heute sind zahlreiche Einflüsse bekannt, die systematisch dazu beitragen können, dass Urteile verzerrt werden. Beispielsweise beschreibt die Ankerheuristik das Phänomen, dass die Wahrnehmung einer Zahl (relevant oder irrelevant) einen Einfluss auf ein späteres Urteil haben kann. Aber auch die Art und Weise, wie eine Botschaft formuliert wird, kann die Wahrnehmung der Information beeinflussen (Rahmung). Effekte, die vor allem einer fehlerhaften Informationsverarbeitung geschuldet sind, werden auch kognitive Verzerrungen genannt. Um diesen entgegenzuwirken, reichen oft die Kenntnis um diese Einflüsse oder einfache Strategien.
Motivationale Verzerrungen
Problematischer jedoch ist die Gruppe von Verzerrungen, die vor allem durch motivationale Aspekte getrieben wird. Meist ist es das Streben nach einem höheren Selbstwert oder der Schutz des Selbstwertes. Dazu zählt auch die in vielen Publikationen angesprochene Selbstüberschätzung. Der Nobelpreisträger Daniel Kahneman beschreibt Selbstüberschätzung als einflussreichste Verzerrung. Hierunter fällt etwa die falsche Einschätzung der eigenen Leistung oder des eigenen Wissens (etwa Genauigkeit, Aktualität). Sie gilt als eine der am schwersten zu korrigierenden Verzerrungen, da sie die Tendenz dazu hat, resistent zu sein gegenüber Argumenten und Training.
Studien belegen, dass je mehr über psychologische Effekte bekannt ist, desto eher steigt die Wahrscheinlichkeit dafür, dass sie ihren negativen Einfluss verlieren. Bis heute sind einige Strategien bekannt, die dabei helfen, verzerrenden Einflüssen gezielt entgegenzuwirken. Insgesamt lässt sich sagen, dass kognitive Verzerrungen, die einer fehlerhaften Informationsverarbeitung geschuldet sind, vorwiegend leichter überwunden werden können. Hierbei reicht schon oft die Kenntnis um die jeweilige Verzerrung. Bei motivationalen Verzerrungen allerdings muss neben der Kenntnis um den verzerrenden Einfluss zusätzlich die Motivation vorhanden sein, diese zu reduzieren.
Die eigene Meinung hinterfragen
Auch verzerrend wirken kann beispielsweise die Tatsache, dass jemand unbewusst das Schätzergebnis in eine bestimmte Richtung verändern will (zum Beispiel Bestätigung der Entscheidung der eigenen Abteilung). Ohne die entsprechende Sensibilisierung für diese Problematik ist es oftmals eher unwahrscheinlich, dass der Experte seine (versteckte) Motivation hinterfragt. An dieser Stelle kann es hilfreich sein, eine Begründung für die Schätzung dokumentieren zu müssen. Das Gleiche gilt im Besonderen, wenn der "wahre Grund" für ein bestimmtes Schätzergebnis (zum Beispiel Anreize) nicht aufgedeckt werden soll. Insgesamt ist bei motivationalen Verzerrungen wichtig zu wissen, welche Motivatoren bei der jeweiligen Schätzung eine Rolle spielen können. Diese können zahlreich sein: vom persönlichen Interesse daran ein gutes Bild zu hinterlassen bis hin zur Motivation, ein erstrebenswertes Ziel zu erreichen (zum Beispiel eine Zielvereinbarung zu erfüllen).
Die Negativ-Evidenz-Strategie "Überlegen, warum man falsch liegen könnte" ist ein Beispiel, wie die eigene Meinung hinterfragt werden kann. Hierdurch wird nicht nur ein anderer Blickwinkel, sondern auch eine abstraktere Perspektive eingenommen. Beide können dazu beitragen, dominierende Einflüsse auszumachen. Strategien wie diese eignen sich zur Reduktion motivationaler Verzerrungen. So etwa zeigen Studienergebnisse, dass das Aufführen von Gründen, weshalb die präferierte Entscheidung falsch sein könnte, den verzerrenden Einfluss reduziert.
Es sind nur wenige dokumentierte Berichte über Debiasing bekannt, also die kontrollierte Reduktion von Verzerrungen, außerhalb von wissenschaftlichen Laborstudien. Flyvbjerg diskutiert ausführlich Urteilsfehler im Zusammenhang mit Fehlschlägen bei Großprojekten und gibt ein Beispiel für erfolgreiches Debiasing in einer praktischen Entscheidungssituation.4) Ein weiteres Praxisbeispiel wird von McKinsey in einem Interview aufgearbeitet.5) Vor dem Hintergrund der MaRisk-Anforderungen an die kritische Analyse der Risikoquantifizierung beschloss der Deutsche Sparkassen- und Giroverband (DSGV), im Rahmen des Projekts "Grenzen von Verfahren zur Risikoquantifizierung" auch zu untersuchen, ob ein systematischer und strukturierter Ansatz zum Umgang mit kognitiven und motivationalen Verzerrungen bei Expertenurteilen möglich und auch in Banken und Sparkassen anwendbar ist.
Eine Umsetzung für kleinere Institute
Dabei war eine Reihe von Herausforderungen zu meistern:
- Der naheliegende Einsatz von externen Beratern oder Moderatoren, wie er auch im Papier des Baseler Ausschusses für Bankenaufsicht zum Advanced Measurement Approach für operationelle Risiken6) im Zusammenhang mit kognitiven Verzerrungen empfohlen wird, erschien von vornherein nicht praktikabel, da die Schätzungen vor Ort in allen Sparkassen angestellt werden. Notwendig war vielmehr eine standardisierte, leicht ausrollbare Unterstützung für die vielen Experten vor Ort in den Sparkassen.
- Diese sollten nicht nur bei der Identifikation kognitiver und motivationaler Verzerrungen unterstützt werden, sondern sie sollten auch Maßnahmen ergreifen können, wie diese Verzerrungen reduziert werden können (debiasing).
- Die Darstellung sollte weitgehend unabhängig von speziellen Schätzsituationen sein, da Expertenschätzungen in einer Vielzahl von Situationen zum Einsatz kommen und vielleicht das am meisten genutzte Quantifizierungsverfahren überhaupt sind.
- Es konnte keinerlei Vertrautheit mit dem Thema vorausgesetzt werden. Folglich mussten die Adressaten vor der Befassung mit der Schnittstelle von Psychologie und Bankfachlichkeit sensibilisiert und für die Fragestellungen interessiert werden, um Akzeptanz für das Hinterfragen der Expertenschätzungen zu erzielen.
Im Ergebnis wurde ein knapper, aber alle wesentlichen Fragestellungen abdeckender "Leitfaden Expertenschätzung" erstellt, der an alle Sparkassen verteilt wurde. Um für die Problematik zu sensibilisieren, wurden bekannte Beispiele für die Dominanz von System 1 (wie zum Beispiel das beschriebene Schläger-Ball-Problem) so aufbereitet, dass die Leser sie für Selbstversuche nutzen konnten.
Das Projektteam reduzierte anschließend in mehreren Stufen die mehr als hundert bekannten Verzerrungen auf acht eher kognitive und fünf eher motivationale Verzerrungen, die nach seiner Einschätzung im Sparkassenbetrieb am wahrscheinlichsten auftreten. Diese 13 Verzerrungen wurden ausführlich sowohl mit Beispielen aus Wissenschaft und Laborversuchen und mit potenziellen Beispielen aus der Sparkassenpraxis erklärt. Schließlich wird präzise auf die jeweils relevanten Abschnitte eines Kapitels mit Strategien verwiesen, mit denen die jeweiligen Verzerrungen vermindert werden können.
Ein Leitfaden für die Praxis
Ein strukturierter Fragebogen als Diagnose- und Dokumentationstool bildet das Herzstück des Leitfadens. Hier werden an praktische Schätzprozesse angelehnte, generische Fragen gestellt. Einige dieser Fragen zielen auf die Schätzgrößen, die Prozesse und die Beteiligten ab. Andere prüfen direkt Evidenz für das Vorliegen einer der 13 beschriebenen Verzerrungen. Von deren Beschreibung aus wird der Nutzer direkt zu dem Kapitel mit Strategien zur Reduktion der Verzerrungen weitergeleitet. Abschließende Fragen befassen sich mit der gefühlten Qualität der Schätzung und den finalen Ergebnissen nach einer gegebenenfalls durchgeführten "Entzerrung". Eine leere Spalte stellt sicher, dass eine Schätzung sowie alle mit ihrer kritischen Analyse verbundenen Überlegungen unmittelbar in dem Fragebogen dokumentiert werden können.
Ein abschließendes Kapitel gibt Hinweise, wie Schätzungen systematisch plausibilisiert werden können. Die Institute werden eingeladen, Zeitreihen zu ihren Schätzungen aufzubauen, um Vergleiche zwischen Schätzungen und Realisationen durchzuführen. Auch wenn diese nicht die Kriterien an ein formales Backtesting erfüllen, so können doch systematische von unsystematischen Abweichungen unterschieden und daraus Rückschlüsse auf die Qualität der Schätzungen gezogen werden.
Qualifizierte Expertenschätzung
Im Laufe des Projekts wurde auch eine Definition für den in den MaRisk nicht weiter konkretisierten Begriff einer "qualifizierten Expertenschätzung" gefunden. Eine "qualifizierte Expertenschätzung" ist eine Schätzung, die von einem fachlichen Experten für das betroffene Thema durchgeführt wird, der eine Qualifikation im Schätzen inklusive der Verlässlichkeit von Schätzprozessen besitzt. Dazu gehört insbesondere das Wissen um mögliche Fehlerquellen bei Expertenschätzungen und geeigneter Strategien zu deren Reduktion. Genau diese Qualifikation soll der Leitfaden vermitteln.
In der Praxis wird schnell klar, dass durch die systematische kritische Untersuchung von Verzerrungen der unstrukturierte, intuitive Schätzprozess ex post mit einer inneren Struktur und Logik überzogen wird, die in der Zukunft erneute Schätzungen treffsicherer machen sollten. Das Vorgehen bei der kritischen Analyse einer Schätzung nähert sich ein Stück weit dem der Validierung von Modellen an. Konkrete Umsetzungsbespiele wurden berichtet aus der Strukturierung von Szenarioanalysen für operationelle Risiken, aus der Umgestaltung von Prozessen zur Erarbeitung einer Hauszinsmeinung7) , vor allem aber aus dem Bereich der Unternehmensplanung. Dies mag auf den ersten Blick überraschen, da der Projektfokus auf der Risikoquantifizierung lag, doch ist im Bereich der Unternehmensplanung der Unterschied zwischen der mit Daten unterfütterten Vergangenheit und der kaum durch Daten fassbaren Zukunft von besonderer Bedeutung.
Aus der Projektarbeit konnte eine Reihe von Empfehlungen für die Institute abgeleitet werden. Es wird empfohlen, betriebswirtschaftlich oder aufsichtlich wichtige Expertenschätzungen einer kritischen Analyse zu unterziehen, die potenzielle kognitive und motivationale Verzerrungen diagnostiziert und reduziert. Dies ist mit Zeitaufwand verbunden, sodass sich eine Priorisierung von besonders kritischen Schätzungen empfiehlt. Daten, die nach der Schätzung generiert werden, sollten unbedingt gesammelt werden. Sie erlauben einerseits eine Ex-post-Bewertung der Schätzqualität, andererseits stehen mit der Bayesschen Statistik und der Credibility Theory auch Instrumente bereit, die eine systematische Anreicherung von Schätzungen durch Daten ermöglichen, auch wenn die Datenmenge für sich genommen noch lange nicht tragfähig für eine Modellierung ist.
Qualitätssicherungsprozesse für die Ergebnisse
Doch selbst wenn viele Daten vorhanden sind und darauf aufbauend ein Modell genutzt wird, müssen die abschließenden Fragen nach der Einwertung der Modellergebnisse und nach ihrer Relevanz für die Zukunft immer noch von Experten beantwortet werden. Dabei besteht die große Gefahr, dass die Modellergebnisse als Anker für das Expertenurteil wirken. Dies ist bei der Formulierung des Qualitätssicherungsprozesses für die Ergebnisse zu berücksichtigen.
Mit dem Leitfaden Expertenschätzung wurde den Sparkassen eine Unterstützung an die Hand gegeben, mit denen sie Expertenschätzungen kritisch auf kognitive und motivationale Verzerrungen analysieren und erkannte Verzerrungen systematisch reduzieren können. Qualifizierte Expertenschätzungen werden immer die subjektiven Meinungen, aber auch die Fachkompetenz der Schätzenden reflektieren; der Leitfaden leistet jedoch einen Beitrag dazu, dass die Subjektivität nicht zu willkürlichen Schätzungen führt. Schätzungen werden mit validierungsähnlichen Prozessen hinterfragt und abgesichert. Häufig führt die systematische Analyse von Schätzungen zu strukturierten, verzerrungsreduzierenden Schätzprozessen für die Zukunft. Wenn dies sorgfältig gemacht wird, sind keine A-priori-Gründe erkennbar, warum Schätzungen einzelner Institute zwingend durch Modelle abgelöst werden müssten.
Gegen blinde Modellgläubigkeit
Dabei können die Institute den Leitfaden je nach Themenstellung unterschiedlich implementieren. Eine Option besteht darin, ihn allen an einem Schätzprozess Beteiligten zum Selbststudium und zur Sensibilisierung zur Verfügung zu stellen und den Prozess ex post gemeinsam kritisch zu analysieren. Alternativ kann sich ein Moderator zum Beispiel im Rahmen der Unternehmensplanung oder bei den Szenarioworkshops für operationelle Risiken oder Stresstests besonders tief einarbeiten und als "interner Experte" fungieren. Der Einsatz externer Debiasing-Spezialisten sollte damit weitestgehend entbehrlich sein.
Der Leitfaden Expertenschätzung des DSGV leistet zehn Jahre nach der Insolvenz von Lehman Brothers einen wichtigen Beitrag gegen blinde Modellgläubigkeit in der Sparkassen-Finanzgruppe. Er entstand im Rahmen eines Projekts, dessen Hauptzielrichtung die strukturierte Validierung mathematisch-statistischer Risikomodelle war, und erlaubt eine belastbare komplementäre Herangehensweise, die völlig andere Wissensquellen nutzt. Expertenschätzungen können eingesetzt werden, wo Modelle (noch) nicht konstruiert werden können, im Laufe der Modellkonstruktion und parallel zum Modellbetrieb zur Ergänzung und/oder Validierung der Modellergebnisse.
In der Forschung über Entscheidungen unter Unsicherheit wird zwischen einem Ansatz, der auf Fehler und Verzerrungen abstellt, und einem Ansatz, der den Nutzen von Bauchgefühl und Heuristiken betont, unterschieden. Der Leitfaden Expertenschätzung greift vorwiegend den ersten Ansatz auf. Für die Zukunft wäre natürlich auch ein Rückgriff auf die nützlichen Aspekte von Bauchgefühl und der gezielten Anwendung von Heuristiken erstrebenswert.
Inwieweit diese in die Risikoquantifizierung übertragen werden können und welche prozessualen Aspekte des Risikomanagement die Entstehung valider Heuristiken ermöglichen können, bleibt zu untersuchen. Allerdings ist anzunehmen, dass diese Aspekte sehr viel schwerer einer prüferischen Würdigung unterzogen werden können als die Vorgehensweise des hier beschriebenen Leitfadens.
Fußnoten
1) Gigerenzer, G. (2013), Risiko. C. Bertelsmann Verlag
2) Frederick, S. (2005), Cognitive reflection and decision making. Journal of Economic Perspectives, 19(4), 25-42
3) Kahneman, D. (2012), Schnelles Denken, langsames Denken. Siedler Verlag
4) Flyvbjerg, Bent (2013), Quality control and due diligence in project management: Getting decisions right by taking the outside view. International Journal of Project Management, 31 (5). pp. 760-774
5) McKinsey (2017), A case study in combating biases. McKinsey Quarterly, May 2017
6) Baseler Ausschuss für Bankenaufsicht: Operational Risk - Supervisory Guidelines for the Advanced Measurement Approaches. Basel, 2011
7) Voit, Johannes (2015), Schätzungen mit Daten anreichern und verbessern. Betriebswirtschaftliche Blätter online, www.sparkassenzeitung.de/archiv
