Aufsätze

Modellvalidierung im Spannungsfeld von Aufsichtsrecht und Praxis

Quantitative Modelle für die Bewertung von Finanzinstrumenten sind zur Steuerung und für das Berichtswesen von Banken unverzichtbar. Da kein Modell den Markt vollständig beschreiben kann und sich der Markt ständig ändert, ist eine anlassbezogene und regelmäßige Prüfung der Modelle auf Zweckdienlichkeit erforderlich.

Praxiserprobte Prozessorganisation

Die Validierung von Bewertungsverfahren wird in etlichen Veröffentlichungen diskutiert; siehe beispielsweise [1, 2, 3] und die dort genannten Referenzen. Dieser Artikel beschreibt Praxiserfahrungen bei der Verbesserung von Validierungsprozessen für die Bewertung von Finanzinstrumenten im Spannungsfeld zwischen den umfangreichen Anforderungen an die Modellvalidierung und dem mit endlichen Mitteln Machbaren. Neben den methodischen Verfahren wird dabei auch die Prozessorganisation behandelt, deren Anteil am Aufwand der Validierungsprozesse in der Praxis erheblich ist. Die Validierung von Risikomodellen erfordert andere Methoden und eine etwas andere Prozessorganisation und wird hier nicht thematisiert; siehe [1] für einen Überblick.

Bei der Validierung von Bewertungsverfahren sind einige aufsichtsrechtliche Anforderungen zu berücksichtigen. Die wichtigsten geltenden Anforderungen der Bankenaufsicht sind in [4, 5, 6] formuliert. Des Weiteren sind verschiedene Anforderungen der Rechnungslegung für die Modellvalidierung von Relevanz.

Ziel und Umfang: Was soll man validieren? Die Modellvalidierungsprozesse haben die Überprüfung beziehungsweise Abnahme von Bewertungsverfahren, inklusive deren Modellannahmen und Parametrisierungen zum Inhalt. Sie sind essenzieller Bestandteil der IPV-Prozesse (Independent Price Verification) zur Sicherstellung angemessener Bewertungsergebnisse des Finanzinstituts.

Produktbezogene Modellvalidierung

Als Ziel der Modellvalidierung wird hier die Sicherstellung valider handelsunabhängiger Bewertungsergebnisse verstanden, beispielsweise in ökonomischer P&L, Marktgerechtigkeitsprüfung, Marktpreisri-siko-VaR-Berechnung, Stresstesting oder externer Rechnungslegung nach HGB oder IFRS. Bewertungen der Marktbereiche stehen nicht im Fokus.

Die Modellvalidierung ist produktbezogen durchzuführen, das heißt, es wird die Angemessenheit der Bewertung eines klar definierten Finanzinstruments in einer spezifischen Bankanwendung untersucht. Aus Synergiegründen und aufgrund ihrer Relevanz ist es zudem sinnvoll, auch produktübergreifende Grundlagenthemen zu betrachten, wie zum Beispiel das Bootstrapping von Zinskurven, Methoden zur Generierung von Volatilitätsflächen oder Verfahren zur Bestimmung von Credit-Spread-Kurven.

Es ist empfehlenswert, im Modellvalidierungsprozess nicht nur Handelsgeschäft, sondern auch Bewertungsverfahren für das Kreditgeschäft zu berücksichtigen. Die Modellvalidierung von Kreditprodukten nimmt nicht zuletzt mit Einführung der neuen IFRS-Standards (IFRS 9, IFRS 13) an Bedeutung zu. Dabei steht beispielsweise die adäquate Wahl der Diskontkurven bei der Bewertung von Darlehen und Kreditzusagen oder die Modellierung von Nebenabreden im externen Rechnungswesen und Risikocontrolling im Fokus. Es kann hier sinnvoll sein, die Granularität der zu validierenden Objekte gröber als im Handelsgeschäft zu wählen und Bündel von aus Bewertungssicht ähnlichen Produkten als Validierungsobjekte zu definieren.

Modellvalidierungsprozesse müssen zumindest valide handelsunabhängige Barwerte sicherstellen. Zudem kann die Prüfung weiterer Kennzahlen wie zum Beispiel Sensitivitäten sinnvoll oder notwendig sein. Die explizite Validierung empfiehlt sich insbesondere dann, wenn die Risikorechnung auf Sensitivitätennäherungen basiert, da durch eine Validierung von Barwerten die Angemessenheit von Sensitivitäten nicht immer sichergestellt werden kann. Eine Validierung von Sensitivitäten kann allerdings erheblich aufwendiger sein als die Validierung von Barwerten. Gegebenenfalls ist abzuwägen, ob Sensitivitäten effektiver im Rahmen der Bewertungsmodellvalidierung oder der Validierungs- und Plausibilisierungsprozesse für das Risikomodell zu prüfen sind.

Nutzen für die externe Rechnungslegung

Zusätzlich hat es sich bewährt, im Validierungsprozess weitere Informationen zu bestimmen, beispielsweise Modellreserven beziehungsweise Bewertungsanpassungen nach [4, 5] oder Angaben für die externe Rechnungslegung: Im Rahmen der Bestimmung eines Fair Values nach IFRS ist zu prüfen, ob ein Modellpreis durch nachgelagerte Anpassungen (sogenannte Fair Value Adjustments) modifiziert werden muss, vergleiche [7]. Zudem kann der Modellvalidierungsprozess bei der Einordnung von Bewertungsparametern in die Level der Fair-Value-Hierarchie nach IFRS 7 beziehungsweise IFRS 13, der Einschätzung der Signifikanz des Einflusses von unbeobachtbaren (das heißt Level 3) Parametern und der Erstellung der hierdurch gegebenenfalls erforderlichen Angaben im Anhang zum Geschäftsbericht (zum Beispiel den qualitativen und quantitativen Angaben zu Bewertungsunsicherheiten nach IFRS 13.92 [h]) unterstützen.

Trigger: Wann soll man validieren? Es sind Prozesse erforderlich (im Weiteren "Trigger" genannt), durch welche bei Bedarf Validierungsmaßnahmen veranlasst werden [6]. Hierdurch lässt sich die Frequenz, aber auch die Tiefe der Validierungen bedarfsbedingt effizient steuern. Folgende Trigger haben sich bewährt:

Neuprodukteinführungen: Unverzichtbar ist eine Modellvalidierung bei der Einführung neuer Produkte.

Zeitbezogene Trigger: Aufgrund der sich ständig ändernden Marktbedingungen müssen die Finanzprodukte regelmäßig erneut validiert werden. Dies wird auch in [4] gefordert. Dazu müssen Wiedervorlageprozesse aufgesetzt werden, deren Basis ein nach Bewertungskriterien differenzierter Katalog der zugelassenen beziehungsweise bestandstragenden Finanzprodukte sein sollte.

Preisabweichungen: Meist sind verlässliche externe Preisquellen für den überwiegenden Teil der Geschäfte im Bestand einer Bank nicht verfügbar. Als praktikabel hat sich die systematische Überwachung von Kontrahenten-Mismatches im Collateral Management erwiesen. Auch die systematische Sammlung und assetklassenbezogene Analyse von Preisabweichungen bei Abschluss oder Glattstellung von Geschäften ist praktikabel und ermöglicht den Vergleich der eingesetzten Bewertungsverfahren mit denen der Kontrahenten anhand von Transaktionspreisen.

Änderungsprozesse: Prinzipiell sollte auch außerhalb von Neuprodukteinführungen bei jeder Änderung von Verfahren, Prozessen oder Systemen mit potenziellem Einfluss auf Barwerte der Bedarf für eine Validierungsmaßnahme geprüft werden. Aufgrund der vielen Abhängigkeiten im Bewertungsprozess (beispielsweise von Markt- oder Stammdaten, Produktabbildungen oder Systemparametrisierungen) ist dies aber nur mit sehr hohem Aufwand zu realisieren. Wichtig ist die Durchführung von Validierungsmaßnahmen bei wesentlichen Veränderungen von Produktabbildungen oder-bewertungen, beispielsweise bei Migrationen von Produkten zwischen IT-Systemen. Positive Erfahrungen wurden damit gemacht, in den Prozessen zum Management neuer IT-Anforderungen Abstimmungen mit der Modellvalidierungsgruppe zu integrieren, um so gegebenenfalls erforderlichen Validierungsaufwand bereits bei der Planung von Änderungen einbringen zu können.

Parameterüberwachungen: Hilfreich zur Auslösung von Validierungsmaßnahmen hat sich die Überwachung von Parametern und Marktdaten erwiesen, die gegebenenfalls auch dezentral im Institut erfolgen kann. Beispielhaft seien Prozesse genannt, die überwachen, ob in Bewertungsmodellen getroffene Annahmen an Marktdaten erfüllt sind - wie etwa Nichtnegativität von Zinsen - oder dass Kalibrierungen und Modellparameter im Zeitablauf stabil sind - wie SABR Parameter oder implizite Korrelationen bei CMS-Produkten.

Weitere Trigger für Validierungsmaßnahmen können sich aus verschiedenen Prozessen ergeben, wie der täglichen Analyse der Unexplained P &L, von Ausreißeranalysen im Backtesting, aus Marktgerechtigkeitsprüfungen oder aus einem regelmäßigen Austausch mit den Marktbereichen.

Validierungstätigkeiten: Wie soll man validieren? Je nach Validierungsanlass und bestehenden Vorarbeiten wird die Validierung eines Produktes einen Teil der folgenden Schritte umfassen:

1. Produktdefinition: Wichtig ist eine ausreichende Differenzierung des Kataloges zugelassener Produkte nach bewertungsrelevanten Aspekten. Es muss klar entscheidbar sein, welche bewertungsrelevanten Merkmale zugelassen sind (zum Beispiel Kündigungsrechte, Quanto-Features, Währungen). Andernfalls sollte der erste Schritt der Validierungsmaßnahmen eine Präzisierung der Zulassungsinformationen sein.

2. Produktabbildung und Lieferstrecken: Die Produktabbildung in den Systemen, in denen die zu überprüfenden Kennzahlen bestimmt werden, sowie die relevanten Lieferstrecken bis zur Kennzahlverwendung müssen analysiert werden. Je nach technischen Gegebenheiten kann dieser Punkt, insbesondere die Analyse der Lieferstrecken, erheblichen Aufwand bedeuten. Für die späteren Validierungsschritte werden die nachfolgenden Informationen benötigt:

- Dokumentation von Erfassungsvorschriften, Produktabbildung und Lifecycle Events,

- Dokumentation der Markdatenzuordnung,

- Dokumentation der Bewertungsverfahren, gegebenenfalls vom Systemhersteller, -Dokumentation der Lieferstrecken.

3. Beurteilung der Angemessenheit der

Modellwahl und der Marktdatenzuordnung: Diesbezüglich seien hier nur kurz die wichtigsten Fragen genannt:

- Bilden Produktabbildung, Bewertungsmodell und zugeordnete Marktdaten die preisbeeinflussenden Faktoren im Lebenszyklus des Produktes angemessen ab? Ist eine etwaige Vernachlässigung von Risikotreibern angemessen?

- Sind Abweichungen zu den Modellen anderer Marktteilnehmer zu erwarten?

Auch wenn für viele Produkte bekannt ist (beispielsweise aus Veröffentlichungen oder Konferenzen), welche Modelle aktuell "Marktstandard" sind, lassen sich Belege oft nur durch die - im Rahmen der Triggerprozesse beschriebenen - systematische Auswertung der verfügbaren Informationsquellen (wie Konsenspreise, Collateral Management) finden.

- Erklären kalibrierte Modellparameter das Marktgeschehen oder schwanken sie ohne erkennbare Ursache stark? Welche Modellparameter lassen sich nicht mit Hilfe beobachtbarer Marktdaten festlegen? Wird die mit diesen "unbeobachtbaren" Parametern verbundene Unsicherheit angemessen bestimmt und (abhängig von der jeweiligen Kennzahl) berücksichtigt? - Sind weiterführende Analysen wie ein Backtesting des Modells, Hedging Simulationen oder eine gezielte Analyse der Stabilität von Modellparametern erforderlich?

4. Prüfung der Modellimplementierung: Hier sind oft Kompromisse zwischen der angestrebten Zuverlässigkeit der Prüfung und dem leistbaren Aufwand erforderlich.

Mit moderatem Aufwand kann die Modellimplementierung qualitativ plausibilisiert werden, beispielsweise indem die Abhängigkeit der Bewertungsergebnisse von Geschäftsparametern, Marktdaten oder anderen Bewertungsparametern betrachtet wird. Ein zuverlässiges, aber meist aufwendiges Verfahren zur Prüfung von Modellimplementierungen ist der Vergleich von Bewertungsergebnissen für eine aussagekräftige Menge von Testgeschäften mit einer unabhängigen Preisquelle; darauf wird in dem Textkasten "Abgleich mit Referenzpreisen" ausführlicher eingegangen.

5. Beurteilung der Validierungsergebnisse: Wichtig bei der Beurteilung der Ergebnisse sind neben im Vorfeld festzulegenden Kriterien oder Toleranzen für eine erfolgreiche Validierung insbesondere die Durchführung von Wesentlichkeitsanalysen für identifizierte Auffälligkeiten. Die Bestimmung des von einer Bewertungsschwäche betroffenen Bestandes oder der Auswirkungen auf P&L oder Risiko kann abhängig von den technischen Gegebenheiten mit hohem Aufwand verbunden sein - nicht zuletzt, weil sich die Kriterien für "wesentliche" Auffälligkeiten bei P&L, Risiko und anderen Bankanwendungen stark unterscheiden können. Es empfiehlt sich, hierfür gegebenenfalls entsprechende Verfahren und technische Ad-hoc-Abfragemöglichkeiten zu schaffen.

6. Festlegung von Maßnahmen: Abhängig von der Beurteilung der Validierungsergebnisse kann die Einleitung von Maßnahmen erforderlich sein. Idealerweise sollte eine Korrektur der Bewertungsschwäche erfolgen. Diese kann in der Praxis jedoch lange dauern oder unwirtschaftlich sein. In diesem Fall sind Maßnahmen zur Begrenzung des Einflusses der Bewertungsschwäche erforderlich, beispielsweise Überwachungsprozesse für die verursachten Auswirkungen, die Bildung von Modellreserven oder die Auferlegung von Handelsbeschränkungen.

7. Dokumentation und Kommunikation: Eine durchgängige, standardisierte Dokumentation der Validierungsschritte und der getroffenen Maßnahmen ist sowohl für zukünftige Validierungen wichtig als auch für die Argumentation gegenüber Prüfern. Prozessual standardisiert sollte auch die Adressierung der Ergebnisse an die betroffenen Bankanwendungen erfolgen, etwa die Bereitstellungen von Informationen zu Fair Value Adjustments an die externe Rechnungslegung. Wichtig ist zudem eine Darstellung relevanter Validierungsergebnisse in verschiedenen Ebenen des Management-Reportings, bis hinauf zur Geschäftsleitung.

Organisation der Validierung

Von entscheidender Bedeutung für die Funktionsfähigkeit der Modellvalidierungsprozesse ist die organisatorische Integration in die Gesamtbank. Grundsätzlich sind mehrere Organisationsformen denkbar - aufsichtsrechtlich ist diesbezüglich die Unabhängigkeit von der Handelsabteilung und vom Entwicklungsprozess vorgeschrieben. Für ein erfolgreiches Gesamtergebnis ist in der Praxis vor allem eine eindeutige und verbindliche Festlegung von Verantwortungen in den Bewertungs- und Validierungsprozessen entscheidend. Hierbei sind unter anderem folgende Entscheidungen zu treffen:

- Portfolio- beziehungsweise produktspezifische Aufteilung der Verantwortungen oder gesamtheitliche und produktübergreifende Bündelung (zum Beispiel Handelsgeschäft/Kreditgeschäft).

- Bewertungsverantwortung pro Bankfunktion oder zentrale Bewertungshoheit für mehrere Bankfunktionen (zum Beispiel für Marktpreisrisiko, Ergebnisermittlung und Bilanzierung HGB/IFRS).

- Organisatorische Trennung der konzeptionellen, methodischen Verantwortung von den operativen, eher bestandsbezogenen Funktionen (beispielsweise zur Preisbestimmung oder Festlegung von Modellparametern für individuelle Geschäfte) oder Bündelung aller bewertungsrelevanten Tätigkeiten.

Zentrale Bewertungshoheit und Verantwortung

Die optimalen Entscheidungen hängen unter anderem von der Größe und der organisatorischen Gliederung des Instituts ab. Die Erfahrungen haben gezeigt, dass eine - zumindest auf methodischer Ebene möglichst produkt- und bankfunktionsübergreifende zentrale handelsunabhängige Bewertungshoheit und Validierungsverantwortung aus einem Bereich heraus eine effiziente Prozessgestaltung ermöglicht. Gründe hierfür sind zum Beispiel:

- die Gewährleistung konsistenter und robuster Steuerungsimpulse durch einheitliche Bewertungsstandards, die Nutzung von Synergien und Aufwandsreduktion durch einheitliche Methodiken,

- die Vereinbarkeit von Anforderungen unterschiedlicher Bankfunktionen beziehungsweise Regularien und Standards,

- eine Erleichterung bei der Entwicklung einer homogenen Bewertungsarchitektur (zum Beispiel zentraler Bewertungsserver) und

- die Verhinderung von bankinterner oder produktspezifischer Bewertungsarbitrage durch Ausnutzen uneinheitlicher Bewertungsansätze (zum Beispiel unterschiedliche Bewertung von Finanzgarantien nach IFRS und aus Sicht des Risikocontrollings; zum Beispiel unterschiedliche Anforderungen an die Bewertung von Handelsprodukten im Vergleich zu Kreditprodukten).

Voraussetzungen für die zuverlässige Bewertung und für effektive Modellvalidierungsprozesse sind die eindeutige Abgrenzung von Verantwortungen und die klare Definition von Schnittstellen in den Bewertungsprozessen und IT-Systemen. Insbesondere betrifft dies beispielsweise die Geschäftserfassung und-kontrolle, die Markt- und Stammdatenbereitstellung, die Bewertungsparametrisierung von IT-Systemen und Lieferstrecken.

Entscheidend für effektive Bewertungs- und Validierungsprozesse ist dabei, dass die für die Validierung verantwortliche Stelle ihre Aufgaben im Validierungs- und Bewertungsprozess abgrenzt, klare Anforderungen an die für Bewertungsaspekte verantwortlichen Stellen formuliert und Validierungsunterstützung von anderen Stellen einfordert, etwa hinsichtlich Qualitätsansprüchen an Marktdaten oder Geschäftsdaten. Essenziell ist des Weiteren eine konstruktive Zusammenarbeit zwischen Modellentwicklern, Modellumsetzern und Modellvalidierern.

Schlüsselfaktoren und Fazit

Trotz der zwingenden aufsichtsrechtlichen Vorgaben verbleibt ein hoher Grad an Flexibilität für das Institut, dessen Ausgestaltung darüber entscheidet, ob in dem Spannungsfeld aus Anforderungen und verfügbaren Ressourcen die Modellvalidierungsprozesse optimal an die Bedürfnisse des Institutes angepasst werden können. Die Praxiserfahrung hat gezeigt, dass insbesondere folgende der in diesem Artikel diskutierten Aspekte Schlüsselfaktoren für den Erfolg und die Effizienz der Modellvalidierungsprozesse sind:

- Klar definierter und ausreichend nach Bewertungsaspekten differenzierter Produktbegriff als Basis für die Steuerung der Bewertungs- und Validierungsprozesse.

- Klare Definition von Verantwortungen und Schnittstellen in den Bewertungsprozessen und Durchsetzung von Anforderungen bei den verantwortlichen Stellen.

- An die Geschäftsaktivitäten des jeweiligen Institutes angepasstes Netz von Triggern zur Auslösung von Modellvalidierungen. Des Weiteren haben sich in der Praxis folgende Rahmenbedingungen bewährt:

- Produkt- und bankfunktionsübergreifende Bündelung der handelsunabhängigen Bewertungshoheit bei einer Stelle, welche auch die Validierungsprozesse verantwortet.

- Verfügbarkeit einer Infrastruktur für die Modellvalidierung, inklusive einer unabhängigen Referenzbewertungsbibliothek sowie stabiler und wiederverwendbarer Testumgebungen.

Die Berücksichtigung dieser Schlüsselfaktoren schafft die Basis für einen fokussierten und effizienten Ressourceneinsatz. Dies wiederum ist eine entscheidende Voraussetzung für die Erfüllung der hohen Anforderungen an den Bewertungsprozess und somit für die Meisterung zukünftiger Herausforderungen.

Literatur/Fußnoten

[1] Meyer, C. & Quell, P., 2011, Risk Model Validation, Risk Books.

[2] Rebonato, R., 2003, Theory and Practice of Model Risk Management, in Field, P. (Hrsg.), Modern Risk Management: A History, Risk Books.

[3] Derman, E., 1996, Model Risk, Goldman Sachs Quantitative Strategies Research Notes.

[4] BaFin, 2011, Rundschreiben 13/2011 (BA) - Bewertung von Positionen des Handelsbuchs.

[5] Basel Committee on Banking Supervision, 2010, Revisions to the Basel II market risk framework.

[6] Basel Committee on Banking Supervision, 2009, Supervisory guidance for assessing banks' financial instrument fair value practices.

[7] Jureit, J., Christ, T. & Wächter, H. P., 2012, Modellrisiko-Adjustments nach IFRS 13, in Vorbereitung.

Noch keine Bewertungen vorhanden


X