Eine große Herausforderung bei der Planung und Entwicklung kundengerechter Marketingstrategien und Maßnahmen besteht darin, deren Wirkungen richtig prognostizieren zu können. Zur optimalen Ansprache bestehender und potenzieller Kunden und um die Wirkungen optionaler Maßnahmen im direkten Vergleich abzutesten, setzen daher immer mehr große, aber auch kleine Unternehmen experimentelle Designs ein. Oftmals werden diese Experimente mit Befragungen oder Beobachtungen kombiniert.
A/B Testing, auch "Split-Test" genannt, ist eine Experimentalmethode, mit der zwei Versionen eines Stimulus im direkten Vergleich getestet werden, um festzustellen, welcher die "bessere Leistung" erzielt. Die beiden Varianten werden A und B genannt und werden den Nutzern nach dem Zufallsprinzip ausgespielt. In der Regel wird die Originalversion gegen eine leicht veränderte, idealerweise verbesserte Version getestet. Das heißt die Kontrollgruppe erhält beispielsweise ein Mailing, der Testgruppe wird das Mailing in einer anderen Form, zum Beispiel mit einer anderen Formulierung zugeschickt. Als Maß für den Erfolg/für die Conversion kann zum Beispiel die Anzahl der positiven Rückläufe auf die verschiedenen Botschaften herangezogen werden.
Bei Online-Plattformen Teil des Geschäftsalltags
Ein anderes Beispiel für den Einsatz von A/B Testing ist die Website-Gestaltung. Im Rahmen einer Website-Entwicklung können mit A/B Testing unterschiedliche Versionen einer Seite getestet werden. Mit geeigneten Indikatoren, wie zum Beispiel der Anzahl der Klicks, den Registrierungen oder den getätigten Käufen können die Wirkungen in den beiden Gruppen ermittelt werden.
Bei Online-Plattformen, wie Amazon oder booking.com gehört A/B Testing zum Geschäftsalltag, um die Conversion Rate - das Verhältnis aus Visits/Clicks zu dem gewünschten Erfolg (zum Beispiel Abschluss) - zu optimieren. Das Erreichen einer Conversion ist ein komplexer Mechanismus, bei dem zahlreiche Faktoren ins Spiel kommen, wie zum Beispiel die User Experience, die Qualität des Angebots, die Bekanntheit des Online-Shops oder auch die Aktivitäten der Konkurrenz. Das Ziel des A/B Testing ist es, die Faktoren zu identifizieren, die zum Kaufabschluss führen, und jene Faktoren zu minimieren, die den Besucher vom Einkauf im Online-Shop abhalten könnten.
Für unterschiedliche Marketing-Fragestellungen
- A/B Tests dienen aber nicht nur der Untersuchung von Websites, Online-Portalen oder Mailings, sondern können auch für die Analyse diverser anderer relevanter Marketing-Phänomene in der Marketingforschung und Praxis eingesetzt werden. A/B Tests eignen sich ganz generell für die Untersuchung von Ursache-/Wirkungszusammenhängen (wenn ..., dann ...; je ..., desto ...) und können daher zur Überprüfung der Wirksamkeit unterschiedlichster Marketing-Fragestellungen eingesetzt werden. Andere mögliche Marketing-Themen von A/B Testing können sein:
- Welche Produkteigenschaften schätzen Kunden besonders?
- Welcher Preis ist kundenseitig für ein Leistungsangebot angemessen?
- Welche Bilder/Botschaften spiegeln am besten die angestrebte Positionierung eines Unternehmens wieder?
- Wie reagieren Kunden auf Veränderungen im Angebot, zum Beispiel unterschiedliche Produktvarianten oder Rabattaktionen?
Für die zielgruppengerechte Gestaltung des Leistungsangebots ist es von großer Bedeutung, die richtige Entscheidung in Bezug auf jedes kleinste Detail in der Produkt-, Werbe-, Preis- und Vertriebsgestaltung zu treffen. Oftmals bekommt die Zielgruppe bereits vor der Markteinführung Teile des Leistungsangebots zum Testen und Bewerten, damit Unternehmen, basierend auf der Analyse der Urteile der Befragten bezüglich verschiedener Produktvarianten, das am meisten Erfolg versprechende Angebot identifizieren können.
Basierend auf den Ergebnissen dieser Experimente können anschließend die Marketinginstrumente weiterentwickelt werden und für jede Zielgruppe, die am stärksten wirksame Marketingmaßnahme ermittelt werden.
Statistische Zuverlässigkeit als Hürde
Mit A/B Testing können unterschiedliche Varianten verglichen werden und die Ergebnisse inferenzstatistisch abgesichert werden. Zu beachten ist, dass nur die Wirkung einer Variablen getestet werden kann. Werden mehrere Variable gleichzeitig verändert, zum Beispiel die Platzierung eines Callto-Action-Buttons und der im Button stehende Text, kann anschließend nicht festgestellt werden, welche der beiden Änderungen zu dem Ergebnis geführt hat. Auch externe Variablen können die Ergebnisse eines Tests verfälschen, sodass etwaige Nebeneffekte zu vermeiden sind.
Die schwierigste Hürde vor der Testauswertung besteht darin, eine ausreichende statistische Zuverlässigkeit zu erlangen, was üblicherweise bedeutet, dass ein Schwellenwert von 95 Prozent angestrebt wird. In diesem Fall ist die Wahrscheinlichkeit, dass die Unterschiede zwischen den Ergebnissen der Varianten auf dem Zufall beruhen, sehr gering. Bevor der Test eine Zuverlässigkeitsrate von 95 Prozent erreicht hat, sollten keine Entscheidungen getroffen werden. Bei einer niedrigeren Rate ist die Wahrscheinlichkeit, dass die festgestellten Unterschiede auf dem Zufall und nicht auf den getätigten Änderungen beruhen, zu groß.
Erweiterung klassischer Usability-Tests
A/B-Tests sind als Erweiterung klassischer Usability-Tests zu sehen und ermöglichen einen interessanten vertiefenden Einblick in das Nutzerverhalten. Der wesentliche Unterschied zur traditionellen Marketingforschung und Analyse der Daten im Nachhinein besteht in der gezielten Planung und bewussten Kontrolle (das heißt Konstanthaltung) bestimmter Einflussfaktoren, während andere gezielt verändert werden. Feldexperimente haben im Vergleich zu Laborexperimenten den Vorteil, dass sie eine größere Nähe zur tatsächlichen Entscheidungssituation aufweisen.
Die verschiedenen Anwendungsmöglichkeiten von A/B-Tests verfolgen das Ziel, Marketingaktivitäten wie den Online-Auftritt eines Unternehmens, die kommunikative Ansprache, Produktfeatures oder Preisaktionen kundenindividuell zu optimieren. Sie werden genutzt, um für jeden Konsumenten die wirksamste Mischung an Marketingmaßnahmen zu identifizieren sowie die Touchpoints zum Kunden entlang der Customer-Journey wirkungsvoller zu gestalten, um sich dabei nicht auf das Bauchgefühl oder ein planloses Herumprobieren verlassen zu müssen.
Wer regelmäßig seine bestehenden Maßnahmen gegen eine neue Variante testet, kann seinen Marketing-Mix laufend optimieren.
A/B Testing zum Selbstverständnis machen
Die Aussage, keine Marketing-Aktivitäten umzusetzen, die nicht getestet wurden, mag übertrieben klingen. Aber ein kontinuierliches A/B-Testing vor allem budgetstarker Maßnahmen, um empirische Erfahrungen über die Wirkungsmechanismen zu sammeln und die Maßnahmen optimieren zu können, sollte auch in der Finanzdienstleistungsbranche zum Selbstverständnis werden, um seine Kunden begeistern und nachhaltig binden zu können: "Controlled experiments like A/B tests are the de facto standard to make data-driven decisions."
Dr. Ewald Judt ist Honorarprofessor der Wirtschaftsuniversität Wien, ewald.judt[at]wu.ac[dot]at.
Dr. Claudia Klausegger ist Assistenzprofessorin am Institut für Marketing-Management der Wirtschaftsuniversität Wien, claudia.klausegger[at]wu.ac[dot]at.
