Checkliste: Erfolg bei Split-Tests

Dank der Split- oder A/B-Tests können wir einfach ausprobieren, welche Betreffzeile die Empfänger zum Öffnen der Mail bringt, welche Linkauszeichung zu den meisten Klicks führt oder welche Handlungsaufforderung zieht.

1. Erst die Hypothese, dann der Test

Wenn Sie einen Split-Test machen, wenden Sie eine wissenschaftliche Methode an. Sie werden also zum Wissenschaftler. Und gute Wissenschaftler forschen nicht einfach darauf los, sondern sie stellen als erstes Hypothesen auf. Diese testen sie dann in einem Experiment.

Um das Beste herauszuholen aus Ihrem Test gehen Sie auch so vor. Formulieren Sie schriftlich, was Sie überprüfen wollen. Ein Beispiel:

Die Abbildung des Newsletters neben dem Formularfeld zum Eintragen der Mailadresse zeigt dem Besucher, was er bekommt. Dadurch wird die Konversionsrate steigen.

Steigt die Konversionsrate tatsächlich, dann wissen Sie sofort, dass Ihre Hypothese stimmt.

Wenn Sie sich fragen, warum Sie Ihre Hypothese vorher aufschreiben sollten, dann probieren Sie es nur einmal aus, bevor Sie Ihren nächsten Tests starten. Sie werden dann merken, wie oft man sich gar nicht ganz darüber im Klaren ist, was genau man testen möchte und mit welchen Ergebnissen man rechnet.

2. Eins nach dem anderen testen

Testen Sie immer nur eine Sache auf einmal. Vergleichen Sie aktuell zwei Varianten einer Landing Page, dann sollten Sie bei der aktuellen Aussendung Ihres Newsletters nicht testen, welche Betreffzeile besser funktioniert (sofern Sie darin auf diese Landing Page verweisen).

Denn die Effekte, die Sie dann beobachten, können Sie nicht klar zuordnen. Kommen sie daher, dass die Landing Page unterschiedlich aussieht oder daher, dass die Betreffzeile unterschiedlich war?

Ein guter Wissenschaftler variiert immer nur ein Versuchsbedingung, alle anderen bleiben konstant.

3. Alles zur gleichen Zeit testen

Was dagegen unbedingt gleichzeitig ablaufen muss, ist der Test der beiden Varianten selbst. Denn sonst spielen zeitliche Veränderungen mit in Ihren Test - also etwa die Tageszeit, der Wochentag, Ferienzeit, Sendezeit von TV-Programmen und vieles mehr.

4. Immer schön kontrollieren

Die Kontrolle ist am besten immer etwas, was Sie schon kennen. Die A-Variante ist also normalerweise die Version, mit der Sie schon länger arbeiten.

Zwar mag es schneller gehen, wenn Sie zwei neue Varianten gleichzeitig testen. Aber so wissen Sie nie, ob das, was Sie schon haben, nicht vielleicht besser funktioniert.

5. So spät wie möglich messen

Nehmen wir eine Landing Page, auf der Sie neue Abonnenten für Ihren Newsletter gewinnen wollen.

Am einfachsten ist hier, wenn Sie messen, wie viele Besucher ihre Adresse hinterlassen. Das ist also die direkte Konversion der Landing Page vom Besucher zum Abonnenten.

Das ist schon ziemlich gut. Aber letztlich interessanter sind immer Zahlen, die erst später im Prozess anfallen. Zum Beispiel:

• Wie hoch sind Öffnungs- und Klickraten der mit dieser Landing Page gewonnenen Abonnenten?
• Wie viele von ihnen werden vom Newsletter-Empfänger zum Kunden?
• Wie hoch ist der Umsatz, der dadurch zusätzlich entsteht?

Solche Informationen sind schwieriger zu gewinnen, letztlich aber interessanter.

6. Teilnehmer zufällig auswählen

Ein Split-Test, bei dem die Teilnehmer nicht durch einen Zufallsalgorithmus zur A- oder B-Gruppe zugeteilt werden, liefert keine brauchbaren Ergebnisse.

Zu viele Faktoren beeinflussen die Reaktion der Teilnehmer. Eine kurze Auswahl:

• Alter
• Geschlecht
• Tageszeit
• Stimmung
• Ort
• Gerät, das der Teilnehmer nutzt

7. Statistik kennen

Ein gewisses Grundwissen in Statistik ist nötig, um Split-Tests sinnvoll einzusetzen. Haben Sie es nicht, lesen Sie es sich an oder fragen Sie einen Kollegen, der sich auskennt.

Das wichtigste Stichwort ist Signifikanz. Sie sagt Ihnen, ob Ihre Ergebnisse Zufall sind oder nicht.

Und bei einem guten Test legen Sie vorher fest, welches Signifikanz-Niveau Sie erreichen wollen.