So funktionierts: Erfolgreiche Split-Tests für kleine Newsletter - und für große
Split-Tests empfehlen wir 
immer wieder. Denn wenig kann Ihre Newsletter so stark verbessern wie Informationen darüber, was bei Ihren Abonnenten ankommt und was nicht.
Ein Haken dabei aber ist: Die Statistik kann einen hier ganz schön ärgern. Denn Ergebnisse bekommt man immer, nur leider sind sie oft nicht signifikant. Das heißt, Sie können dann nicht sicher sein, dass der beobachtete Unterschied tatsächlich an dem liegt, was Sie in den beiden getesteten Versionen geändert haben.
Jeder mit ein bisschen Grundwissen an Statistik weiß: Je größer die Stichprobe, desto eher bekommen Sie signifikante Ergebnisse. Und doch müssen Sie nicht auf Split-Tests verzichten, wenn Ihre Empfängerliste eher klein ist. Sie müssen nur ein paar Dinge beachten.
Und das ist auch für all diejenigen interessant, die zwar eine große Empfängerliste haben, aber entweder nicht mit allen Nutzern testen wollen oder sehr schnell Ergebnisse brauchen.
2 Versionen sind genug
Testen Sie immer nur zwei Varianten. Je mehr Varianten Sie auf einmal untersuchen, desto mehr Test-Teilnehmer brauchen Sie, um signifikante Ergebnisse zu bekommen.Stärkere Kontraste
[two_third]Je größer die Unterschiede zwischen Ihren Varianten sind, desto kleiner kann Ihre Stichprobe sein. Testen Sie also Varianten, die sich stark unterscheiden. Testen Sie zuerst das, von dem Sie glauben, dass es den größten Effekt hat.Probieren Sie also beispielsweise nicht, ob ein einzelnes geändertes Wort in der Betreffzeile einen Effekt hat. Testen Sie besser gleich zwei ganz unterschiedliche Ansprachen der Empfänger.[/two_third]
Also nicht
"Sonderangebote im Bereich Damenmode" vs. "Aktuelle Angebote im Bereich Damenmode"
Sondern eher etwas wie
"Sonderangebote im Bereich Damenmode" vs. "Jetzt zuschlagen: Top-Damenmode-Schnäppchen!"
Testen Sie mit allen Nutzern
Wer große Newsletter-Empfängerlisten hat, der kann mit einem Teil der Empfänger einen vorab Split-Test durchführen. So findet man heraus, was besser funktioniert und kann den restlichen Empfängern dann die Gewinner-Variante schicken.
Doch bei kleinen Newslettern kommt das nicht in Frage. Testen Sie hier mit allen Empfängern, ziehen Sie Ihre Schlüsse daraus und optimieren Sie dann die zukünftigen Aussendungen.
Nacheinander testen
Der Vollständigkeit halber sei dieser Tipp mit aufgenommen: Sie können statt parallel auch sequenziell testen.
Üblicherweise testet man in Split-Tests gleichzeitig. Das hat den großen Vorteil, dass sich die Einflüsse von Tageszeit, Wochentag, Wetter etc. bei den Empfängern beider Varianten sich ausgleichen.
In Ausnahmefällen kann man davon abweichen und erst die Variante A und dann beim nächsten Mal die Variante B verschicken. Damit hat man für jede Variante doppelt so viele Teilnehmer. Doch für eine saubere statistische Auswertung eignen sich solche Tests nicht. Aber ein Gefühl dafür, was besser funktioniert, können Sie damit schon bekommen.
Tiefere Analyse
Beim Testen sind Sie nicht beschränkt auf Öffnungen und Klicks.
Sie können auch messen, was die Nutzer nach dem Klick getan haben. Wie viele Seiten haben sie danach besucht? Wie lange waren sie auf der Site? Haben sie wohlmöglich sogar etwas gekauft?
Mehr Risiko
Hundertprozentige Sicherheit gibt es in der Statistik selten. Auch bei Split-Tests legen Sie fest, wie sicher Sie sich sein wollen, dass das gemessene Ergebnis nicht nur ein Zufallseffekt ist. Normalerweise strebt man 95 Prozent an (man spricht vom Konfidenzniveau). Das bedeutet, dass ein Restrisiko von 5 Prozent bleibt, dass das Ergebnis nur durch Zufall entstanden ist. Dass also beispielsweise eine der zwei Betreffzeilen, die Sie ausprobiert haben, nicht deshalb zu einer höheren Öffnungsrate geführt hat, weil sie besser ist - sondern lediglich weil zufällig mehr Empfänger diese Mail geöffnet haben.
Wenn Sie nur wenige Empfänger haben, dann können Sie das Konfidenzniveau also absenken, etwa auf 90 oder gar 80 Prozent. Damit laufen Sie eine etwas größere Gefahr, dass Sie die falschen Schlüsse ziehen und etwa eine Betreffzeile für besser halten, obwohl sie es gar nicht ist. Doch viel schlechter wird sie zumindest nicht sein, denn das hätten Sie an den Ergebnissen gesehen. Im schlimmsten Fall ist sie normalerweise also lediglich nicht besser.
