Der Split-Test (oder auch bekannt als A/B-Test) ist eine Testmethode zur Bewertung zweier oder mehrerer Varianten eines Systems bzw. eines Newsletters, bei der die Originalversion gegen eine leicht veränderte Version getestet wird.
Der Split-Test steht ab einem Pro-Account zur Verfügung.
Split-Test anlegen
Um einen Split-Test durchzuführen, gehen Sie bitte wie folgt vor:
- Gehen Sie in Ihre Kontaktübersicht und filtern ggf. nach den Kontakten, mit denen Sie testen möchten.
Bitte beachten Sie, dass Sie für einen Split-Test mind. 500 bestätigte Kontakte auswählen müssen.
- Klicken Sie auf “Newsletter Split-Test” und auf “Anwenden”.
- Wählen Sie aus, wann der Split-Test durchgeführt werden soll: Jetzt gleich oder zu einem bestimmten Zeitpunkt.
Varianten anlegen
In diesem Bereich können Sie nun die Verteilung und weitere Einstellungen des Tests bestimmen sowie die unterschiedlichen Varianten anlegen.
Bitte beachten Sie, dass Sie maximal 5 verschiedene Varianten anlegen können.
Voreingestellt ist nur Variante 1 - natürlich brauchen Sie aber mindestens zwei, um den Splittest zu starten. Mit einem Klick auf den grünen Button “Neue Variante”, legen Sie eine weitere an.
Sie können auch die aktuelle Variante klonen, indem Sie auf den blauen Button “Variante klonen” klicken.
Vergeben Sie einen Titel für Ihre Variante, indem Sie auf den Tab kleinen blauen Stift im Tag klicken. Dieser Titel wird nirgends für die Empfänger angezeigt und dient nur Ihnen zur besseren Übersicht. Gerade, wenn Sie auf einen automatisch gespeicherten Entwurf zurückgreifen möchten, bietet es sich an, seiner Variante einen Titel zu vergeben - so wissen Sie sofort, um was für einen Entwurf es sich handelt.
Definieren Sie nun, zu welchem Zeitpunkt diese Variante versendet werden soll, falls Sie unterschiedliche Versandzeitpunkte testen möchten.
Es wird Ihnen angezeigt, wann der Newsletter nach Start des Tests versendet wird! Haben Sie nämlich definiert, dass der Split-Test erst z. B. am nächsten Tag 10 Uhr starten soll, Sie möchten Variante 1 aber 9 Uhr versendet, so wird Variante 1 erst am darauf folgenden Tag um 9 Uhr versendet.
Sollten Sie nicht unterschiedliche Zeitpunkte testen wollen, belassen Sie es bei “Sofort”.
Nun können Sie, wie gewohnt, den E-Mail-Absender bestimmen und einen Betreff für Ihren Newsletter angeben.
Definieren Sie nun unter “E-Mail-Einstellungen”, welchen Austragungs-Text Sie verwenden möchten (Du- oder Sie-Variante). Achtung: Diese Einstellung ist bei den "normalen" E-Mails immer unter dem Editor zu finden, beim Split-Test jedoch hier oben.
Jetzt können Sie den Newsletter im Drag & Drop-Editor gestalten (ein Wechsel zum klassischen Editor ist nicht möglich). Auch das Testen des Newsletters steht Ihnen, wie gewohnt, zur Verfügung.
Haben Sie Ihre erste Variante beendet, klicken Sie auf den Tab “Variante 2” und legen Ihre zweite Alternative an.
Automatisches Zwischenspeichern Ihrer Varianten
Bitte beachten Sie, dass alle 30 Sekunden automatisch gespeichert wird - ein schnelles Hin- und Herklicken zwischen den Varianten mit jeweils minimalen Änderungen an den Varianten ist nicht zu empfehlen, da die Änderungen dann mitunter nicht in der automatischen Speicherung berücksichtigt wird.
Sie finden die zwischengespeicherten Entwürfe unter “Vorlage laden” und dem Reiter “Entwürfe”.
Einstellungen des Split-Tests
Nachdem Sie nun Ihre Varianten angelegt haben, müssen Sie nun noch die Erfolgskriterien und die Verteilung der Varianten bestimmen.
Klicken Sie dafür auf den Tab Einstellungen.
Vergeben Sie dem Split-Test einen Titel, damit Sie auch zu einem späteren Zeitpunkt noch wissen, was Sie testen bzw. getestet haben.
Verteilung (Ratio)
Nun können Sie an dem Schiebereglern ziehen und somit die Verteilung bestimmen. Es können nur bis zu 60 % getestet werden! Die Variante, die besser läuft, wird dann letztendlich an die übrigen 40 % ausgespielt.
Hinweis: Nutzen Sie den Schieberegeler ganz rechts, können Sie ganz einfach eine gleichmäßige Verteilung einstellen. Nutzen Sie die anderen, können Sie die Verteilung individuell gestalten (z. B. bei 3 Varianten 10%, 30 % und 20 %).
Gewinner auswählen
Unter “Wie soll der Gewinner gewählt werden?” haben Sie zwei Optionen zur Verfügung:
Nach einer bestimmten Zeit
Wählen Sie diese Option, müssen Sie noch eine Zeitspanne nach dem Versand der letzten Split-Test-E-Mail definieren. Wie lange soll gewartet werden, bis die Gewinner-Variante an den Rest versendet wird?
Erfolgskriterien
Nun müssen Sie noch auswählen, welches Kriterium für Sie ausschlaggebend ist, um eine Variante als Gewinner zu küren. Ihnen stehen zur Verfügung:
- E-Mail-Link geklickt
- E-Mail geöffnet *
- Webtracking Event
- Tag geändert
*Dies ist mit Vorsicht zu genießen: Öffnungen können niemals genau getrackt werden!
Die Voraussetzung, dass ein System die E-Mail-Öffnung erkennt, ist, dass der Empfänger auch alle Bilder lädt. Nur wenn der Tracking-Pixel geladen wird, kann die Öffnung erkannt werden.
Außerdem werden bei Apple E-Mails von einem Proxy-Server geöffnet, bevor sie überhaupt beim Empfänger landen. Die E-Mails werden alle als geöffnet gewertet, auch wenn der Empfänger sie ungesehen gelöscht hat. Aus diesen Gründen ist diese Kennzahl nur als Richtwert zu verstehen.
Webtracking Event
Klicken Sie dieses Kriterium an, müssen Sie rechts das genaue Event definieren, auf das reagiert werden soll.
Tag(s) geändert
Definieren Sie, ob Sie auf eine Vergabe oder den Entzug eines oder mehrerer Tags reagieren wollen und natürlich auch, auf welche Tags.
Falls mehrere Tags ausgewählt wurden, reicht es aus, einen von ihnen zu ändern, um als Erfolg gewertet zu werden.
Split-Test bearbeiten/löschen
Sollten Sie den Split-Test bearbeiten, pausieren oder löschen wollen, gehen Sie im Menü auf Kontakte und Geplante Abläufe. Hier werden Ihnen die aktuellen Split-Tests aufgeführt. Mit einem Klick auf “Aktionen” stehen Ihnen die Möglichkeiten
- Bearbeiten
- Löschen
- Pausieren und
- Jetzt ausführen
zur Verfügung.
Sollten Sie den Test löschen, ist er nicht mehr unter “Geplante Abläufe” aufgeführt. Unter E-Mails -> Split-Tests finden Sie ihn allerdings noch.
Split-Tests einsehen
Nachdem Sie Ihre(n) Split-Test(s) gestartet haben, können Sie diese natürlich jederzeit einsehen und sich den aktuellen Status ansehen oder die Varianten bearbeiten.
Klicken Sie dafür auf den Menüpunkt “E-Mails” und den Tab “Split-Test”. Hier werden Ihnen nun alle A/B-Tests angezeigt, die Sie durchführen und durchgeführt haben.
In der Tabelle sehen Sie die Nummerierung, den Besitzer, den Titel des Split-Tests, Typ, Status und das Erstellungsdatum.
Sie können zudem aussuchen, ob Sie sich wirklich alle Split-Tests ansehen möchten oder nur geplante, laufende oder abgeschlossene.
Details
Mit einem Klick auf den blauen Button “Details” können Sie eben diese einsehen.
Übersicht
In diesem Tab sehen Sie tabellarisch sämtliche Fakten zu dem Split-Test: Besitzer, Erstellungsdatum, u.v.m.
Zudem wird in der Statistik grafisch dargestellt, welche Variante besser lief.
Unten wird Ihnen noch einmal die Verteilung und die vollständige Auswertung angezeigt. In der Tabelle sehen Sie:
- Hashtag: Varianten
- Prozent: prozentuale Ausspielung
- Pin: Titel
- Kalender: das Datum des letzten Versands
- Papierflieger: die insgesamt versendeten E-Mails der Variante
- Auge: die Öffnungen
- Kette: Link-Klicks
- Pokal: Anzahl der Kontakte, die das Erfolgskriterium erfüllt haben
- Waage: Hier werden die Kontakte nach der Gewichtung dargestellt
Varianten
Mit einem Klick auf den jeweiligen Tab (Variante 1, Variante 2 etc.) sehen Sie die E-Mail-Statistik, die Ihnen von den “normalen” E-Mails bekannt vorkommen sollte.
Wie gewohnt können Sie sich die Kontakte anzeigen lassen, die die E-Mail erhalten, geöffnet und/oder geklickt haben, indem Sie auf den blauen Button klicken.
Im unteren Bereich wird Ihnen die Variante auch angezeigt.
Genutzter Kontakt-Filter
Unter diesem Tab können Sie detailliert den Kontaktfilter einsehen, den Sie für den Split-Test ausgewählt haben. Diesen Filter können Sie mit einem Klick auf den blauen Button erneut benutzen.
Aktion
Mit einem Klick auf den Button “Aktion” können Sie sich alle Kontakte anzeigen lassen, die beim Split-Test involviert waren.