Der Split-Test (oder auch bekannt als A/B-Test) ist eine Testmethode zur Bewertung zweier oder mehrerer Varianten eines Systems bzw. eines Newsletters, bei der die Originalversion gegen eine leicht veränderte Version getestet wird.
Der Split-Test steht ab einem Pro-Account zur Verfügung.
Split-Test anlegen
Um einen Split-Test durchzuführen, gehe bitte wie folgt vor:
- Gehe in deine Kontaktübersicht und filtere ggf. nach den Kontakten, mit denen du testen möchtest.
Bitte beachte, dass du für einen Split-Test mind. 500 bestätigte Kontakte auswählen musst.
- Klicke auf “Newsletter Split-Test” und auf “Anwenden”.
- Wähle aus, wann der Split-Test durchgeführt werden soll: Jetzt gleich oder zu einem bestimmten Zeitpunkt.
Varianten anlegen
In diesem Bereich kannst du nun die Verteilung und weitere Einstellungen des Tests bestimmen sowie die unterschiedlichen Varianten anlegen.
Bitte beachte, dass du maximal 5 verschiedene Varianten anlegen kannst.
Voreingestellt ist nur Variante 1 - natürlich brauchst du aber mindestens zwei, um den Splittest zu starten. Mit einem Klick auf den grünen Button “Neue Variante”, legst du eine weitere an.
Du kannst auch die aktuelle Variante klonen, indem du auf den blauen Button “Variante klonen” klickst.
Vergib einen Titel für deine Variante, indem du auf den kleinen blauen Stift im Tab klickst. Dieser Titel wird nirgends für die Empfänger angezeigt und dient nur dir zur besseren Übersicht. Gerade, wenn du auf einen automatisch gespeicherten Entwurf zurückgreifen möchtest, bietet es sich an, seiner Variante einen Titel zu vergeben - so weißt du sofort, um was für einen Entwurf es sich handelt.
Definiere nun, zu welchem Zeitpunkt diese Variante versendet werden soll, falls du unterschiedliche Versandzeitpunkte testen möchtest.
Es wird dir angezeigt, wann der Newsletter nach Start des Tests versendet wird! Hast du nämlich definiert, dass der Split-Test erst z. B. am nächsten Tag 10 Uhr starten soll, du möchtest Variante 1 aber 9 Uhr versendet, so wird Variante 1 erst am darauf folgenden Tag um 9 Uhr versendet.
Solltest du nicht unterschiedliche Zeitpunkte testen wollen, belasse es bei “Sofort”.
Nun kannst du, wie gewohnt, den E-Mail-Absender bestimmen und einen Betreff für deinen Newsletter angeben.
Definiere nun unter “E-Mail-Einstellungen”, welchen Austragungs-Text du verwenden möchtest (Du- oder Sie-Variante). Achtung: Diese Einstellung ist bei den "normalen" E-Mails immer unter dem Editor zu finden, beim Split-Test jedoch hier oben.
Jetzt kannst du den Newsletter im Drag & Drop-Editor gestalten (ein Wechsel zum klassischen Editor ist nicht möglich). Auch das Testen des Newsletters steht dir, wie gewohnt, zur Verfügung.
Hast du deine erste Variante beendet, klicke auf den Tab “Variante 2” und legen deine zweite Alternative an.
Automatisches Zwischenspeichern der Varianten
Bitte beachte, dass alle 30 Sekunden automatisch gespeichert wird - ein schnelles Hin- und Herklicken zwischen den Varianten mit jeweils minimalen Änderungen an den Varianten ist nicht zu empfehlen, da die Änderungen dann mitunter nicht in der automatischen Speicherung berücksichtigt wird.
Du findest die zwischengespeicherten Entwürfe unter “Vorlage laden” und dem Reiter “Entwürfe”.
Einstellungen des Split-Tests
Nachdem du nun deine Varianten angelegt hast, musst du nun noch die Erfolgskriterien und die Verteilung der Varianten bestimmen.
Klicke dafür auf den Tab Einstellungen.
Vergib dem Split-Test einen Titel, damit du auch zu einem späteren Zeitpunkt noch weißt, was du testest bzw. getestet hast.
Verteilung (Ratio)
Nun kannst du an dem Schiebereglern ziehen und somit die Verteilung bestimmen. Es können nur bis zu 60 % getestet werden! Die Variante, die besser läuft, wird dann letztendlich an die übrigen 40 % ausgespielt.
Hinweis: Nutzt du den Schieberegeler ganz rechts, kannst du ganz einfach eine gleichmäßige Verteilung einstellen. Nutzt du die anderen, kannst du die Verteilung individuell gestalten (z. B. bei 3 Varianten 10%, 30 % und 20 %).
Gewinner auswählen
Unter “Wie soll der Gewinner gewählt werden?” hast du zwei Optionen zur Verfügung:
Nach einer bestimmten Zeit
Wähle diese Option, musst du noch eine Zeitspanne nach dem Versand der letzten Split-Test-E-Mail definieren. Wie lange soll gewartet werden, bis die Gewinner-Variante an den Rest versendet wird?
Erfolgskriterien
Nun musst du noch auswählen, welches Kriterium für dich ausschlaggebend ist, um eine Variante als Gewinner zu küren. Dir stehen zur Verfügung:
- E-Mail-Link geklickt
- E-Mail geöffnet *
- Webtracking Event
- Tag geändert
*Dies ist mit Vorsicht zu genießen: Öffnungen können niemals genau getrackt werden!
Die Voraussetzung, dass ein System die E-Mail-Öffnung erkennt, ist, dass der Empfänger auch alle Bilder lädt. Nur wenn der Tracking-Pixel geladen wird, kann die Öffnung erkannt werden.
Außerdem werden bei Apple E-Mails von einem Proxy-Server geöffnet, bevor sie überhaupt beim Empfänger landen. Die E-Mails werden alle als geöffnet gewertet, auch wenn der Empfänger sie ungesehen gelöscht hat. Aus diesen Gründen ist diese Kennzahl nur als Richtwert zu verstehen.
Webtracking Event
Klickst du dieses Kriterium an, musst du rechts das genaue Event definieren, auf das reagiert werden soll.
Tag(s) geändert
Definiere, ob du auf eine Vergabe oder den Entzug eines oder mehrerer Tags reagieren willst und natürlich auch, auf welche Tags.
Falls mehrere Tags ausgewählt wurden, reicht es aus, einen von ihnen zu ändern, um als Erfolg gewertet zu werden.
Split-Test bearbeiten/löschen
Solltest du den Split-Test bearbeiten, pausieren oder löschen wollen, gehe im Menü auf Kontakte und Geplante Abläufe. Hier werden dir die aktuellen Split-Tests aufgeführt. Mit einem Klick auf “Aktionen” stehen dir die Möglichkeiten
- Bearbeiten
- Löschen
- Pausieren und
- Jetzt ausführen
zur Verfügung.
Solltest du den Test löschen, ist er nicht mehr unter “Geplante Abläufe” aufgeführt. Unter E-Mails -> Split-Tests findest du ihn allerdings noch.
Split-Tests einsehen
Nachdem du deine(n) Split-Test(s) gestartet hast, kannst du diese natürlich jederzeit einsehen und dir den aktuellen Status ansehen oder die Varianten bearbeiten.
Klicke dafür auf den Menüpunkt “E-Mails” und den Tab “Split-Test”. Hier werden dir nun alle A/B-Tests angezeigt, die du durchführst und durchgeführt hast.
In der Tabelle siehst du die Nummerierung, den Besitzer, den Titel des Split-Tests, Typ, Status und das Erstellungsdatum.
Du kannst zudem aussuchen, ob du dir wirklich alle Split-Tests ansehen möchtest oder nur geplante, laufende oder abgeschlossene.
Details
Mit einem Klick auf den blauen Button “Details” kannst du eben diese einsehen.
Übersicht
In diesem Tab siehst du tabellarisch sämtliche Fakten zu dem Split-Test: Besitzer, Erstellungsdatum, u.v.m.
Zudem wird in der Statistik grafisch dargestellt, welche Variante besser lief.
Unten wird dir noch einmal die Verteilung und die vollständige Auswertung angezeigt. In der Tabelle siehst du:
- Hashtag: Varianten
- Prozent: prozentuale Ausspielung
- Pin: Titel
- Kalender: das Datum des letzten Versands
- Papierflieger: die insgesamt versendeten E-Mails der Variante
- Auge: die Öffnungen
- Kette: Link-Klicks
- Pokal: Anzahl der Kontakte, die das Erfolgskriterium erfüllt haben
- Waage: Hier werden die Kontakte nach der Gewichtung dargestellt
Varianten
Mit einem Klick auf den jeweiligen Tab (Variante 1, Variante 2 etc.) siehst du die E-Mail-Statistik, die dir von den “normalen” E-Mails bekannt vorkommen sollte.
Wie gewohnt kannst du dir die Kontakte anzeigen lassen, die die E-Mail erhalten, geöffnet und/oder geklickt haben, indem du auf den blauen Button klickst.
Im unteren Bereich wird dir die Variante auch angezeigt.
Genutzter Kontakt-Filter
Unter diesem Tab kannst du detailliert den Kontaktfilter einsehen, den du für den Split-Test ausgewählt hast. Diesen Filter kannst du mit einem Klick auf den blauen Button erneut benutzen.
Aktion
Mit einem Klick auf den Button “Aktion” kannst du dir alle Kontakte anzeigen lassen, die beim Split-Test involviert waren.