Met een A/B test krijg je informatie over het effect van een A-variant en een B-variant. En je kunt het zo gek niet verzinnen of ’t valt te testen. Er zijn zelfs A/B testen opgezet om het effect van verschillende lettertypes te testen, om te kijken of een call-to-action met ‘mijn aanbieding’ beter scoorde dan ‘uw aanbieding’ et cetera. Soms worden kleine verschillen getest, soms grote. Maar om het overzichtelijk te houden, geven we je in dit artikel enkele handige weetjes.
Als alles valt te testen, waar moet je dan starten? Het meest eenvoudig is om te starten vanuit de mailingstatistieken. Bijvoorbeeld: als je open ratio achterblijft, begin dan met een A/B test op onderwerpregel of snippet. Om het voor je op te sommen:
A/B test op open ratio: maak verschillende onderwerpregels, snippets en denk aan verschillen in lay-out.
A/B test op doorklikratio: maak verschillende call-to-actions, maak copyvarianten, speel met verschillen in afbeeldingen en denk ook hier aan de lay-out.
A/B test op conversie: maak verschillende call-to-actions, maak copyvarianten, speel met verschillen in afbeeldingen en denk ook hier aan de lay-out.
Zoals je leest, kun je voor de doorklikratio en de conversie het beste verschillende call-to-actions testen. Daarna volgen testen op copy, afbeeldingen en lay-out. Test je verschillende onderwerpregels dan zie je het effect van je test vooral terug in de open ratio.
A/B testen worden veel ingezet voor het testen van het effect van e-mailings, maar ook landingpagina’s kun je prima onderwerpen aan een A/B test.
Een A/B test is geslaagd als de test aan twee voorwaarden voldoet:
1. De A/B test moet statistisch significant zijn. Dit is een begrip uit de kansberekening. Het uitrekenen ervan helpt om te bepalen of een A/B test betrouwbaar is of op toeval berust. Meer hierover in ons white paper “Meer rendement met A/B testen”.
2. De mailingresultaten na de verzending aan de rest van het bestand moeten niet al te veel afwijken van het testresultaat.
De tweede voorwaarde is eigenlijk heel eenvoudig.
Eén: als je A/B test als winnaar variant A oplevert, dan moet dat ook de winnaar zijn na verzending aan de rest van het bestand. Statistische significantie biedt hiervoor de beste garantie.
Twee: als je A/B test een significante winnaar laat zien met -bijvoorbeeld- een open ratio van 28% dan is het goed mogelijk dat het uiteindelijk resultaat uitkomt op 26% of 29%. Een exacte match moet je niet verwachten, maar wel een getal dat in de buurt komt van het testresultaat. Maar let wel op de omstandigheden. Als je A/B test op maandagochtend 07.00 uur plaatsvindt, verstuur de winnaar van de test dan niet aan de rest van je bestand op donderdagavond 23.00 uur. De omstandigheden zijn dan niet hetzelfde.
Bij een geslaagde test probeer je deze omstandigheden zoveel mogelijk gelijk te houden. Zeker als het verzendmoment geen onderdeel van je test is.
De volgende elementen van een e-mail nieuwsbrief worden het meest getest.
Alles wat in dit artikel staat, wordt uitgebreid beschreven in ons white paper “Meer rendement met A/B testen”. Hierin vind je praktische tips, inclusief een checklist, om het beste resultaat uit je e-mail nieuwsbrief te halen.
