Qu'est-ce qu'un A/B test ? Définition et exemples

Un A/B test, ou A/B testing, compare deux versions d'une même page ou d'un même écran. La moitié des visiteurs, tirée au hasard, voit la version A, celle d'aujourd'hui ; l'autre moitié voit la version B, qui change un seul élément. Au bout de quelques semaines, on compare le taux de conversion des deux, et on garde la meilleure.

Le tirage au hasard et la même période font toute la valeur du test : une saison, une publicité ou un jour férié touchent les deux groupes de la même façon. L'écart qui reste vient donc du changement testé, et pas d'autre chose.

• Le titre d'une page d'accueil : ce que fait l'entreprise, ou ce que le client y gagne.
• Le bouton d'un formulaire : son texte, sa couleur, sa place, ou le nombre de champs à remplir avant lui.
• Une fiche produit : les avis clients en haut de la page, ou plus bas.
• Le début d'une application : demander de créer un compte tout de suite, ou après avoir laissé découvrir le contenu.
• La page des prix d'un SaaS : le prix au mois, ou le prix à l'année mis en avant.

• Écrire une hypothèse. « Si les avis apparaissent plus haut, plus de visiteurs ajouteront le produit au panier. » Elle dit ce qu'on change et ce qu'on attend.
• Changer une seule chose. Avec trois changements à la fois, on ne sait pas lequel a joué.
• Choisir le chiffre avant de commencer : demandes de devis, ajouts au panier, inscriptions. C'est le KPI du test.
• Laisser tourner assez longtemps. Au moins une à deux semaines complètes, pour couvrir les jours de semaine et le week-end, et assez de conversions pour que l'écart soit fiable : les outils de test le calculent, en visant en général 95 % de confiance. Arrêter dès que B passe devant donne souvent de faux gagnants.
• Décider, puis noter. On garde la version gagnante, et on écrit ce qu'on a appris, y compris quand rien ne bouge : c'est aussi une réponse.

Le test multivarié change plusieurs éléments à la fois et compare toutes leurs combinaisons. Il demande beaucoup plus de visiteurs, parce que chaque combinaison en reçoit moins.

Un test a besoin de volume. Avec quelques conversions par semaine, il dure des mois ou ne conclut rien. Pour un site qui démarre, mieux vaut regarder cinq personnes essayer le site, lire la mesure d'audience et corriger ce qui bloque visiblement.

Il ne remplace pas non plus une vraie décision de fond : une nouvelle offre, un nouveau prix ou une refonte complète changent trop de choses à la fois pour se tester comme un bouton.

Sur un site, la répartition des visiteurs se fait par un outil de test ou dans le code du site. L'outil garde en général un identifiant dans un cookie, pour montrer toujours la même version au même visiteur : il entre alors dans les règles des cookies, comme la mesure d'audience.

Dans une application mobile, chaque nouvelle version passe par l'App Store et Google Play. Pour tester sans attendre, l'application doit être prévue pour recevoir ses réglages à distance, et afficher la version A ou B sans mise à jour.

Un A/B test n'est possible que si l'action à mesurer est suivie : une demande de devis, un achat, une inscription. Cela se prévoit dès la construction d'un site ou d'une application, avec le plan de marquage qui liste les actions à compter.