A/B testing : la méthode pour tester et convertir
Bouton vert ou orange, titre court ou long, formulaire en trois champs ou en huit. Ces débats n'ont pas de fin tant qu'ils opposent des avis. L'A/B testing les règle en montrant les deux versions à des visiteurs réels, répartis au hasard, et en comptant lesquels convertissent. La méthode est simple, l'outillage est accessible à toute entreprise qui a un site ou une liste d'emails, et la seule difficulté sérieuse est statistique. Avec trop peu de visiteurs, un test ne prouve rien, et c'est l'erreur que presque tout le monde commet.
Un test A/B compare deux versions d'une page, d'un bouton ou d'un email auprès de deux groupes équivalents, et mesure le taux de conversion de chacune. Il n'est fiable qu'à trois conditions. Une seule variable change entre A et B. Le volume de visiteurs est suffisant, souvent plusieurs milliers par version pour un site ordinaire. Le test dure au moins une semaine complète et n'est pas arrêté dès qu'il penche du bon côté. Le simulateur plus bas dit si un écart observé est exploitable.
Le principe
La version A est la page actuelle. La version B est la même page avec un seul changement. L'outil de test répartit le trafic au hasard entre les deux, chaque visiteur ne voyant qu'une version pendant toute sa visite, et mesure la proportion de visiteurs qui font l'action visée, achat, inscription, clic, demande de devis. Si B convertit mieux que A et que l'écart dépasse ce que le hasard produirait, B devient la nouvelle page.
L'isolement de la variable fait la valeur de la méthode. En ne changeant qu'une chose, vous savez que la différence vient de cette chose. Une refonte complète qui améliore le taux de conversion ne dit pas ce qui a marché, ni ce qui a peut-être nui en même temps.
Combien de visiteurs il faut
Le nombre nécessaire dépend du taux de conversion de départ et de l'ampleur de l'amélioration qu'on veut détecter. Plus le taux est bas et l'écart attendu petit, plus il faut de visiteurs. Le tableau donne l'ordre de grandeur par version, pour un niveau de confiance de 95 % et une puissance de 80 %, les réglages habituels.
| Taux de conversion actuel | Amélioration à détecter | Visiteurs par version |
|---|---|---|
| 1 % | +20 % (de 1 % à 1,2 %) | environ 43 000 |
| 1 % | +50 % (de 1 % à 1,5 %) | environ 7 700 |
| 2 % | +20 % (de 2 % à 2,4 %) | environ 21 000 |
| 2 % | +50 % (de 2 % à 3 %) | environ 3 800 |
| 5 % | +20 % (de 5 % à 6 %) | environ 8 100 |
| 5 % | +50 % (de 5 % à 7,5 %) | environ 1 500 |
Un site de PME qui reçoit 5 000 visiteurs par mois sur sa page principale, avec 2 % de conversion, mettra donc huit mois à détecter une amélioration de 20 %. Il a intérêt à tester des changements marqués, une autre promesse, une autre structure de page, dont l'effet se voit vite, plutôt que la teinte d'un bouton. La durée compte aussi. Un test doit couvrir au moins un cycle complet, sept jours, parce que les visiteurs du lundi n'achètent pas comme ceux du samedi, et il faut éviter les périodes anormales, soldes, campagne publicitaire, jour férié.
Votre test est-il concluant ?
Saisissez les visiteurs et les conversions des deux versions. Le calcul est un test de comparaison de deux proportions au seuil de 95 %.
Quoi tester en premier
Tout ce qui se voit peut se tester, titre, visuel, texte et couleur d'un bouton, nombre de champs d'un formulaire, ordre des sections, prix affiché, objet d'un email. Le bon ordre est celui de l'impact. On teste d'abord sur les pages les plus visitées, la page d'accueil, la page produit phare, la page de tarifs, et d'abord les éléments qui portent la décision, la promesse principale, l'appel à l'action, la preuve sociale, le formulaire. Une page vue cent fois par mois ne se teste pas, elle se réécrit.
Chaque test part d'une hypothèse écrite. « En passant le formulaire de devis de huit champs à quatre, on réduira l'abandon, parce que la friction diminue. » Le résultat valide ou invalide l'hypothèse, et un test perdant apprend autant qu'un test gagnant, il évite de déployer une idée qui aurait coûté des ventes. Un tableau qui consigne chaque hypothèse, sa date, son résultat et sa conclusion évite de refaire le même test dix-huit mois plus tard avec une autre équipe.
Les outils et la question du cookie
Google Optimize a fermé en septembre 2023 et n'a pas de remplaçant gratuit chez Google. Les outils payants, AB Tasty, Kameleoon, VWO, Optimizely, Convert, se facturent selon le trafic, de quelques dizaines à plusieurs milliers d'euros par mois, et posent un script sur le site. Pour les emails, l'outil d'envoi, Brevo, Mailchimp ou autre, intègre le test sur une fraction de la liste avec envoi automatique de la version gagnante au reste. Pour un site à faible trafic, un test fait à la main sur deux semaines, une version chaque semaine, est moins rigoureux mais donne une première idée.
L'outil de test dépose un cookie pour que chaque visiteur revoie la même version. Ce cookie n'est pas strictement nécessaire au service demandé par le visiteur, il relève donc du consentement, comme les cookies de mesure d'audience non exemptés. Il faut le déclarer dans la bannière, et accepter qu'une partie des visiteurs, ceux qui refusent, sortent du test.
Regarder un test tous les jours et l'arrêter dès qu'il devient significatif fausse le résultat, parce qu'un test qui fluctue finit presque toujours par franchir le seuil à un moment ou à un autre. On fixe à l'avance le nombre de visiteurs et la durée, et on ne lit le résultat qu'à la fin. Un gain de 15 % annoncé après trois jours sur 400 visiteurs n'existe pas.
Vos questions
Combien de visiteurs faut-il pour un test fiable ?
Pour un taux de conversion de 2 % et une amélioration de 20 % à détecter, environ 21 000 visiteurs par version. Pour une amélioration de 50 %, moins de 4 000. Les calculateurs de taille d'échantillon des éditeurs d'outils donnent le chiffre exact à partir de votre taux actuel et de l'écart minimal qui vous intéresse. Sous quelques centaines de conversions au total, on ne conclut pas.
Peut-on tester plusieurs choses à la fois ?
Dans une même version, non, sinon on ne sait pas quel changement a produit l'effet. On peut en revanche mener un test A/B/C avec trois versions d'un même élément, au prix d'un trafic plus important. Les tests multivariés, qui croisent plusieurs éléments, demandent des dizaines de milliers de visiteurs par combinaison et restent réservés aux grands sites.
L'A/B testing fonctionne-t-il pour les emails ?
C'est même le terrain le plus facile. On envoie deux objets, deux expéditeurs ou deux accroches à 10 ou 20 % de la liste, l'outil compare les taux d'ouverture ou de clic après quelques heures et envoie la version gagnante au reste. Sur une liste de quelques milliers de contacts, on obtient des résultats exploitables sur l'objet, moins sur le contenu, où les clics sont plus rares.
Un test A/B bien mené remplace une opinion par une mesure. Une variable, assez de visiteurs, une durée fixée d'avance et un carnet des hypothèses suffisent à en faire une méthode plutôt qu'un jeu de hasard.
Google, annonce de la fin de Google Optimize au 30 septembre 2023 : support.google.com
CNIL, lignes directrices et recommandation sur les cookies et autres traceurs, exemptions de consentement : cnil.fr
Tailles d'échantillon calculées avec la formule classique de comparaison de deux proportions, seuil 95 %, puissance 80 %
