La définition du test A/B tient en deux lignes, et vous la trouverez partout. Ce qui manque presque toujours, c'est la réponse aux deux questions qui décident si votre test servira à quelque chose : qu'est-ce qui mérite d'être testé, et avez-vous assez de volume pour conclure. J'y réponds ici avec ce que j'ai pratiqué pendant des années sur des campagnes publicitaires à gros budget.
Le test A/B en clair
Vous avez une version actuelle (A) et une version modifiée (B). Chaque visiteur est envoyé au hasard sur l'une ou l'autre. Au bout d'un volume fixé à l'avance, vous comparez un seul chiffre : le taux d'inscription, le coût par lead, le taux d'achat. Si l'écart est assez grand pour ne pas s'expliquer par le hasard, vous gardez la meilleure version.
Trois mots comptent dans cette phrase : au hasard (sinon vous comparez deux publics différents), fixé à l'avance (sinon vous arrêtez quand ça vous arrange), et un seul chiffre (sinon vous trouverez toujours un indicateur où B gagne).
Ce que j'ai testé pendant sept ans, et dans quel ordre
Pendant sept ans, j'ai porté l'acquisition d'un client dans le domaine de la perte de poids : plus d'un million de prospects, des budgets montés jusqu'à 100 000 € par mois sans hausse du coût par lead. Les angles (les raisons d'agir mises en avant) étaient testés les uns contre les autres, plusieurs versions tournaient en parallèle, et la règle était simple : ce qui marche reste, tout le reste s'arrête.
Ce que cette pratique m'a appris, c'est qu'on ne teste pas tout au même niveau. Voici l'ordre dans lequel je cherche les gains, du plus gros au plus petit :
- L'angle. La raison pour laquelle quelqu'un devrait s'arrêter : un problème, une envie, une peur, une curiosité. Deux angles différents peuvent faire varier le coût par lead bien plus que n'importe quel réglage de page.
- L'offre. Ce que la personne obtient en laissant ses coordonnées : un bilan, un résultat de quiz, une réduction, un contenu. C'est le sujet de la page lead magnet.
- La question d'entrée. Une question qui ne parle qu'à votre client fait le tri avant même le formulaire. Tester deux questions d'entrée vous apprend plus que tester deux audiences.
- Le format de la création. Image, vidéo, texte court ou long.
- La page et le parcours. Le nombre d'étapes, le moment où l'on demande l'adresse, les champs demandés.
- Les détails. Couleur du bouton, formulation d'un titre secondaire. Ils comptent, mais tard, et seulement si vous avez beaucoup de trafic.
Beaucoup de guides commencent par le niveau 6, parce que c'est le plus facile à montrer. C'est aussi celui qui demande le plus de volume pour un gain qui se voit à peine.
Combien de visiteurs faut-il vraiment ?
C'est la question que presque personne ne se pose avant de lancer un test, et c'est elle qui décide de tout. Le volume nécessaire dépend de deux choses : votre taux de conversion actuel, et l'écart minimum que vous voulez être capable de voir.
Voici le nombre de visiteurs nécessaires par version, avec les réglages habituels (5 % de risque de déclarer un faux gagnant, 80 % de chances de voir un vrai écart) :
| Taux actuel | Taux visé | Hausse relative | Visiteurs par version |
|---|---|---|---|
| 3 % | 3,3 % | +10 % | environ 53 200 |
| 3 % | 3,6 % | +20 % | environ 13 900 |
| 3 % | 4,5 % | +50 % | environ 2 500 |
| 10 % | 12 % | +20 % | environ 3 800 |
| 20 % | 24 % | +20 % | environ 1 700 |
| 30 % | 36 % | +20 % | environ 1 000 |
Vous pouvez refaire ces calculs avec n'importe quel calculateur de taille d'échantillon gratuit en ligne. Deux leçons en sortent :
- Un site à faible conversion qui cherche de petits gains a besoin d'énormément de trafic. À 3 % de conversion, voir une hausse de 10 % demande plus de 100 000 visiteurs au total. Peu de sites les ont sur une seule page.
- Plus l'écart cherché est grand, plus le test est court. C'est pour cela que tester l'angle ou l'offre (qui font de grosses différences) est plus rentable que tester une couleur.
Les étapes avec un fort taux de conversion se testent plus facilement. Un quiz où une bonne part des gens qui commencent vont jusqu'au bout se teste avec quelques milliers de visiteurs, là où une page de vente à 3 % en demande des dizaines de milliers.
Les cinq erreurs qui faussent un test A/B
1. Arrêter dès que ça a l'air gagné
C'est l'erreur la plus répandue, et elle est grave. Evan Miller l'a montré dès 2010, dans un article devenu une référence : dans son exemple, où le résultat est vérifié après chaque visiteur et le test arrêté dès qu'il paraît significatif, un changement qui ne fait rien est déclaré gagnant dans 26,1 % des cas, au lieu des 5 % annoncés. Plus vous regardez rarement, plus cet écart se réduit, mais il ne disparaît pas. Calculez le volume avant, et ne décidez qu'une fois ce volume atteint.
2. Mesurer le mauvais chiffre
Un taux de clic plus élevé ne veut pas dire plus de clients. Une publicité racoleuse fait cliquer, puis ne convertit pas. Dans mon travail, le chiffre de référence était le coût par lead mesuré au bout du tunnel, et non le clic. Encore mieux, quand vous l'avez : le coût par client, ou la marge. La page LTV et CAC explique comment remonter jusqu'à ce chiffre, et taux de conversion comment mesurer chaque étape.
3. Comparer deux périodes au lieu de deux groupes
« Avant / après » n'est pas un test A/B. Entre deux périodes, tout change : la saison, la concurrence, l'actualité, votre budget. Je l'ai appris à mes dépens : les deux éditions de la Fête nationale du Mojito, en 2017 et en 2018, ont eu deux modèles économiques différents (le public payait son pass, puis ce sont les bars qui ont payé). J'en ai tiré une conclusion claire (la première formule était la bonne), mais c'est un bilan, pas un test : trop de choses avaient changé entre les deux années pour isoler l'effet du modèle. Le récit complet est sur le cas Mojito.
4. Ne pas pouvoir relier le résultat à la version
Si vous ne savez pas quelle version a vue chaque prospect, vous ne pouvez rien conclure au-delà du premier clic. Identifiez chaque publicité jusque dans le formulaire, pour savoir laquelle amène les inscrits. Sans ce suivi, un test de publicité s'arrête au clic, et le clic ment souvent.
5. Croire qu'un gagnant le reste
En publicité, une création gagnante s'use : le même public la voit trop souvent, et son coût monte. Un test A/B ne donne pas une vérité éternelle, il donne la meilleure version du moment. C'est pour cela qu'il faut toujours avoir de nouvelles versions prêtes à tester contre celle qui gagne.
Faire un test A/B sur Facebook, Instagram et Google Ads
Sur Meta (Facebook et Instagram), le gestionnaire de publicités propose un outil de test A/B intégré. C'est la façon la plus propre de comparer deux angles ou deux créations. Pour la publicité Meta en général, voyez la page media buyer freelance.
Sur Google Ads, la fonction de test personnalisé crée une version test d'une campagne qui partage le trafic et le budget de la campagne d'origine, dans la proportion que vous choisissez. Pour aller plus loin sur ce canal, voyez consultant Google Ads.
Sur un site, l'ancien outil gratuit de Google, Optimize, n'existe plus depuis le 30 septembre 2023. Il reste des outils spécialisés, et une autre voie : quand vous construisez votre site vous-même, il peut répartir les visiteurs entre deux versions et enregistrer laquelle chacun a vue.
Un conseil pratique : testez d'abord dans la publicité. Le volume y est acheté, donc disponible tout de suite, et un angle qui gagne dans la publicité vous dit déjà quoi mettre en avant sur la page.
Quand vous n'avez pas assez de trafic
C'est le cas de la plupart des petites entreprises, et ce n'est pas une raison pour ne rien tester. Trois solutions :
- Tester des différences fortes. Deux offres, deux angles, deux pages construites autrement. Le tableau plus haut montre qu'une hausse de 50 % se détecte avec environ vingt fois moins de visiteurs qu'une hausse de 10 %.
- Tester plus haut dans le parcours. Le passage du début du quiz à la fin, ou de la page au formulaire, a des taux plus élevés et se teste plus vite que l'achat final. Gardez un œil sur le chiffre final : un gain en haut du parcours qui disparaît en bas n'en est pas un.
- Accepter un niveau de preuve plus faible, en le sachant. Pour une décision facile à défaire, un indice suffit parfois. Pour une décision lourde (un changement de prix, de modèle), attendez une vraie preuve.
Ma méthode en six étapes
- Écrire l'hypothèse en une phrase : « si je mets en avant tel bénéfice, le coût par lead baissera, parce que… ».
- Choisir un seul chiffre de décision, le plus proche possible de l'argent.
- Calculer le volume nécessaire avant de lancer, avec le tableau ou un calculateur.
- Laisser tourner en semaines entières, sans décider en cours de route.
- Décider : garder, arrêter, ou relancer avec une version plus tranchée.
- Noter le résultat dans un registre, gagnant ou perdant. Un test perdu qui n'est pas noté sera refait dans six mois.
Le test A/B est l'outil de base de toute la démarche décrite dans growth hacking. Il demande moins d'outils que de discipline : décider avant de regarder, et accepter qu'une idée qu'on aimait perde.
Si vos leads passent par un quiz, la page quiz qualifiant détaille ce qu'il faut y tester en premier, et coût par lead comment le calculer proprement.
