1. Accueil
  2. Growth
  3. Test A/B

Test A/B : ce qui mérite d'être testé, et combien de visiteurs il faut vraiment

Un test A/B montre au hasard deux versions d'une page, d'une publicité ou d'un e-mail à deux moitiés de votre public, pour savoir laquelle fait mieux sur un chiffre fixé à l'avance. Il demande beaucoup de volume : pour détecter une hausse de 10 % sur un taux de conversion de 3 %, il faut environ 53 000 visiteurs par version. Avec moins de trafic, testez de grandes différences (l'angle, l'offre, la question d'entrée) plutôt que la couleur d'un bouton.

Mis à jour le · Frédéric Lemonnier

La définition du test A/B tient en deux lignes, et vous la trouverez partout. Ce qui manque presque toujours, c'est la réponse aux deux questions qui décident si votre test servira à quelque chose : qu'est-ce qui mérite d'être testé, et avez-vous assez de volume pour conclure. J'y réponds ici avec ce que j'ai pratiqué pendant des années sur des campagnes publicitaires à gros budget.

Le test A/B en clair

Vous avez une version actuelle (A) et une version modifiée (B). Chaque visiteur est envoyé au hasard sur l'une ou l'autre. Au bout d'un volume fixé à l'avance, vous comparez un seul chiffre : le taux d'inscription, le coût par lead, le taux d'achat. Si l'écart est assez grand pour ne pas s'expliquer par le hasard, vous gardez la meilleure version.

Trois mots comptent dans cette phrase : au hasard (sinon vous comparez deux publics différents), fixé à l'avance (sinon vous arrêtez quand ça vous arrange), et un seul chiffre (sinon vous trouverez toujours un indicateur où B gagne).

Ce que j'ai testé pendant sept ans, et dans quel ordre

Pendant sept ans, j'ai porté l'acquisition d'un client dans le domaine de la perte de poids : plus d'un million de prospects, des budgets montés jusqu'à 100 000 € par mois sans hausse du coût par lead. Les angles (les raisons d'agir mises en avant) étaient testés les uns contre les autres, plusieurs versions tournaient en parallèle, et la règle était simple : ce qui marche reste, tout le reste s'arrête.

Ce que cette pratique m'a appris, c'est qu'on ne teste pas tout au même niveau. Voici l'ordre dans lequel je cherche les gains, du plus gros au plus petit :

  1. L'angle. La raison pour laquelle quelqu'un devrait s'arrêter : un problème, une envie, une peur, une curiosité. Deux angles différents peuvent faire varier le coût par lead bien plus que n'importe quel réglage de page.
  2. L'offre. Ce que la personne obtient en laissant ses coordonnées : un bilan, un résultat de quiz, une réduction, un contenu. C'est le sujet de la page lead magnet.
  3. La question d'entrée. Une question qui ne parle qu'à votre client fait le tri avant même le formulaire. Tester deux questions d'entrée vous apprend plus que tester deux audiences.
  4. Le format de la création. Image, vidéo, texte court ou long.
  5. La page et le parcours. Le nombre d'étapes, le moment où l'on demande l'adresse, les champs demandés.
  6. Les détails. Couleur du bouton, formulation d'un titre secondaire. Ils comptent, mais tard, et seulement si vous avez beaucoup de trafic.

Beaucoup de guides commencent par le niveau 6, parce que c'est le plus facile à montrer. C'est aussi celui qui demande le plus de volume pour un gain qui se voit à peine.

Combien de visiteurs faut-il vraiment ?

C'est la question que presque personne ne se pose avant de lancer un test, et c'est elle qui décide de tout. Le volume nécessaire dépend de deux choses : votre taux de conversion actuel, et l'écart minimum que vous voulez être capable de voir.

Voici le nombre de visiteurs nécessaires par version, avec les réglages habituels (5 % de risque de déclarer un faux gagnant, 80 % de chances de voir un vrai écart) :

Taux actuelTaux viséHausse relativeVisiteurs par version
3 %3,3 %+10 %environ 53 200
3 %3,6 %+20 %environ 13 900
3 %4,5 %+50 %environ 2 500
10 %12 %+20 %environ 3 800
20 %24 %+20 %environ 1 700
30 %36 %+20 %environ 1 000

Vous pouvez refaire ces calculs avec n'importe quel calculateur de taille d'échantillon gratuit en ligne. Deux leçons en sortent :

  • Un site à faible conversion qui cherche de petits gains a besoin d'énormément de trafic. À 3 % de conversion, voir une hausse de 10 % demande plus de 100 000 visiteurs au total. Peu de sites les ont sur une seule page.
  • Plus l'écart cherché est grand, plus le test est court. C'est pour cela que tester l'angle ou l'offre (qui font de grosses différences) est plus rentable que tester une couleur.

Les étapes avec un fort taux de conversion se testent plus facilement. Un quiz où une bonne part des gens qui commencent vont jusqu'au bout se teste avec quelques milliers de visiteurs, là où une page de vente à 3 % en demande des dizaines de milliers.

Les cinq erreurs qui faussent un test A/B

1. Arrêter dès que ça a l'air gagné

C'est l'erreur la plus répandue, et elle est grave. Evan Miller l'a montré dès 2010, dans un article devenu une référence : dans son exemple, où le résultat est vérifié après chaque visiteur et le test arrêté dès qu'il paraît significatif, un changement qui ne fait rien est déclaré gagnant dans 26,1 % des cas, au lieu des 5 % annoncés. Plus vous regardez rarement, plus cet écart se réduit, mais il ne disparaît pas. Calculez le volume avant, et ne décidez qu'une fois ce volume atteint.

2. Mesurer le mauvais chiffre

Un taux de clic plus élevé ne veut pas dire plus de clients. Une publicité racoleuse fait cliquer, puis ne convertit pas. Dans mon travail, le chiffre de référence était le coût par lead mesuré au bout du tunnel, et non le clic. Encore mieux, quand vous l'avez : le coût par client, ou la marge. La page LTV et CAC explique comment remonter jusqu'à ce chiffre, et taux de conversion comment mesurer chaque étape.

3. Comparer deux périodes au lieu de deux groupes

« Avant / après » n'est pas un test A/B. Entre deux périodes, tout change : la saison, la concurrence, l'actualité, votre budget. Je l'ai appris à mes dépens : les deux éditions de la Fête nationale du Mojito, en 2017 et en 2018, ont eu deux modèles économiques différents (le public payait son pass, puis ce sont les bars qui ont payé). J'en ai tiré une conclusion claire (la première formule était la bonne), mais c'est un bilan, pas un test : trop de choses avaient changé entre les deux années pour isoler l'effet du modèle. Le récit complet est sur le cas Mojito.

4. Ne pas pouvoir relier le résultat à la version

Si vous ne savez pas quelle version a vue chaque prospect, vous ne pouvez rien conclure au-delà du premier clic. Identifiez chaque publicité jusque dans le formulaire, pour savoir laquelle amène les inscrits. Sans ce suivi, un test de publicité s'arrête au clic, et le clic ment souvent.

5. Croire qu'un gagnant le reste

En publicité, une création gagnante s'use : le même public la voit trop souvent, et son coût monte. Un test A/B ne donne pas une vérité éternelle, il donne la meilleure version du moment. C'est pour cela qu'il faut toujours avoir de nouvelles versions prêtes à tester contre celle qui gagne.

Faire un test A/B sur Facebook, Instagram et Google Ads

Sur Meta (Facebook et Instagram), le gestionnaire de publicités propose un outil de test A/B intégré. C'est la façon la plus propre de comparer deux angles ou deux créations. Pour la publicité Meta en général, voyez la page media buyer freelance.

Sur Google Ads, la fonction de test personnalisé crée une version test d'une campagne qui partage le trafic et le budget de la campagne d'origine, dans la proportion que vous choisissez. Pour aller plus loin sur ce canal, voyez consultant Google Ads.

Sur un site, l'ancien outil gratuit de Google, Optimize, n'existe plus depuis le 30 septembre 2023. Il reste des outils spécialisés, et une autre voie : quand vous construisez votre site vous-même, il peut répartir les visiteurs entre deux versions et enregistrer laquelle chacun a vue.

Un conseil pratique : testez d'abord dans la publicité. Le volume y est acheté, donc disponible tout de suite, et un angle qui gagne dans la publicité vous dit déjà quoi mettre en avant sur la page.

Quand vous n'avez pas assez de trafic

C'est le cas de la plupart des petites entreprises, et ce n'est pas une raison pour ne rien tester. Trois solutions :

  • Tester des différences fortes. Deux offres, deux angles, deux pages construites autrement. Le tableau plus haut montre qu'une hausse de 50 % se détecte avec environ vingt fois moins de visiteurs qu'une hausse de 10 %.
  • Tester plus haut dans le parcours. Le passage du début du quiz à la fin, ou de la page au formulaire, a des taux plus élevés et se teste plus vite que l'achat final. Gardez un œil sur le chiffre final : un gain en haut du parcours qui disparaît en bas n'en est pas un.
  • Accepter un niveau de preuve plus faible, en le sachant. Pour une décision facile à défaire, un indice suffit parfois. Pour une décision lourde (un changement de prix, de modèle), attendez une vraie preuve.

Ma méthode en six étapes

  1. Écrire l'hypothèse en une phrase : « si je mets en avant tel bénéfice, le coût par lead baissera, parce que… ».
  2. Choisir un seul chiffre de décision, le plus proche possible de l'argent.
  3. Calculer le volume nécessaire avant de lancer, avec le tableau ou un calculateur.
  4. Laisser tourner en semaines entières, sans décider en cours de route.
  5. Décider : garder, arrêter, ou relancer avec une version plus tranchée.
  6. Noter le résultat dans un registre, gagnant ou perdant. Un test perdu qui n'est pas noté sera refait dans six mois.

Le test A/B est l'outil de base de toute la démarche décrite dans growth hacking. Il demande moins d'outils que de discipline : décider avant de regarder, et accepter qu'une idée qu'on aimait perde.

Si vos leads passent par un quiz, la page quiz qualifiant détaille ce qu'il faut y tester en premier, et coût par lead comment le calculer proprement.

À lire aussi

Travailler ensemble

Un poste de Head of Growth ou une mission ?

Vous recrutez un Head of Growth, ou vous cherchez quelqu'un pour une mission : je prends en main votre acquisition, du choix des canaux à la montée du budget, sans laisser filer le coût par lead. Mon CV résume quinze ans d'acquisition, chiffres compris.

Télécharger mon CVMe contacter

Vous préférez d'abord me montrer vos chiffres ? Choisissez un créneau ci-dessous.

Premier échange

Audit offert : 30 minutes en visio

Vous me montrez comment vous trouvez vos clients aujourd'hui, vos campagnes si vous en avez, et vos chiffres. Je vous dis ce qui vous coûte le plus et par où je commencerais, que vous travailliez avec moi ou non.

  1. Choisissez un créneau dans le calendrier.
  2. Répondez à quelques questions sur votre activité.
  3. Nous faisons le point ensemble, en visio.

Ouvrir le calendrier dans un nouvel onglet ↗

Questions fréquentes

Vos questions, mes réponses

Combien de temps doit durer un test A/B ?

Jusqu'à atteindre le volume calculé avant de commencer, et en semaines entières, parce que le comportement change entre la semaine et le week-end. La durée découle du volume : si votre page reçoit peu de visites, le test sera long, et il vaut mieux tester une différence plus forte.

Qu'est-ce que la significativité statistique dans un test A/B ?

Un résultat est dit significatif quand un écart aussi grand que celui observé entre A et B serait peu probable si les deux versions se valaient en réalité. Le seuil habituel est de 95 % : quand il n'y a aucune vraie différence, on accepte une chance sur vingt de déclarer quand même un gagnant. Ce seuil n'est valable que si vous ne regardez le résultat qu'à la fin, au volume prévu : en le consultant tous les jours pour arrêter dès qu'il a l'air gagné, vous multipliez les faux gagnants.

Peut-on faire un test A/B avec peu de trafic ?

Oui, à condition de tester des différences fortes, que l'on peut détecter avec peu de visiteurs : une autre offre, un autre angle, une autre question d'entrée. Une autre solution consiste à tester les angles dans la publicité, où vous achetez le volume, avant de construire la page.

Faut-il tester une seule chose à la fois ?

Pour comprendre pourquoi une version gagne, oui. Mais quand le trafic est faible, comparer deux pages très différentes est souvent plus utile que tester un détail : vous saurez laquelle garder, sans savoir exactement pourquoi. Ensuite seulement, vous affinez élément par élément.

Quel outil utiliser depuis la fin de Google Optimize ?

Google Optimize n'est plus disponible depuis le 30 septembre 2023. Pour la publicité, Meta Ads et Google Ads ont chacun un outil de test intégré. Pour un site, il existe des outils spécialisés, et un site que vous construisez vous-même peut répartir les visiteurs et enregistrer la version vue par chacun.

Quelle différence entre test A/B et test multivarié ?

Le test A/B compare deux versions entières. Le test multivarié combine plusieurs éléments (titre, image, bouton) et mesure chaque combinaison : il demande donc beaucoup plus de trafic, ce qui le réserve aux sites à très forte audience.

Frédéric Lemonnier
L'auteur

Frédéric Lemonnier

Head of Growth · Fondateur de FL POWER

Quinze ans d'acquisition grand public, 3 M€ de budget publicitaire pilotés en direct. Ancien directeur technique, je construis aujourd'hui mes produits en pilotant l'IA : dix applications web et mobiles mises en ligne depuis janvier 2026. Basé à Montpellier.

FL POWER, mon agence