Test A/B
Un test A/B consiste à faire tourner deux versions d'une même page, d'un même e-mail ou d'un même parcours en même temps, à répartir les visiteurs entre elles au hasard, et à garder celle qui l'emporte de façon mesurable. Le hasard et la simultanéité sont la méthode : ce sont eux qui empêchent de prendre une différence d'audience, de jour ou de saison pour une différence de conception. Sa condition non dite est le volume — un test ne répond à quelque chose qu'une fois qu'assez de personnes ont converti dans chaque branche, et c'est pourquoi la plupart des sites en phase initiale ne peuvent pas en mener un honnêtement.
Ce que la répartition contrôle réellement
L'intuition derrière un test A/B est de savoir laquelle des deux versions est la meilleure, mais ce n'est pas tout à fait ce que fait la répartition. Publier une nouvelle page un mardi et comparer les deux semaines suivantes aux deux précédentes est aussi une comparaison — sauf qu'il y a dedans un lancement, une infolettre, un jour férié, l'annonce d'un concurrent et une variation de classement. La répartition au hasard existe pour retirer tout cela. Les deux versions tournent sur la même fenêtre, devant le même type de trafic, et la seule chose qui diffère entre les deux groupes est la seule chose que vous avez changée.
C'est aussi pourquoi nommer une unique mesure principale avant de commencer compte davantage que l'outil. Si vous décidez après coup quel chiffre regarder, vous trouverez une version gagnante dans presque n'importe quel jeu de données, car avec assez de mesures sur la table il y en a toujours une qui monte. Choisir à l'avance est ce qui transforme l'exercice en test plutôt qu'en chasse aux bonnes nouvelles.
Les quatre choses qu'un test exige pour pouvoir vous apprendre quoi que ce soit
Un test auquel il manque l'une d'elles ne vous donne pas une réponse plus faible. Il vous donne une réponse assurée qui se trouve être fausse, ce qui est pire, parce que vous allez agir en conséquence.
- Une mesure principale, choisie à l'avance — les inscriptions, disons, et non celle qui, parmi inscriptions, clics et temps passé, aura fini par bouger.
- Assez de conversions dans chaque branche — des centaines, pas des dizaines. La contrainte n'est pas le nombre de visites mais celui des conversions, si bien qu'une page au trafic confortable et au taux de conversion maigre manque encore de données.
- Une règle d'arrêt écrite d'avance — une date ou un nombre de conversions. Regarder chaque jour et arrêter dès que cela paraît bon, c'est la façon dont le bruit se fait promouvoir au rang de découverte.
- Un changement assez grand pour déplacer le chiffre — plus l'effet recherché est petit, plus l'échantillon nécessaire est grand, et changer la couleur d'un bouton sur un petit site revient à réclamer une résolution que le trafic ne peut pas fournir.
L'arithmétique derrière le deuxième point met fin à la plupart des projets. Détecter une amélioration d'environ trois pour cent à environ quatre — réelle et tout à fait souhaitable — demande de l'ordre de plusieurs milliers de visites par branche avant que le résultat cesse d'être un pile ou face. Divisez par deux la taille de l'effet recherché et l'échantillon nécessaire est à peu près multiplié par quatre.
Ce que notre propre entonnoir dit à ce sujet
Nous prendrons nos propres chiffres, parce qu'ils sont le cas ordinaire et non l'exception. Sur une semaine récente, 251 personnes ont atteint le tableau de bord une fois connectées, 39 d'entre elles ont ouvert la page des offres, et un nombre à un chiffre est allé jusqu'au paiement. Ce sont les volumes avec lesquels travaille un vrai produit en phase initiale, et ils ne sont pas particulièrement mauvais.
Coupez cette page des offres en deux et chaque version reçoit quatre ou cinq personnes par semaine. Toute différence que vous verriez serait une différence d'une ou deux décisions individuelles, impossible à distinguer de qui est passé par là cette semaine-là. Attendre que cela se décante, c'est attendre des mois, et au fil de ces mois le produit, les prix et la composition du trafic changent sous le test — de sorte que ce que vous finissez par mesurer n'est pas ce que vous aviez entrepris de mesurer.
Nous prenons donc ces décisions au jugé, et nous disons que c'est ce que nous faisons. Le badge « Recommandé pour vous » de notre sélecteur d'inscription a été une décision délibérée de montrer une seule option à tout le monde plutôt qu'un test réparti, précisément parce qu'à notre volume une répartition aurait produit un chiffre auquel nous n'aurions pas pu nous fier. Le dire est la version honnête. Décrire un changement non testé comme fondé sur les données est la version malhonnête, et elle est assez répandue pour qu'on puisse la supposer derrière la plupart des affirmations que l'on lit.
Que faire en attendant que le trafic arrive
Les solutions de rechange sont moins satisfaisantes et bien plus utiles à cette taille. Changez une chose à la fois et tenez un journal daté de ce que vous avez changé, pour qu'un avant-après ait au moins une frontière. Regardez ce que les gens font vraiment — les enregistrements de session et l'analyse produit vous montreront un champ de formulaire abandonné ou un bouton jamais atteint, et ni l'un ni l'autre n'a besoin de puissance statistique pour être cru. Puis parlez à celles et ceux qui ont abandonné en route : cinq conversations rapportent plus qu'un test sous-dimensionné sur la même page, et elles vous disent le pourquoi et pas seulement le laquelle.
Mettez aussi l'effort sur les défauts avant de le mettre sur les préférences. Un paiement que personne ne trouve, une page qui n'affiche rien pendant vingt secondes, un formulaire qui jette en silence ce qu'on y a saisi — ce ne sont pas des questions de version préférée, et les soumettre à un test est une erreur de catégorie. Corrigez-les, et revenez au test quand le volume pourra le porter. La boucle plus large dans laquelle tout cela s'inscrit est l'optimisation du taux de conversion ; le jour où le trafic sera là, l'outil open source ressemble à GrowthBook.
FAQ
- Qu'est-ce qu'un test A/B ?
- Un test A/B consiste à montrer deux versions d'une même page, d'un même e-mail ou d'un même parcours en même temps, à affecter chaque visiteur à l'une d'elles au hasard, et à garder celle qui obtient un résultat mesurablement meilleur sur une mesure choisie avant de commencer. Le fait de les faire tourner en parallèle et d'affecter au hasard est l'essentiel : cela retire les différences de moment et d'audience qui rendent peu fiable une simple comparaison avant-après.
- De combien de trafic ai-je besoin pour un test A/B ?
- Raisonnez en conversions par branche, pas en visites. En règle pratique, il vous faut des centaines de conversions dans chaque version avant qu'un résultat signifie grand-chose, ce qui, pour une page d'inscription typique, suppose plusieurs milliers de visites par branche pour détecter une amélioration d'environ un point de pourcentage. Les effets plus petits en exigent bien davantage : diviser par deux la différence recherchée multiplie l'échantillon par environ quatre.
- Combien de temps un test A/B doit-il durer ?
- Fixez le point d'arrêt avant de commencer, sous forme de date ou de nombre de conversions, et tenez-vous-y. Faites tourner des semaines entières plutôt que des fractions de semaine, car le trafic de semaine et celui du week-end ne se comportent pas pareil. L'erreur à éviter est de regarder chaque jour et d'arrêter dès qu'une version passe devant : les avances précoces s'inversent constamment, et un test arrêté à son moment le plus flatteur signale avec une belle constance un effet qui n'existe pas.
- Puis-je tester une page qui reçoit quelques centaines de visites par mois ?
- Pas de façon utile. Quelques centaines de visites produiront une poignée de conversions, réparties sur deux branches, et tout écart entre elles tombe largement dans le hasard ordinaire. Vous attendriez soit de longs mois, au cours desquels le reste de l'activité change et invalide la comparaison, soit vous arrêteriez tôt en agissant sur du bruit. À cette taille, les changements successifs avec un journal daté, les enregistrements de session et les conversations avec celles et ceux qui ont abandonné sont les instruments qui fonctionnent vraiment.
- Le test A/B est-il la même chose que l'optimisation du taux de conversion ?
- Non. L'optimisation du taux de conversion est la boucle entière : trouver où les gens décrochent, formuler une hypothèse sur le pourquoi, changer quelque chose et vérifier si cela a aidé. Le test A/B est une façon de faire cette dernière étape, et il ne vous est ouvert que lorsque le volume le permet. Les petits sites parcourent la boucle quand même ; ils valident simplement par un avant-après soigneux et des éléments qualitatifs plutôt que par une répartition.
An AI growth team that runs this for you
AgentCeres is a managed AI marketing team — you approve what ships. 14-day free trial, from $39/month.