Un ab test e-commerce qui augmente le taux de conversion mais fait chuter le revenu par utilisateur. C’est exactement ce qui s’est passé chez un client de l’agence Uxia quand ils ont intégré le one click payment sur la page produit. Pablo Le Normand et Laurent Therry – les deux experts CRO derrière Uxia – racontent l’anecdote sans fard dans un épisode du Rendez-vous Marketing animé par Danilo Duchesnes. Et franchement, c’est le genre de détail qui devrait clouer le bec à tous ceux qui pilotent encore leur boutique au taux de conversion brut.
Le truc c’est que la plupart des e-commerçants font des tests. Mais ils regardent la mauvaise métrique. Ou ils stoppent trop tôt. Ou ils testent sur du trafic influenceur qui biaise tout. Pablo et Laurent ont passé une bonne heure à décortiquer leur approche – et ce qui en ressort, c’est moins une liste de bonnes pratiques qu’une façon de penser qui change radicalement comment on lit les résultats.
Le RPU : la seule métrique qui compte vraiment dans un ab test e-commerce
Commençons par là où presque tout le monde se plante. Quand tu lances un ab test e-commerce, tu regardes quoi en premier ? Le taux de conversion, forcément. C’est la métrique la plus visible, la plus immédiate – et c’est exactement pour ça qu’elle est trompeuse.
Pablo l’explique avec un exemple concret qui fait mal :
Le taux de conversion a augmenté mais le panier moyen a diminué et au final son revenu par utilisateur a diminué. Donc c’était pas intéressant de le mettre sur la page produit.
Le one click payment sur la page produit – ça paraît logique sur le papier. Moins de friction, plus de conversions. Sauf que les gens qui convertissent plus vite achètent moins. Ils prennent un article, ils cliquent, c’est fini. Le RPU – revenu par utilisateur – chute. Et le test qui semblait gagner était en train de faire perdre de l’argent.
Le RPU, c’est la combinaison du taux de conversion et du panier moyen. Ces deux métriques ensemble. Pas l’une ou l’autre – les deux. C’est ce que les outils d’ab testing classiques ne te donnent pas automatiquement, d’ailleurs (et c’est souvent là que ça coince). D’où l’intérêt de connecter ton outil à GA4 pour avoir une vision plus complète de ce qui se passe vraiment.
Pour aller plus loin sur les KPIs à surveiller en e-commerce, l’article sur les indicateurs indispensables pour piloter une activité e-commerce complète bien ce point.
La p value, ou comment ne pas se faire avoir par le hasard
Statistiquement parlant, un ab test e-commerce qui tourne depuis 4 jours ne vaut rien. Pourtant, combien d’équipes marketing ont arrêté un test à J+5 parce que la variante B avait 2 points de conversion de plus ?
Laurent introduit la p value – une métrique venue du growth qui s’est imposée en CRO. Le principe est brutal dans sa simplicité : si la p value de ton test est supérieure à 5%, ton résultat est peut-être dû au hasard. Point. Tu ne valides pas. Tu continues.
Cette métrique doit être inférieure à 5 % pour que tu te dise OK, mon AB test, il est concluant et il n’est pas dû au hasard. Tant que cette métrique n’est pas inférieure à 5 %, tu peux pas valider ce test en fait.
Dit comme ça, ça a l’air simple. Mais en pratique, ça veut dire tenir 2 à 3 semaines sur un test. Sans céder à la pression du client qui veut des résultats en fin de semaine.
Les outils d’ab testing sérieux calculent ça automatiquement – certains proposent même de connecter tes tests à GA4 pour segmenter les résultats par audience. Kameleoon le propose, selon Laurent. Ce qui est utile quand tu veux savoir si c’est ta cible mobile qui répond différemment de ton trafic desktop, par exemple.
Et les seuils de confiance que Laurent cite – 93-95% pour avoir une « overview », 97-98% pour être certain – correspondent à cette logique. Tu peux commencer à voir qui gagne à 93%, mais tu ne fermes pas le test avant 97. Ce qui, avec 1000 visiteurs par jour sur du trafic froid, prend environ 2 à 3 semaines.
1000 visiteurs par jour : le seuil que personne ne te dit dans un ab test e-commerce
Quel volume de trafic faut-il pour qu’un ab test e-commerce soit pertinent ? La question revient tout le temps. La réponse de Pablo : 1000 visiteurs par jour. Soit environ 30 000 visiteurs mensuels.
Ce chiffre n’est pas arbitraire. C’est le palier à partir duquel les résultats commencent à avoir une vraie signification statistique sous 15 jours à 3 semaines. En dessous, tu peux tourner un test pendant deux mois et avoir une p value qui refuse de passer sous les 5%.
Mais il y a un piège que peu de gens anticipent – et c’est là que l’exemple de Nali devient vraiment intéressant. Cette marque fonctionne beaucoup à l’influence : des pics de trafic massifs sur 3 jours, puis retour au calme. Impossible de faire tourner un ab test e-commerce propre dans ces conditions. Leur solution ?
Ils avaient complètement éludé les pics de visites de 3 jours via les influenceurs et ils avaient fait leur AB test uniquement sur le trafic froid qui était stable et lisse. Ce qui était plus pertinent en tout cas pour eux.
Voilà. C’est contre-intuitif mais logique : le trafic chaud – retargeting, influence, newsletters – convertit mieux par définition. Si tu testes sur ce segment, tu mesures l’effet de la chaleur du trafic, pas l’effet de ton test. Le trafic froid est le seul terrain neutre.
Ce principe rejoint d’ailleurs ce qu’on retrouve dans les discussions sur le process CRO en 5 étapes développé par les mêmes experts dans un épisode précédent.
Les tests qui font vraiment bouger les chiffres (et ceux qui surprennent tout le monde)
Ce qui m’a scotché dans cette partie de la conversation, c’est la liste des tests à fort impact. Parce qu’elle mélange des évidences et des trucs auxquels personne ne pense.
Les images d’abord. Main Roast a testé image produit seul versus image produit avec ses composantes autour. Les composantes ont explosé l’image seule. Logique – mais combien de boutiques ont encore leurs photos sur fond blanc sans contexte ? Et surtout : dans le secteur du linge de lit, le packshot marche bien. Dans la mode, c’est le mannequin. Dans le meuble, c’est la mise en situation. Il n’y a pas de règle universelle – il y a un test à faire pour chaque verticale.
Les prix ensuite. Tester des variantes de prix, y compris à la hausse. Laurent l’explique clairement :
Vous seriez vachement surpris de savoir que des fois des prix plus chers permettent de mieux vendre parce que justement la valeur perçue est plus grande.
L’exemple de la montre est caricatural mais il dit quelque chose de vrai sur la psychologie d’achat. Une montre à 200 euros dans un univers luxe, ça sent la contrefaçon. À 2000, les gens commencent à construire une justification rationnelle autour de l’achat.
Et puis il y a le test dont personne ne parle : la taille de police. Passer de 14px à 16px en desktop. Pablo a un client qui résiste encore à ce changement – et Pablo est convaincu que le jour où ce client cédera, sa conversion va suivre. Parce que le confort de lecture et le taux de conversion sont liés. Si les gens doivent forcer pour lire, ils partent. C’est aussi bête que ça.
Sur la question de la page produit et du paiement fractionné, l’expérience avec une marque de luxe est particulièrement parlante. Afficher Alma x2 x3 x4 sur une page produit premium a fait chuter le taux d’ajout au panier. L’accessibilité financière signalée par le paiement en plusieurs fois contredisait le positionnement premium de la marque. Le test a tranché ce que l’intuition ne pouvait pas décider seule. À ce sujet, l’épisode sur le paiement en 1 clic pour booster les conversions explore l’autre face de cette question.
- Tester texte court versus texte long sur les landing pages – pas de règle universelle ici non plus
- Tester l’USP en homepage, les titres produit, les angles marketing sur différentes landing pages
- Tester les avis clients en version texte versus vidéo, en ciblant chaque avis sur un angle marketing précis
Et sur les pages collection : « ajouter au panier » versus « plus d’informations » pour naviguer vers la page produit. Pablo et Laurent étaient convaincus que le bouton d’achat direct allait s’imposer. Résultat : 50-50. Le test a complètement contredit leur intuition.
Combien de tests par mois – et sur quels outils pour un ab test e-commerce sérieux
La question du volume de tests est sous-estimée. Beaucoup pensent qu’un test par mois, c’est déjà bien. En réalité, si tu as plusieurs typologies de pages – homepage, pages collection, pages produit, landing pages – tu peux faire tourner plusieurs tests en parallèle simultanément. Chaque test sur sa propre page, sans interférence.
Pablo calcule : entre 1 et 2 tests par typologie par mois sur 4 semaines. Avec 4-5 typologies de pages, tu arrives vite à 7-10 tests validés par mois. C’est un rythme qui transforme une boutique en 6 mois – enfin, à condition d’avoir les 1000 visiteurs journaliers pour que les résultats tiennent.
Sur les outils, Pablo et Laurent sont assez directs. Google Optimize n’existe plus – et Optimize 360 va devenir payant ou l’est déjà selon les sources. Ce qui reste :
Pour les petits budgets : Hotjar (ou Ojar comme il est parfois prononcé dans le podcast) et Microsoft Clarity, qui est gratuit et développé par Microsoft – ce qui est rare dans le secteur. Crazy Egg pour ceux qui veulent combiner heatmaps et ab testing. IntelliJ pour les boutiques Shopify.
Pour les budgets intermédiaires : VWO, que Pablo et Laurent considèrent comme le meilleur rapport qualité-prix du marché actuellement. L’offre gratuite permet déjà 30 000 sessions par mois – suffisant pour démarrer. Et Convert.com, recommandé par Sébastien Tortu (dont l’épisode sur les exemples concrets pour optimiser le taux de conversion vaut aussi le détour), présenté comme très agressif sur le rapport qualité-prix.
Pour les gros budgets : Kameleoon et AB Tasty. Des outils qui coûtent très cher à l’année – réservés aux e-commerces qui tournent vraiment ou aux groupes qui peuvent absorber le coût.
La connexion entre ton outil d’ab testing et GA4 est recommandée quand la plateforme le propose. Ça te permet de voir non seulement quelle variante convertit mieux, mais aussi quelle audience répond différemment – ce que la plupart des outils standalone ne te donnent pas nativement.
Ce que l’épisode ne dit pas – et qui mérite d’être dit
Il faut être honnête sur une limite de cette approche. Tout ce framework – RPU, p value, 1000 visiteurs par jour, 2-3 semaines par test – suppose une boutique avec un trafic organique stable et diversifié. Pour les marques qui vivent quasi-exclusivement de l’ads payant avec des budgets saisonniers, c’est plus compliqué. Les pics de dépense publicitaire créent exactement le même problème que les pics d’influence dont parle Nali.
Et les meilleures pratiques pour doubler son taux de conversion documentées dans l’épisode suivant de la même série montrent que l’ab testing s’inscrit dans un process plus large – avec une phase d’audit, de priorisation par impact potentiel, avant même de lancer le premier test.
Ce qui m’agace dans beaucoup de contenus CRO, c’est l’idée que « tester c’est facile ». Tester bien – avec le bon trafic, la bonne durée, la bonne métrique et un outil qui calcule la p value – c’est un vrai travail. Pablo et Laurent le font comprendre sans le dire explicitement : leur valeur ajoutée, c’est autant de savoir quoi tester que de savoir comment lire ce que le test raconte.
La question que je me pose en sortant de cet épisode – et que j’aurais voulu qu’on creuse davantage – c’est celle du coût d’opportunité. Quand tu immobilises une page pendant 3 semaines sur un test, tu renonces à d’autres changements. Comment Uxia arbitre entre vitesse d’exécution et rigueur statistique quand un client est sous pression ?
