Tester ses images Amazon en A/B avec Manage Your Experiments

Manage Your Experiments est le seul moyen de tester une image de fiche produit en A/B sur le trafic réel d'Amazon, et c'est gratuit. C'est aussi l'outil le plus susceptible de vous rendre un chiffre à l'air sérieux qui ne veut rien dire, parce que ce qui décide de la réussite d'un test d'image n'est pas le design : c'est de savoir si l'ASIN reçoit assez de sessions pour distinguer deux taux de conversion du bruit. Amazon ne publie aucun seuil de trafic. Voici donc ce qui est documenté, ce qu'il faut estimer, et comment lire un résultat sans se raconter d'histoires.

Qui peut lancer une expérience

Trois conditions, toutes issues de la documentation d'Amazon. Un plan de vente Professionnel. Être propriétaire de la marque et inscrit à Amazon Brand Registry, appartenir à la marque et être responsable de sa vente sur Amazon. Et un ASIN éligible, ce qu'Amazon définit comme appartenant à votre marque et ayant « reçu suffisamment de trafic ces dernières semaines pour produire des résultats valides ».

Toute l'affaire tient à cette troisième condition, qu'Amazon se garde délibérément de chiffrer. Aucun nombre de sessions hebdomadaires publié, aucun minimum de commandes, aucun tableau par catégorie. La vérification d'éligibilité consiste simplement à voir si l'ASIN apparaît dans l'outil : dans Seller Central, survolez Marques, ouvrez Manage Your Experiments et créez une expérience. Les produits incapables d'aboutir dans un délai raisonnable ne sont pas proposés. Quiconque vous cite un seuil précis l'a inventé ou déduit de son propre catalogue.

La disponibilité par place de marché mérite aussi d'être vérifiée plutôt que supposée. L'outil est né comme une fonctionnalité américaine et Amazon a depuis étendu des types d'expériences aux boutiques européennes ; quels types sont actifs dans quelle boutique a changé plus d'une fois. La référence est le menu Marques de votre propre Seller Central, pas un article de blog, celui-ci compris.

Ce que fait réellement l'outil

Les acheteurs qui arrivent sur votre fiche sont répartis au hasard en deux groupes : l'un voit la version A, l'autre la version B. Les deux sont des fiches en ligne, avec de l'argent réel en jeu. Vous pouvez tester des images, image principale comprise, ainsi que titres, puces, description et Contenu A+, et les expériences multi-attributs permettent de modifier plusieurs éléments à la fois. Les résultats se mettent à jour une fois par semaine jusqu'à la fin de l'expérience, et cela ne coûte rien.

La durée a deux modes. Par défaut, l'expérience tourne « jusqu'à significativité » : elle s'arrête quand Amazon estime disposer d'assez de données pour désigner un gagnant, ce qui, selon sa documentation, peut arriver dès quatre semaines. Si vous fixez une durée, Amazon recommande huit à dix semaines. Le rapport donne unités vendues, ventes, taux de conversion, unités par visiteur unique et taille d'échantillon, plus la probabilité qu'une version soit meilleure que l'autre et une projection de l'impact sur un an pour le gagnant.

Ce qui mérite d'être testé

La contrainte qui gouverne tout : chaque test coûte des semaines, vous en aurez donc une poignée par référence et par an. Dépensez-les sur des différences assez grandes pour déplacer un taux de conversion.

L'image principale, en premier et de loin. C'est la seule image qui agit à la fois sur le clic depuis les résultats de recherche et sur la conversion sur la fiche ; une modification s'y compose donc sur tout l'entonnoir. L'angle, la taille du produit dans le cadre, la présence ou non d'accessoires, le produit emballé contre le produit nu sont autant de variables légitimes à l'intérieur des règles du blanc pur.

La deuxième image. C'est le premier glissement de doigt sur mobile et l'emplacement à plus fort levier de la galerie. Tester quel argument l'occupe — le bénéfice principal, la question de la taille, ou le contenu du colis — est un vrai test.

L'ordre de la série. Faire passer le schéma de dimensions de la sixième à la troisième position est une expérience bon marché qui ne change rien aux visuels.

Ce qui ne vaut pas dix semaines : un changement de police, une nuance de bleu, un titre reformulé de « étanche » à « résistant à l'eau », une ombre portée légèrement différente. Ce sont de vraies décisions de design, mais on braque dessus le mauvais instrument. Les tailles d'effet sont très en dessous de ce qu'une fiche normale peut détecter : le résultat sera non concluant ou, pire, significatif par accident.

La réalité de la taille d'échantillon

C'est là que meurent la plupart des tests d'image, et l'arithmétique n'a rien de propre à Amazon. Le nombre de sessions nécessaires croît environ comme l'inverse du carré de l'effet recherché : diviser par deux l'amélioration que vous voulez détecter multiplie par quatre le trafic requis. Un test conçu pour attraper une hausse relative de 20 % est un exercice fondamentalement différent d'un test conçu pour 3 %, et un seul des deux est réaliste sur un ASIN de volume moyen.

Deux conséquences pratiques. D'abord, si votre fiche reçoit quelques centaines de sessions par semaine, seules les grandes différences sont détectables, ce qui plaide encore pour tester des concepts entiers plutôt que des détails. Ensuite, « pas de gagnant » est le dénouement honnête le plus fréquent, et il ne signifie pas que les images se valent : il signifie que le test n'a pas su les distinguer à ce niveau de trafic. Ce sont deux constats différents et un seul devrait modifier votre design.

Il y a aussi un coût qu'on oublie : pendant toute la durée du test, la moitié de vos vrais clients voit la version perdante. Sur un ASIN à fort trafic, c'est une erreur d'arrondi. En pleine saison sur votre meilleure vente, non — raison de faire ses tests d'images avant le quatrième trimestre plutôt que pendant.

Lire un résultat honnêtement

Quatre règles de discipline séparent un programme de test d'une machine à sous. Écrivez avant le lancement ce que vous attendez et de quelle ampleur : une prédiction consignée est la seule défense contre l'art d'expliquer n'importe quel résultat après coup. N'arrêtez pas une expérience en cours parce qu'une semaine intermédiaire est belle ; regarder un test en marche et le stopper sur un pic est le moyen le plus fiable de fabriquer un faux gagnant. Ne changez qu'une chose substantielle par expérience, sauf si vous menez délibérément un test multi-attributs, car un lot de modifications gagnant ne dit rien de la modification qui a gagné. Et vérifiez ce qui a bougé par ailleurs pendant la fenêtre : un changement de prix, un coupon, une rupture de stock chez un concurrent, une vague d'avis, un budget publicitaire déplacé. Un test n'est propre que si le reste de la fiche est resté immobile.

Si votre ASIN n'est pas éligible

La plupart des catalogues comptent plus de références inéligibles qu'éligibles, et la réponse n'est pas de simuler une expérience. Les services de panel montrent un visuel à une audience recrutée et renvoient des données de préférence en quelques heures : c'est de la préférence déclarée et non du comportement d'achat, donc une preuve plus faible, mais honnête sur sa faiblesse et utilisable à n'importe quel niveau de trafic. L'autre option est un avant-après séquentiel sur une fiche stable, réellement confondu par la saison, le prix, le classement et la publicité, et qui doit être traité comme un signal à creuser, pas comme un résultat. Et là où le trafic manque tout simplement, appliquez ce que les leaders de la catégorie ont déjà validé : les meilleures fiches de votre niche ont mené ces tests, et leurs séries d'images en sont le résultat visible.