Les tests A/B se concluent généralement par deux pourcentages : l’un pour la version de contrôle, l’autre pour la variante. Une variante peut afficher un taux de conversion plus élevé, mais la simple différence observée ne permet pas à elle seule de déterminer si cette amélioration est suffisamment importante, stable et fiable pour étayer une décision.
Utiliser l'intelligence artificielle de graphisme peut faciliter la présentation des résultats expérimentaux, mais le graphique doit conserver le contexte important. La taille de l'échantillon, la variation absolue, le gain relatif, la période de test et l'incertitude statistique ne doivent pas disparaître derrière une visualisation soignée.
Les graphiques de test A/B nécessitent plus que deux pourcentages
Supposons que la version de contrôle affiche un taux de conversion de 8,0 % et que la variante affiche un taux de 8,4 %. Un graphique peut montrer que le taux de la variante est plus élevé, mais cela ne prouve pas automatiquement que cette différence est significative.
Cette différence peut reposer sur des milliers de visiteurs ou seulement sur un petit nombre de sessions. Elle peut rester constante tout au long du test ou apparaître à la suite d’une journée exceptionnellement favorable. Le graphique doit donc résumer l’expérience sans prétendre remplacer l’analyse statistique.
Les plateformes de test A/B ou les systèmes d'analyse doivent rester responsables de l'attribution des groupes d'expérimentation, du calcul des échantillons, des intervalles de confiance et des tests de significativité. Un outil de création de graphiques est particulièrement utile une fois que ces résultats ont été exportés pour être examinés, rapportés ou présentés.
Préparer les résultats de l'expérience avant de créer le graphique
Chaque ligne doit correspondre à une version de test, un segment d'audience ou une période de reporting. Les données doivent conserver à la fois le résultat et les informations nécessaires à son interprétation.
Visiteurs et conversions
Enregistrez le nombre de visiteurs ou d'utilisateurs éligibles attribués à chaque version, ainsi que le nombre de personnes ayant effectué l'action prévue.
Un taux de conversion sans indication de la taille de l'échantillon peut être trompeur. Un taux de 10 % basé sur 20 utilisateurs n'apporte pas le même niveau de preuve qu'un taux de 10 % basé sur 20 000 utilisateurs.
Taux de conversion
Calculez le taux de conversion de manière cohérente :
Taux de conversion = Nombre de conversions ÷ Nombre de visiteurs × 100
Les deux versions doivent utiliser la même définition de conversion. Une version ne doit pas compter les achats finalisés tandis que l'autre compte les clics sur le bouton de validation de commande.
Différence absolue
La différence absolue correspond à la variation en points de pourcentage entre le groupe de test et le groupe de contrôle :
Différence absolue = Taux du groupe variant − Taux du groupe témoin
Lorsque le groupe témoin affiche un taux de conversion de 8,0 % et que la variante affiche un taux de conversion de 8,4 %, l’amélioration absolue s’élève à 0,4 point de pourcentage.
Lift relatif
Le relatif d'amélioration compare l'amélioration par rapport au taux de contrôle initial :
Lift relatif = \(Taux de la variante − Taux du groupe témoin\) ÷ Taux du groupe témoin × 100
Cette même variation, qui passe de 8,0 % à 8,4 %, correspond à une hausse relative de 5 %. Les rapports ne doivent pas décrire cette évolution uniquement comme une « augmentation de 5 % » sans indiquer également la différence absolue de 0,4 point.
Lorsque le taux de conversion du groupe de contrôle est nul, le gain relatif n'est pas défini. Dans ce cas, indiquez la différence absolue au lieu de calculer un gain en pourcentage.
Résultats des tests statistiques
Conservez l'intervalle de confiance, le résultat de signification ou l'état de décision généré par la plateforme expérimentale.
L'Institut national des normes et de la technologie documente les intervalles de confiance pour les différences entre proportions. C'est un rappel utile que deux taux de conversion doivent être évalués en tenant compte de l'incertitude, et pas seulement en se basant sur l'écart apparent entre eux.
Choisissez un graphique adapté à la question de l'examen
Différents graphiques répondent à différentes questions. Le format doit être choisi en fonction de ce que l'équipe doit examiner.
Barres groupées : Comparer les taux de conversion finaux
Un graphique à barres groupées permet d'afficher côte à côte les taux de conversion du groupe de contrôle et de la variante.
Cela fonctionne parfaitement pour un résumé final d'expérience, en particulier lorsque le rapport affiche également à proximité le nombre de visiteurs, les conversions, l'écart absolu et le gain relatif.
Évitez de raccourcir l'axe vertical simplement pour donner l'impression qu'une petite amélioration est spectaculaire. Lorsque les barres représentent une ampleur, une ligne de base à zéro permet la comparaison la plus honnête.
Lorsque des intervalles de confiance sont disponibles depuis la plateforme expérimentale, intégrez-les dans le graphique ou les notes d’accompagnement, au lieu de présenter uniquement les taux de conversion.
Les graphiques linéaires montrent une stabilité pendant le test
Un graphique linéaire peut afficher les taux de conversion quotidiens ou hebdomadaires pour les deux versions.
Cela aide les évaluateurs à vérifier si la variante est restée systématiquement plus performante ou si le résultat final dépendait d’un pic temporaire. Cependant, les fluctuations quotidiennes ne doivent pas être interprétées comme des conclusions distinctes.
Les graphiques de séries temporelles sont descriptifs. Les équipes ne doivent pas désigner de vainqueur sur la base de fluctuations quotidiennes avant que la période de test prévue et les exigences en matière d'échantillons ne soient remplies.
Des graphiques distincts permettent de clarifier les segments d'audience
Les résultats peuvent varier entre les nouveaux utilisateurs et les utilisateurs de retour, les visiteurs sur ordinateur et sur mobile, ou les différentes sources de trafic.
Lorsque les résultats par segment sont importants, créez des graphiques distincts. Ajouter trop de groupes d'audience à une seule visualisation peut rendre l'expérience plus difficile à interpréter.
L’analyse par segment doit également être planifiée avec soin. Ne sélectionner que le groupe le plus performant après avoir examiné les résultats peut conduire à une conclusion trompeuse sur l’ensemble du test.
Créez le graphique de reporting avec AI Graph Generator
Une fois que la plateforme expérimentale a généré les données finales, un flux de travail de graphe d'IA peut transformer les résultats exportés en une visualisation de rapport plus claire.
Organiser les données exportées
Les colonnes utiles sont les suivantes :
- Version
- Visiteurs
- Conversions
- Taux de conversion
- Différence absolue
- Lift relatif
- Intervalle de confiance
- Statut du test
Conservez les valeurs en points de pourcentage et les variations en pourcentage dans des colonnes distinctes. Elles décrivent différents types de variations et ne doivent pas partager une étiquette ambiguë telle que « Amélioration ».
Décrire la comparaison requise
Une consigne claire pourrait être :
Créez un graphique en barres groupées comparant les taux de conversion du groupe témoin et de la variante. Affichez le nombre de visiteurs et la différence absolue en points de pourcentage, et n'exagérez pas l'échelle verticale.
Un générateur de graphiques peut créer la structure visuelle, mais l'instruction ne doit pas lui demander d'inventer une signification statistique, des intervalles de confiance ou des informations manquantes sur l'échantillon.
Vérifier le résultat généré
Le Générateur de graphiques IA de ChartGen prend en charge le téléchargement de fichiers CSV et Excel, les demandes de graphiques en langage naturel, plusieurs types de graphiques, ainsi que des ajustements sur les titres, axes, étiquettes, légendes et le style.
Après la génération, confirmer que :
- le groupe témoin et le groupe variant n'ont pas été inversés ;
- les tailles d'échantillon correspondent au rapport source ;
- les points de pourcentage et les pourcentages relatifs sont correctement étiquetés ;
- l'axe n'exagère pas une différence mineure ;
- la période de test et le public cible sont identifiés ;
- les intervalles de confiance correspondent à l'analyse initiale ;
- ce graphique n’affirme aucune certitude statistique que l’analyse source n’a pas établie.
Les choix courants en matière de graphique exagèrent les résultats des tests
Un axe tronqué peut faire apparaître une faible différence de taux de conversion bien plus importante qu'elle ne l'est en réalité. Lorsque la variation absolue est minime, le fait de ne montrer que le gain relatif peut entraîner le même problème.
Supprimer la taille de l'échantillon masque également le fait que la comparaison repose ou non sur un nombre suffisant d'observations. Un graphique qui qualifie une version de « gagnante » avant que la plateforme d'expérimentation n'aboutisse à une décision valide peut transformer une fluctuation précoce en une conclusion erronée.
Une autre erreur consiste à ne sélectionner que le segment d'audience le plus performant. Lorsqu'une variante améliore les conversions sur mobile mais réduit celles sur ordinateur, le rapport ne doit pas présenter le résultat mobile comme celui de l'ensemble du test.
Les équipes doivent également éviter de considérer le graphique de reporting comme le test statistique lui-même : le graphique ne fait que communiquer le résultat ; elle ne permet pas de déterminer si la conception de l’expérience, la répartition des échantillons, la durée du test ou le calcul de la significativité sont valides.
Les petits changements de conversion nécessitent un contexte honnête
Imaginez un test sur une page d'inscription où le groupe témoin affiche un taux de conversion de 8,0 % et la variante un taux de conversion de 8,4 %.
Cette variante affiche une hausse relative de 5 %, ce qui peut sembler considérable. Cependant, l’amélioration absolue ne s’élève qu’à 0,4 point de pourcentage. L’équipe doit encore prendre en compte le nombre d’utilisateurs inclus, l’intervalle de confiance, la durée du test, ainsi que la stabilité de la modification sur les segments importants.
Un graphique clair affiche les deux taux sans exagérer leur différence visuelle. Des étiquettes complémentaires fournissent ensuite la variation absolue, l'amélioration relative, la taille de l'échantillon, l'intervalle de confiance et le statut du test.
Des graphiques de test A/B clairs facilitent l’examen, au lieu de le remplacer
Les graphiques de test A / B devraient aider les équipes à comprendre la taille, la direction et la cohérence d'un résultat sans présenter une petite différence visible comme preuve automatique de succès.
L'IA de graphique peut réduire le travail manuel nécessaire pour transformer les résultats d'expériences exportés en rapport. L'interprétation finale dépend toujours de calculs corrects, d'échantillons adéquats, de méthodes d'expérimentation fiables et d'un examen attentif.
Ainsi, un graphique pertinent met en évidence les évolutions constatées, tout en restant fidèle à ce que les données disponibles peuvent — et ne peuvent pas — démontrer.