Un outil d'intelligence artificielle est capable de lire un tableur, de générer plusieurs graphiques et d'expliquer les résultats avant que la plupart des gens n'aient même pas vérifié la première formule. Cette rapidité est utile, mais elle facilite aussi l'acceptation trop hâtive d'une réponse présentée comme certaine.
Afin d'identifier les points restant à vérifier, nous avons téléchargé un jeu de données e-commerce contrôlé sur six mois dans ChartGen, puis lui avons demandé de déterminer quel mois affichait les meilleures performances et ce qui avait provoqué cette évolution.
Le résultat n’était pas un simple succès ou échec. ChartGen a identifié l’évolution principale des revenus, l’a reliée aux commandes et à la valeur moyenne des commandes, et a repéré l’indicateur qui complexifiait le tableau. Une deuxième requête a considérablement simplifié la vérification des calculs.
Même dans ce cas, quelques étiquettes et hypothèses nécessitaient une révision humaine avant que le résultat ne soit prêt à être intégré dans un rapport.
Le jeu de données utilisé pour le test
Le fichier contenait six enregistrements mensuels et six champs :
Ce jeu de données a été volontairement réduit. Chaque pourcentage pouvait être recalculé manuellement, et il n'existait aucun champ relatif aux clients, aux campagnes, aux produits ou aux motifs de remboursement qui permettrait d'expliquer l'évolution d'un indicateur.
Nous avons d'abord demandé :
« Analyse ces données mensuelles de performance du commerce électronique. Quel mois a enregistré la meilleure performance, et qu’est-ce qui a provoqué cette évolution ? »
La première réponse était supérieure à un simple résumé des revenus
ChartGen a qualifié la hausse du chiffre d'affaires de juin de « dynamisme à double moteur », car le volume des commandes et la valeur moyenne des commandes ont tous deux augmenté. La société a également proposé plusieurs explications possibles, notamment une campagne de vente incitative, une modification de la gamme de produits ou une opération promotionnelle.
Plus important encore, l'analyse ne s'est pas limitée aux indicateurs positifs. Elle a qualifié le taux de remboursement de signal d'alarme et a conclu que le mois de juin affichait la meilleure performance brute, tandis que le bilan net était moins clair.
ChartGen a attribué la hausse du chiffre d'affaires de juin aux commandes et à la valeur moyenne des commandes, puis a nuancé ce résultat en raison de la flambée des remboursements.
Il s'agissait d'une première ébauche utile. La description d'un double levage correspondait aux données, et des termes tels que « suggère » indiquaient clairement que les causes proposées étaient des possibilités plutôt que des faits confirmés.
Une affirmation contenue dans le document allait toutefois au-delà des informations disponibles. La réponse indiquait qu’une croissance simultanée du volume de commandes et de la valeur moyenne des commandes était « relativement rare ». Les six enregistrements mensuels ne permettaient pas de déterminer à quel point ce schéma était inhabituel. Pour étayer cette affirmation, il faudrait disposer d’un jeu de données historiques plus volumineux ou d’une source externe.
Les explications possibles n’ont également jamais dépassé le stade d’hypothèses. Rien dans le tableur n’indiquait si ChartGen étudiait une promotion, une nouvelle catégorie de produits, une modification des tarifs ou une composition de clientèle différente.
Le chiffre d'affaires était correct, mais l'axe a modifié l'impression
Le premier graphique généré présentait les revenus mensuels de janvier à juin. Les six valeurs étaient toutes correctes, et le mois de juin était clairement indiqué à 120 000 dollars.
Le graphique de revenus généré utilise une valeur de référence de 80 000 $, ce qui fait que l'écart entre les barres mensuelles semble plus important.
L'axe vertical commençait à 80 000 dollars au lieu de zéro. Ce choix a fait que la barre de juin semblait environ deux fois plus haute que celle de janvier au-dessus de la ligne de base visible.
Le chiffre d'affaires réel est passé de 100 000 dollars à 120 000 dollars, ce qui représente une hausse de 20 %. Le graphique n'a pas modifié les valeurs, mais il a accordé plus de poids à la différence visuelle que ne le justifiaient les chiffres seuls.
Il s’agit d’une distinction importante dans l’analyse de graphiques par IA. Un libellé correct ne garantit pas une échelle visuelle neutre. La fonction d’analyse du gouvernement britannique indique dans ses consignes relatives aux graphiques qu’une interruption de l’axe numérique peut aider les lecteurs à percevoir une tendance étroite, mais qu’elle n’est pas toujours appropriée. Ici, la valeur de référence de 80 000 $ a accordé à une hausse de 20 % un poids visuel supérieur à ce qu’elle méritait.
Deux courbes ascendantes ne signifiaient pas que les échelles étaient comparables
ChartGen a également placé les commandes et la valeur moyenne des commandes sur un graphique linéaire à double axe.
Les commandes utilisent l'axe gauche, tandis que la valeur moyenne des commandes utilise une échelle distincte sur l'axe droit.
Le graphique montrait correctement que les deux indicateurs ont augmenté en juin. Cependant, les deux lignes utilisaient des unités et des axes différents : les commandes sur l'axe gauche et le montant en dollars par commande sur l'axe droit.
Leurs positions verticales ne pouvaient pas être comparées directement. Les lignes proches ne signifiaient pas que les deux indicateurs avaient la même ampleur, variaient du même pourcentage ou entretenaient un lien de causalité.
Le graphique a également conservé des étiquettes de type tableur telles que Average\_Order\_Value, et la légende a abrégé le nom du champ. Il s’agit là de problèmes de présentation mineurs, mais ils prennent de l’importance lorsqu’un graphique sort de l’espace de travail d’analyse et est intégré dans un rapport client.
La version la plus sûre consisterait à utiliser deux graphiques alignés avec le même axe mensuel, ou à indiquer clairement la variation en pourcentage de chaque indicateur au lieu d'inviter les lecteurs à comparer la hauteur des lignes.
Un graphique généré n’est pas prêt à être publié
La troisième sortie était destinée à illustrer l'évolution mensuelle du taux de remboursement. Son titre indiquait correctement que le taux avait atteint 5,02 % en juin, mais l'image exportée n'affichait qu'une ligne de référence moyenne à environ 2,48 %. Les six valeurs mensuelles et le pic observé en juin n'apparaissaient pas sur le graphique.
Nous avons exclu cette image des éléments visuels de l'article.
Ce n’était pas un problème lié au calcul sous-jacent, mais bien un problème lié à la représentation des données probantes. Un lecteur pouvait voir l’affirmation dans le sous-titre, mais ne pouvait pas la vérifier à partir du graphique lui-même.
Lorsque l’analyse écrite semble déjà cohérente, cette vérification est facile à négliger : assurez-vous que chaque graphique exporté affiche bien la série décrite dans son titre et sa légende.
Un second prompt a facilité l’audit du raisonnement
Nous avons ensuite demandé à ChartGen de n'utiliser que les données téléchargées, d'afficher ses calculs, de séparer les observations des explications et de repérer toute métrique qui contredisait la conclusion principale.
La deuxième réponse calculée :
Croissance du chiffre d'affaires de mai à juin : 9,09 %
Croissance des commandes : 3,40 %
Croissance de la valeur moyenne des commandes : 5,49 %
Croissance des remboursements : 161,9 %
Taux de remboursement : de 1,98 % à 5,02 %
Il a également vérifié si le chiffre d'affaires était cohérent avec le nombre de commandes multiplié par la valeur moyenne des commandes. Les légers écarts s'expliquent par le fait que les valeurs de la valeur moyenne des commandes sont stockées avec deux décimales.
La réponse de suivi a mis à jour les calculs et vérifié la cohérence des champs associés.
Cela s'est avéré plus utile qu'un autre résumé général. Il montrait l'origine des pourcentages et mettait en évidence les écarts liés à l'arrondi.
ChartGen a également séparé les explications possibles de ses observations. Les promotions, les nouvelles catégories de produits, les problèmes de qualité et le calendrier des remboursements ont été explicitement présentés comme des hypothèses que l'ensemble de données ne pouvait pas confirmer.
La deuxième réponse a clairement marqué les explications relatives à la campagne, au produit, à l'exécution et à la comptabilité comme des hypothèses non confirmées.
Cette séparation a rendu la réponse plus sûre à l'emploi. Elle a empêché qu'un scénario commercial plausible ne soit confondu avec un résultat contenu dans le tableur.
La réponse de vérification nécessite encore une vérification
La deuxième réponse a permis d'améliorer l'analyse, mais elle n'était pas prête à être copiée telle quelle dans un rapport.
« Moyenne du jeu de données » repose sur une référence erronée
Il a qualifié le taux de remboursement de 1,99 % de « moyenne du jeu de données ». Sur l’ensemble des six mois, la moyenne s’élevait à environ 2,48 %. Le chiffre de 1,99 % correspondait à la base de référence de janvier à mai, avant la hausse soudaine de juin. Ce chiffre était utile, mais l’étiquette qui lui était associée était erronée.
L'estimation du revenu net reposait sur trois hypothèses
La réponse a également estimé le chiffre d'affaires net de juin en multipliant le nombre de remboursements par la valeur moyenne des commandes, puis en soustrayant le résultat du chiffre d'affaires brut. Ce calcul arithmétique était compréhensible, mais le fichier source ne contenait pas les valeurs réelles des remboursements. Il n'indiquait pas non plus si les remboursements de juin concernaient des commandes passées au cours de ce même mois.
Cette estimation reposait sur au moins trois hypothèses :
- Toutes les commandes remboursées avaient la même valeur que la commande mensuelle moyenne.
- Tous les remboursements enregistrés en juin concernent les ventes de juin.
- Le champ Revenus n’avait pas encore été ajusté pour tenir compte des remboursements.
Cela pourrait être présenté comme un scénario, mais pas comme une observation purement factuelle.
Cette hausse de 164 % repose sur une base de référence imprécise
La réponse qualifiait également la hausse du taux de remboursement de 164 %, sans préciser la période de référence de la comparaison. En passant de 1,98 % en mai à 5,02 % en juin, la hausse relative s'élevait à environ 153,5 %. Une hausse de 164 % impliquerait une base de référence différente, proche du taux de 1,90 % enregistré en janvier.
Six mois n'ont pas suffi pour déposer une réclamation officielle relative à une valeur aberrante
Enfin, qualifier le mois de juin de valeur aberrante statistique sur la base de six observations mensuelles était une affirmation excessive. Par rapport à la fourchette observée entre janvier et mai, juin constituait clairement une anomalie. Pour parvenir à une conclusion statistique formelle, il faudrait disposer d’un historique plus long et d’une méthode adaptée au processus sous-jacent.
Aucun de ces problèmes n’a rendu la deuxième réponse inutile. Ils ont montré pourquoi une invite de vérification améliore le travail sans pour autant remplacer le réviseur.
La conclusion que nous publierions réellement
Après vérification des données sources, des calculs, des libellés et des hypothèses, le résultat peut être énoncé de manière plus claire :
Le mois de juin a enregistré le chiffre d'affaires brut, le volume de commandes et la valeur moyenne des commandes les plus élevés de l'ensemble du jeu de données sur six mois. Le chiffre d'affaires a augmenté de 9,09 % par rapport à mai, tandis que le volume de commandes a progressé de 3,40 % et la valeur moyenne des commandes a crû de 5,49 %.
Le résultat ne constitue pas une amélioration sans réserve. Le nombre de remboursements est passé de 42 à 110, et le taux de remboursement a augmenté de 1,98 % à 5,02 %, soit une hausse de 3,04 points de pourcentage.
Ce jeu de données ne comprend pas les montants de remboursement, les enregistrements au niveau des produits, les informations sur les campagnes ni les motifs de remboursement. Par conséquent, il ne permet pas de confirmer le chiffre d'affaires net du mois de juin ni d'expliquer ce qui a provoqué la hausse soudaine des remboursements.
Cette version conserve les résultats reproductibles et supprime les explications que le fichier ne peut pas fournir.
Quels sont les changements intervenus entre la première réponse et la version finale ?
La première réponse de ChartGen a été globalement satisfaisante. Elle a repéré le mois le plus significatif, identifié les deux facteurs à l'origine de la croissance du chiffre d'affaires, et détecté l'anomalie relative aux remboursements sans que cela lui soit demandé.
Le deuxième prompt a amélioré la réponse en exposant les calculs et en séparant les faits des hypothèses.
La révision humaine a tout de même modifié quatre éléments :
Le graphique des revenus nécessitait une ligne de base plus appropriée.
Le graphique de remboursement a dû être régénéré car sa série mensuelle n'était pas visible.
La base de référence du taux de remboursement nécessitait un libellé correct.
L’estimation du chiffre d’affaires net et les explications causales correspondantes devaient rester en dehors des conclusions vérifiées.
Voici une méthode pratique pour utiliser un Générateur de graphiques par IA : laissez-le effectuer la première analyse rapide, puis vérifiez les éléments qui nécessitent un contexte ou un jugement humain.
Un processus de revue simplifié pour les insights de graphiques générés par l'IA
Commencez par vérifier si le graphique comporte les champs, dates, unités et agrégations corrects. Recalculez la variation principale à partir du fichier source plutôt qu’à partir de l’étiquette du graphique.
Ensuite, examinez la visualisation elle-même. Vérifiez la ligne de base des axes, confirmez que toutes les séries annoncées sont visibles, et soyez vigilant lorsque deux indicateurs utilisent des échelles différentes.
Puis séparez trois types d'énoncés :
Valeurs copiées directement à partir des données
Résultats calculés à partir de ces valeurs
Explications nécessitant des informations externes au fichier
Enfin, posez une deuxième question conçue pour remettre en cause la première réponse. Demandez les formules, les indicateurs contradictoires, les hypothèses et les éléments de preuve manquants. La deuxième réponse doit également être examinée ; une réponse plus détaillée peut introduire de nouvelles hypothèses accompagnées de vérifications utiles.
Le résultat est fiable, mais seulement à condition d’être vérifié correctement
Ce test a abouti à une conclusion claire. ChartGen a identifié le schéma principal, mais son résultat n’était pas prêt à être publié sans une révision préalable.
Les chiffres de revenus, les calculs de mai à juin et la hausse soudaine des remboursements concordaient avec les données sources. Les revenus nets estimés et les causes proposées ne disposaient pas de suffisamment de preuves.
L'analyse de graphiques par IA est utile pour un premier examen rapide, mais ne constitue pas une preuve définitive. Vérifiez les valeurs, les calculs, la conception du graphique et les affirmations causales avant d'utiliser le résultat dans un rapport.
Essayez ChartGen avec votre fichier CSV ou Excel, puis utilisez une deuxième requête pour vérifier le résultat avant de le publier.