La façon dont un internaute formule sa question à ChatGPT change sensiblement la manière dont l'assistant parle d'une marque. Et l'effet est asymétrique : une formulation négative pèse environ deux fois plus qu'une formulation positive. C'est le principal enseignement d'une étude menée par Celeste Gonzalez, de Lastmile Retail, avec la plateforme SE Ranking.

La méthode

Les chercheurs ont soumis 180 questions, positives, neutres et négatives, générant 900 réponses de ChatGPT. Chaque réponse a été notée selon la tonalité exprimée envers la marque, sur une échelle de -100 à +100.

Les résultats

  • Questions négatives : score moyen de -36.
  • Questions neutres : +20.
  • Questions positives : +46.

Par rapport à une question neutre, une formulation négative fait donc perdre 56 points, quand une formulation positive n'en fait gagner que 26. Même lorsque la question n'était pas la plus extrême, la tournure négative tirait la réponse vers le bas.

Des réponses peu stables

L'étude pointe aussi l'instabilité des réponses : seules 44 % des questions ont obtenu la même tonalité sur les cinq essais. 96 % ont toutefois produit une tonalité majoritaire. Et les comparaisons entre marques variaient fortement lorsque l'ordre de présentation de leurs défauts était inversé.

Ces résultats nuancent une étude BrightEdge publiée plus tôt dans l'année, selon laquelle les mentions négatives restent rares dans ChatGPT (environ 1,6 % des mentions de marque). Rares, peut-être, mais très sensibles à la formulation.

Ce que les marques peuvent faire

  • Tester les questions qui fâchent : « problèmes avec… », « pourquoi éviter… », « avis négatifs sur… ». Ce sont celles qui façonnent l'image la plus défavorable.
  • Répondre publiquement aux critiques récurrentes, sur votre site et là où elles apparaissent (avis, forums).
  • Publier des contenus factuels sur vos limites et leurs solutions, que les IA peuvent reprendre.
  • Répéter les mesures plusieurs fois, compte tenu de l'instabilité des réponses.

Pour structurer ce suivi, appuyez-vous sur le palier « exactitude » de notre méthode de mesure de la visibilité IA, et travaillez la clarté de votre positionnement, comme l'explique notre article sur ce que les IA comprennent mal des marques. À lire aussi : la place de la visibilité IA dans le mix marketing.

Questions fréquentes

Comment la tonalité a-t-elle été mesurée ?

Chaque réponse de ChatGPT a reçu un score de -100 à +100 selon la manière dont elle présentait la marque. Les chercheurs ont comparé les moyennes selon que la question était formulée de façon positive, neutre ou négative.

Pourquoi les réponses varient-elles d'un essai à l'autre ?

Les modèles de langage produisent leurs réponses de manière probabiliste : une même question peut donner des réponses différentes. C'est pourquoi l'étude a répété chaque question cinq fois, et pourquoi toute mesure de visibilité IA doit reposer sur plusieurs essais.

Peut-on influencer la tonalité des réponses ?

Indirectement, en traitant les causes des critiques et en publiant des informations claires et vérifiables sur les points sensibles. Les IA reprennent ce qu'elles trouvent : des critiques sans réponse ont plus de chances d'apparaître que des critiques documentées et traitées.

Une liste de questions « sensibles » à tester

  • « Quels sont les problèmes avec [marque] ? »
  • « Pourquoi ne pas choisir [marque] ? »
  • « [Marque] est-elle fiable ? »
  • « [Marque] ou [concurrent] : lequel éviter ? »
  • « Avis négatifs sur [produit] »

Source : Search Engine Land (Negative prompts have 2x impact on ChatGPT brand sentiment), complété par des sources tierces. Article original rédigé par la rédaction de Socialcomarket.