Les robots ont dépassé les humains. Selon Matthew Prince, PDG de Cloudflare, le trafic automatisé représente désormais 57,3 % des requêtes HTTP vers des contenus HTML dans le monde, contre 42,7 % pour les humains. Les chiffres varient légèrement selon les sources et les périmètres (entre 57,3 % et 57,5 %), mais le constat est le même.

Plus tôt que prévu

Matthew Prince avait prédit ce basculement pour 2027 lors du festival SXSW en mars 2026. Il est intervenu dès le mois de juin. Les robots d'exploration des moteurs, les collecteurs de données pour l'IA et les agents qui naviguent pour le compte d'utilisateurs expliquent cette accélération.

Ce que cela change pour les marketeurs

La mesure d'audience

Une partie croissante des « visites » n'est pas humaine. Les outils d'analyse filtrent la plupart des robots connus, mais pas tous. Un pic de trafic inexpliqué, un taux de rebond anormal ou des conversions qui ne suivent pas méritent une vérification. Des outils comme Microsoft Clarity commencent à isoler les visites d'agents d'IA.

La charge serveur et les coûts

Plus de robots, c'est plus de requêtes à servir. Les sites doivent distinguer les robots utiles (moteurs, agents d'achat) des collecteurs abusifs, et adapter leurs règles d'accès.

La stratégie vis-à-vis de l'IA

Bloquer tous les robots d'IA protège vos contenus, mais peut vous rendre invisible dans les réponses des assistants. Les nouveaux contrôles permettent des choix plus fins, comme le détaille notre article sur les options de Bing et Google.

Les agents, une audience à part entière

Parmi ces robots, les agents qui achètent ou réservent pour un client représentent une opportunité. Les entreprises qui les accueillent dans de bonnes conditions, avec des fiches produits lisibles et des parcours adaptés, prendront l'avantage. Nous avons détaillé les trois stratégies possibles face aux agents et la manière de rendre ses produits visibles dans les IA.

Questions fréquentes

Tous les robots sont-ils indésirables ?

Non. Les robots des moteurs de recherche, les outils de surveillance, certains agents d'achat et les services d'aperçu de liens sont utiles. Le problème vient des robots abusifs : collecte massive de contenus, tentatives de fraude, tests de mots de passe.

Comment savoir quelle part de mon trafic est automatisée ?

Les logs du serveur montrent toutes les requêtes, y compris celles des robots qui n'exécutent pas les scripts de mesure. Les outils de protection comme celui de Cloudflare classent aussi le trafic par type. Votre outil d'analyse d'audience, lui, filtre une partie des robots connus.

Faut-il bloquer les robots d'IA ?

C'est un arbitrage entre protection des contenus et visibilité dans les réponses des assistants. Les nouveaux contrôles permettent de distinguer entraînement et usage dans les réponses : voyez les options de Bing et Google.

Les réglages à passer en revue

  • Règles du robots.txt pour les principaux robots d'IA.
  • Protection contre les robots abusifs au niveau de l'hébergement ou du CDN.
  • Filtrage des robots dans l'outil d'analyse.
  • Surveillance de la charge serveur et des pics de requêtes.

Source : Search Engine Land (Cloudflare: Bots now make up 57% of webpage requests), complété par des sources tierces. Article original rédigé par la rédaction de Socialcomarket.