Votre pare-feu bloque peut-être déjà des clients. Pas des humains : des agents d'IA qui agissent pour eux. Google a publié le 17 novembre un guide technique pour autoriser Google-Agent dans les réseaux de diffusion de contenu (CDN), les pare-feu applicatifs (WAF) et les services de détection de robots.
Google-Agent n'est pas nouveau : c'est le nom utilisé par les agents hébergés sur l'infrastructure de Google pour naviguer sur le web et effectuer des actions à la demande d'un utilisateur. Ce qui est nouveau, c'est le mode d'emploi détaillé. Il arrive au moment où les agents commencent à réserver des rendez-vous, comme le montre l'arrivée de la prise de rendez-vous dans Ask Maps.
Un agent n'est pas un robot d'exploration
Googlebot explore le web pour l'index. Google-Agent, lui, visite une page parce qu'une personne lui a demandé quelque chose : trouver un créneau, vérifier un prix, ajouter un produit au panier. Google le classe parmi ses récupérateurs déclenchés par l'utilisateur. Conséquence importante : ce type d'accès ne suit pas les mêmes règles que l'exploration, et les bloquer revient à refuser une visite que quelqu'un a demandée.
Le problème, c'est que vos outils de sécurité voient arriver une navigation automatisée depuis des adresses de centres de données. Exactement ce qu'ils sont réglés pour arrêter. Nous avions vu dans notre article sur la part des robots dans le trafic web que les règles de blocage se sont durcies ; le guide de Google répond à cette situation.
Comment reconnaître une vraie requête Google-Agent
Selon la documentation, chaque requête de Google-Agent :
- contient « Google-Agent » dans l'en-tête
User-Agent; - provient d'une adresse IP listée dans le fichier
user-triggered-agents.jsonpublié par Google.
Google expérimente aussi le protocole Web Bot Auth, avec l'identité https://agent.bot.goog. Les requêtes participantes sont signées selon la norme HTTP Message Signatures (RFC 9421) et contiennent un en-tête Signature-Agent défini à g="https://agent.bot.goog", ainsi que des en-têtes Signature et Signature-Input. Les clés publiques de vérification sont publiées à une adresse dédiée sous ce domaine.
Ne vous fiez jamais au seul nom dans l'en-tête : n'importe quel robot peut écrire « Google-Agent ». C'est la combinaison avec l'adresse IP ou la signature qui fait foi.
Les règles à mettre en place
Certains fournisseurs de CDN et de pare-feu vérifient déjà Google-Agent automatiquement : consultez leur documentation. Sinon, Google propose cette logique :
- vérifier que l'en-tête
User-Agentcontient Google-Agent ; - vérifier que l'adresse IP figure dans
user-triggered-agents.json; - si la requête est signée, vérifier la signature selon Web Bot Auth ;
- pour les requêtes vérifiées, ne pas présenter de défi anti-robot.
Les pièges les plus courants
La partie dépannage du guide est la plus utile, parce qu'elle décrit les cas où l'autorisation est en place mais ne fonctionne pas :
- L'ordre des règles : votre autorisation doit passer avant les blocages généraux de centres de données, les règles anti-robots gérées et les politiques qui bloquent toute la catégorie « agents d'IA ».
- Les défis interactifs : il faut exempter les requêtes vérifiées des CAPTCHA et des défis JavaScript, y compris ceux qui apparaissent sur la recherche interne ou à l'envoi d'un formulaire.
- Le parcours complet : l'autorisation doit couvrir la recherche interne, les filtres, les fiches détaillées, l'ajout au panier, la réservation, et les appels techniques (XHR, GraphQL, sous-domaines d'API).
- Les limites de fréquence par IP : plusieurs utilisateurs partagent les mêmes adresses de sortie. Une limite par IP trop basse peut bloquer des agents légitimes.
- Les plages d'adresses évoluent : synchronisez vos règles avec le fichier publié.
- Les proxys et répartiteurs de charge doivent conserver l'adresse IP d'origine, l'en-tête User-Agent et les en-têtes de signature.
Faut-il autoriser Google-Agent ?
C'est une décision d'entreprise, pas seulement technique. Pour un site qui vend ou prend des rendez-vous, laisser passer un agent qui amène un client a du sens, surtout s'il est vérifié. Pour un site qui ne veut pas être utilisé par des agents, le blocage reste possible, en connaissance de cause. La compagnie United a par exemple choisi d'accepter l'indexation tout en demandant aux agents d'obtenir son accord, comme nous le racontions dans notre article sur sa politique. Pour une vue d'ensemble des options, voyez aussi les trois stratégies face aux agents d'IA.
Ce que vous pouvez faire
- Cherchez « Google-Agent » dans vos journaux serveur et dans les journaux de votre CDN : y a-t-il des requêtes, et quel code ont-elles reçu ?
- Vérifiez si votre fournisseur reconnaît déjà Google-Agent comme robot vérifié.
- Si vous bloquez la catégorie « agents d'IA » en bloc, ajoutez une exception vérifiée avant cette règle.
- Testez un parcours complet (recherche, fiche, panier ou réservation), pas seulement la page d'accueil.
- Ajoutez ce contrôle à votre audit : notre guide de l'audit GEO propose une étape dédiée à l'accès des robots.
Exemple de règle, en logique simple
Chaque fournisseur a sa syntaxe, mais la logique reste la même. Voici une règle décrite en langage courant, à traduire dans votre outil :
SI l'en-tête User-Agent contient "Google-Agent"
ET l'adresse IP appartient aux plages de user-triggered-agents.json
ALORS ne pas présenter de défi anti-robot
et ne pas appliquer la limite de fréquence par IP
SINON appliquer les règles habituelles
Placez cette règle avant vos règles de blocage générales. Et prévoyez une mise à jour automatique des plages d'adresses, par exemple une tâche planifiée qui télécharge le fichier publié par Google et met à jour la liste dans votre outil.
Ce qu'il faut surveiller après la mise en place
- Le volume de requêtes : un trafic Google-Agent en forte hausse peut signaler un usage croissant par vos clients, ou un robot qui usurpe le nom sans passer la vérification. Seules les requêtes vérifiées doivent bénéficier de l'exception.
- Les erreurs sur les actions : regardez les codes de réponse sur les pages de recherche interne, de panier et de réservation. Une page qui renvoie des erreurs 403 aux agents vérifiés indique une règle mal placée.
- La charge serveur : les agents naviguent comme des humains, mais peuvent multiplier les requêtes techniques. Si la charge augmente, ajustez la limite de fréquence au lieu de bloquer.
Côté statistiques, le trafic des agents n'apparaît pas toujours dans vos outils d'analyse, qui reposent souvent sur JavaScript. Les journaux serveur restent la source la plus fiable pour savoir ce qu'ils font sur votre site.
Sources : Google Search Central (Allow Google-Agent traffic) ; Search Engine Roundtable (New Google Search Help Document On How To Allow Google-Agent Traffic). Article original rédigé par la rédaction de Socialcomarket.
Questions fréquentes
Google-Agent respecte-t-il le robots.txt ?
Google le classe parmi les récupérateurs déclenchés par l'utilisateur, qui agissent à la demande d'une personne. Ce type de récupérateur n'obéit pas aux mêmes règles que l'exploration automatique : le contrôle se fait plutôt au niveau du serveur, du CDN ou du pare-feu.
Autoriser Google-Agent améliore-t-il le référencement ?
Rien ne l'indique. L'enjeu est que les actions demandées par les utilisateurs (réserver, acheter, se renseigner) aboutissent sur votre site plutôt que d'échouer.
Comment être sûr qu'une requête vient vraiment de Google ?
Vérifiez l'adresse IP dans le fichier publié par Google et, quand elle est présente, la signature Web Bot Auth. Le nom dans l'en-tête ne suffit jamais.
Commentaires
0 commentaires