Pendant des années, la consigne de Google a été claire : laissez Googlebot accéder à toutes les ressources qu'un internaute voit, CSS et JavaScript compris. Une question posée sur Reddit vient pourtant rappeler qu'il existe des exceptions légitimes.

La question : masquer une popup de vérification d'âge

Un internaute décrit un site hypothétique soumis à une obligation légale : afficher une popup de vérification d'âge. Celle-ci est hébergée sur un domaine distinct et insérée dans la page via une API. Sa question : ajouter une règle Disallow dans le robots.txt du domaine de la popup empêcherait-il Google de l'afficher lors du rendu ?

La réponse de John Mueller

Le porte-parole de Google confirme que cette méthode fonctionne en règle générale : si Googlebot ne peut pas récupérer la ressource, il ne peut pas l'afficher lors du rendu. Il propose aussi une alternative : bloquer directement le fichier JavaScript qui déclenche la popup.

Cette réponse est cohérente avec la logique de Google. La popup ne fait pas partie du contenu principal de la page. La masquer à Googlebot ne trompe pas le moteur sur ce que contient la page : cela lui évite seulement d'indexer un écran intermédiaire sans intérêt.

Pourquoi la prudence reste de mise

À l'époque où Google commençait à effectuer le rendu des pages, certains sites qui bloquaient leurs fichiers CSS et JavaScript ont temporairement perdu des positions. Le moteur ne pouvait plus voir la page comme un internaute. Le risque est toujours le même aujourd'hui : un blocage trop large peut empêcher Google de comprendre la mise en page, la version mobile ou même le contenu.

Avant de bloquer une ressource, posez-vous trois questions :

  • Ce script affiche-t-il du contenu utile à la compréhension de la page ? Si oui, ne le bloquez pas.
  • Le blocage modifie-t-il l'affichage mobile ou la structure de la page ? Testez avec l'outil d'inspection d'URL de la Search Console.
  • Cherchez-vous à montrer à Google autre chose qu'à vos visiteurs ? Si oui, vous êtes proche du cloaking.

Robots.txt n'est pas un outil de désindexation

Ce cas rappelle aussi les limites du fichier. Google le répète dans son guide anti-spam récemment mis à jour : robots.txt empêche l'exploration, pas l'indexation. Pour retirer une page des résultats, il faut un noindex, comme nous le détaillons dans notre article sur les pages partageables. Le fichier sert aussi désormais à exprimer ses préférences d'entraînement des IA.

Pour aller plus loin sur les bonnes pratiques de rendu, consultez notre check-list des fonctionnalités SEO indispensables d'un CMS et l'avis de Google sur le rôle du SEO technique à l'ère de l'IA.

Source : Search Engine Journal (Google Says It’s Okay To Block Some JavaScript Resources With Robots.txt). Article original rédigé par la rédaction de Socialcomarket.