Google, Microsoft et OpenAI ont annoncé leur intention de respecter une ligne commune dans le robots.txt pour exprimer ses préférences en matière d'entraînement des IA. Un site pourrait ainsi formuler une seule fois son choix, au lieu d'écrire des règles pour chaque robot d'exploration.

D'où vient ce standard

La proposition figure dans un brouillon (Internet Draft) soumis par Kevin Kelley, d'Anthropic, au groupe de travail AI Preferences de l'IETF. Il s'agit d'un brouillon individuel, qui ne représente pas une démarche officielle de normalisation. Anthropic a indiqué avoir commencé à développer sa prise en charge. Selon les calendriers annoncés, aucune des trois entreprises ne la prend encore en compte.

Comment fonctionne la ligne commune

Le brouillon n'ajoute pas de nouvelle directive au robots.txt. Il s'appuie sur un « jeton de politique », __usage_ai-training, utilisé comme un nom de robot classique, avec les habituelles règles Allow et Disallow. Exemple pour refuser l'entraînement sur tout le site, sauf le dossier presse :

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Quelques règles importantes :

  • L'entraînement IA y est défini comme l'utilisation de contenus pour modifier les paramètres d'un modèle d'IA générative. Les modèles non génératifs (classification, classement) ne sont pas concernés.
  • Le groupe générique User-Agent: * ne s'applique jamais à ce jeton.
  • Un fichier sans groupe __usage_ai-training signifie « aucune préférence exprimée ».
  • Les règles déjà présentes dans les robots.txt ne sont pas considérées comme une préférence d'entraînement partagée.

Les positions de Google et Microsoft

Google traitera cette ligne comme un blocage Google-Extended lorsque le site ne spécifie pas Google-Extended, et ce contrôle s'appliquera aussi à l'ancrage (grounding) dans les applications Gemini. Microsoft demande aux sites qui utilisent ses balises NoArchive et NoCache de passer aux nouvelles préférences d'ici le 1er mars 2027.

Faut-il bloquer l'entraînement ?

C'est une décision stratégique, pas seulement technique. Refuser l'entraînement protège vos contenus, mais pourrait réduire la connaissance que les modèles ont de votre marque. Point de vigilance avec Google : si le blocage s'étend à l'ancrage dans Gemini, il peut affecter votre présence dans certaines réponses. Pesez le pour et le contre avec les indicateurs de visibilité IA.

Ce mouvement intervient dans un contexte tendu, illustré par le procès du New York Times contre Brave. Côté technique, rappelons que le robots.txt contrôle l'exploration, pas l'indexation : nous détaillons ses usages dans notre article sur le blocage de ressources JavaScript.

Source : Search Engine Journal (Google, Microsoft & OpenAI Plan To Honor Shared AI Training Opt-Out). Article original rédigé par la rédaction de Socialcomarket.