Google, Microsoft, Anthropic et OpenAI veulent un robots.txt commun

Un signal commun dans un fichier familier

Dans un article publié le 6 novembre, Next rapporte que Google, Microsoft, Anthropic et OpenAI veulent partager une même règle dans robots.txt. Leur objectif : permettre à un site d’indiquer s’il accepte ou refuse l’utilisation de ses contenus pour l’entraînement de modèles d’IA générative.

Le texte s’appelle Machine-Readable Training Preference Signal. Il a été écrit par Kevin Kelley, ingénieur chez Anthropic, et vise une normalisation par l’IETF, l’organisme chargé des standards techniques d’Internet. Le brouillon doit expirer le 3 mai 2027 si aucune nouvelle version n’est publiée d’ici là. Même les standards provisoires ont donc une date de péremption : le web aime les biscuits, mais préfère les brouillons.

Une ligne pour plusieurs robots

Aujourd’hui, un éditeur qui veut refuser l’entraînement doit viser séparément les robots concernés. Next cite notamment GPTBot pour OpenAI et Google-Extended pour Google. La proposition ajoute un nouveau jeton, __usage_ai-training, placé dans la ligne User-Agent.

Un site pourrait alors exprimer une préférence commune avec Disallow pour refuser l’entraînement ou Allow pour l’autoriser, chemin par chemin. Le brouillon prévoit ainsi de bloquer l’ensemble du site tout en laissant accessible un espace presse. Le principe est plus lisible pour l’éditeur : une règle déclarée une fois, à condition que les entreprises concernées acceptent de la lire.

Les quatre groupes ont annoncé le 30 octobre qu’ils respecteraient ce signal, avec des calendriers de prise en charge différents dans les prochains mois. La proposition ne transforme donc pas robots.txt en serrure universelle. Elle ajoute plutôt une pancarte commune sur une porte déjà connue des robots d’exploration.

Le refus ne ferme pas la porte

Première limite : le nouveau jeton ne bloque pas l’exploration d’un site. Les règles qui concernent les robots continuent de s’appliquer séparément. Un contenu peut donc être récupéré sans que cette directive décide, à elle seule, de son usage pour l’entraînement.

Deuxième limite : le signal est déclaratif et volontaire. Il ne lie que les fournisseurs qui s’engagent à le respecter, et le brouillon ne prévoit ni contrôle ni sanction. Un éditeur n’a aucun moyen de vérifier qu’un contenu refusé n’a pas servi à entraîner un modèle. Le texte ne concerne en outre que les contenus récupérés après son ajout : il ne retire rien des modèles déjà entraînés.

Une règle sans arbitre

OpenAI présente cette démarche comme volontaire, et robots.txt n’a lui-même aucune valeur contraignante. Les entreprises qui ne participent pas à l’initiative ne sont pas concernées ; Next cite Apple, Amazon et Meta parmi celles qui ne s’y sont pas engagées. Rien n’oblige non plus les autres développeurs de modèles à lire ce nouveau jeton, pas davantage que les robots qui ignorent déjà robots.txt.

L’idée a le mérite de remplacer une collection de réglages séparés par un signal compréhensible. Mais son efficacité dépend entièrement de la bonne volonté des destinataires et de la possibilité, pour un éditeur, de leur faire confiance sans moyen de contrôle. C’est une poignée de main numérique : pratique pour se reconnaître, nettement moins utile si l’un des interlocuteurs décide de ne pas serrer la main.