OpenAI et Google soutiennent un signal commun dans robots.txt pour permettre aux sites de refuser l’utilisation de leurs contenus dans l’entraînement de modèles d’IA. L’idée est intéressante, mais il ne faut pas encore remplacer vos règles actuelles : OpenAI parle d’un déploiement dans les prochains mois et Google vise 2027.
Un seul signal pour plusieurs fournisseurs d’IA
Aujourd’hui, un éditeur doit souvent déclarer une règle différente pour chaque robot. GPTBot concerne OpenAI, Google-Extended sert à exprimer un choix pour certains usages de Google, et d’autres sociétés utilisent leurs propres identifiants. La maintenance devient vite pénible, surtout sur un gros site.
Le projet soutenu par l’IETF veut introduire un signal commun dans robots.txt. Le site pourrait alors exprimer une préférence générale sur l’entraînement, tandis que les fournisseurs participants l’interpréteraient selon une définition partagée.
Pourquoi il ne faut pas copier une règle au hasard aujourd’hui
L’annonce officielle d’OpenAI précise que la mise en œuvre arrivera dans les prochains mois. Google, de son côté, indique viser 2027. Le vocabulaire est encore discuté au sein du groupe AIPREF de l’IETF.
Cela signifie que le principe est annoncé, mais que tous les détails d’implémentation ne sont pas encore figés. Ajouter maintenant une ligne récupérée sur un site tiers peut ne produire aucun effet, ou être interprété différemment lorsque le standard évoluera.
Les règles actuelles continuent de fonctionner
OpenAI confirme que ses contrôles existants ne seront pas remplacés. Les règles destinées à GPTBot restent donc utiles pour l’entraînement. OAI-SearchBot concerne l’apparition dans les expériences de recherche, ce qui répond à une autre intention.
Google fait la même distinction avec Google-Extended. Dans son explication pour les propriétaires de sites, l’entreprise précise que le futur signal commun fonctionnera en parallèle des contrôles propres à chaque fournisseur.
Bloquer l’entraînement ne veut pas dire disparaître de Google
C’est le point le plus important. Une préférence contre l’entraînement n’équivaut pas automatiquement à un blocage de l’indexation classique. Le robot de recherche, le robot d’entraînement et les mécanismes de citation peuvent être séparés.
Un propriétaire peut donc vouloir refuser l’entraînement tout en conservant son référencement naturel et une présence dans des réponses qui renvoient vers ses pages. La configuration doit être pensée service par service, pas résumée à « bloquer l’IA » ou « autoriser l’IA ».
Que faire sur un site WordPress dès maintenant ?
Commencez par sauvegarder votre robots.txt actuel et dresser la liste des robots déjà contrôlés. Vérifiez ensuite si le fichier est généré par WordPress, par une extension SEO ou par le serveur. Modifier deux endroits différents peut créer des règles contradictoires.
Conservez les directives existantes tant que les fournisseurs ne publient pas leurs instructions définitives. Évitez aussi de bloquer des répertoires techniques indispensables au rendu des pages sans comprendre l’effet sur l’indexation. Une erreur robots.txt peut toucher le référencement avant même d’avoir un impact sur l’IA.
Un signal volontaire, pas une barrière technique
robots.txt exprime une préférence à des acteurs qui choisissent de la respecter. Ce n’est ni une authentification ni un pare-feu. Un robot malveillant peut ignorer le fichier. Pour protéger un contenu privé, il faut une restriction d’accès réelle, pas seulement une directive.
Le débat dépasse d’ailleurs le simple blocage. Cloudflare expérimente déjà des modèles économiques comme Pay Per Crawl pour les robots d’IA. Le futur signal commun apporte une couche de choix supplémentaire, mais ne règle ni la rémunération ni le respect par tous les acteurs.
La bonne décision aujourd’hui
Ne supprimez rien et ne copiez pas un token non finalisé. Continuez d’utiliser les règles officielles propres aux fournisseurs lorsque vous avez une politique claire. Puis surveillez les documentations OpenAI, Google et IETF avant d’ajouter le signal commun.
Au final, l’annonce est importante parce qu’elle simplifiera peut-être la gestion de nombreux robots. Mais le guide vraiment fiable n’existera qu’au moment où les fournisseurs publieront la syntaxe finale et la date exacte de prise en charge.