Robots.Txt et entraînement IA : le nouveau signal commun

Sommaire

• Que change le signal commun dans robots.Txt ?
• Refuser l'entraînement sans disparaître des réponses IA
• Auditer robots.Txt et choisir vos règles par contenu
• Vérifier les règles et mesurer la visibilité IA
• Foire aux questions

Vous pouvez utiliser le fichier robots.txt pour dire si vos contenus peuvent servir à l'entraînement des IA. Un nouveau signal commun, annoncé fin octobre 2026, doit simplifier ce choix. Vous pouvez régler chaque fournisseur et vérifier vos règles sans perdre votre visibilité dans les moteurs de recherche ni dans les réponses des IA.

Que change le signal commun dans robots.Txt ?

Jusqu'ici, chaque fournisseur d'IA avait son propre robot et ses propres consignes. Pour refuser l'entraînement, vous deviez écrire une règle pour chacun. Le signal commun vise à réunir ce choix en une seule préférence, que plusieurs acteurs s'engagent à lire.

Une préférence partagée, encore en projet

Le 30 octobre 2026, Google, Microsoft et OpenAI ont annoncé soutenir ce signal. Il permet aux éditeurs d'exprimer les préférences d'entraînement de leurs contenus dans robots.txt. La proposition vient des travaux AIPREF de l'IETF, l'organisme qui définit de nombreux standards d'Internet. Au 2 novembre 2026, ce projet de standardisation n'est pas encore une norme finalisée. Son adoption reste volontaire, et les contrôles propres à chaque fournisseur restent utiles.

Un usage des règles existantes

Le projet ne crée pas de nouvelle grammaire dans robots.txt. Il reprend les éléments que vous connaissez peut-être déjà. Nous ne donnons pas ici de syntaxe exacte, car elle n'est pas encore figée.

• Un token dédié : ce mot-clé exprime une préférence d'usage pour l'entraînement. Il ne désigne pas un nouveau robot.
• Les groupes user-agent : ils indiquent à quel robot ou à quel usage une règle s'adresse.
• Les règles Allow et Disallow : elles autorisent ou refusent un chemin du site, comme aujourd'hui.

Vous pouvez faire varier votre choix selon les chemins. Par exemple, vous refusez l'entraînement sur tout le site, sauf un répertoire. Attention à un point : le groupe générique « User-agent: * » n'exprime à lui seul aucune préférence d'entraînement. Sans le token dédié, rien n'est exprimé par ce mécanisme.

Un déploiement progressif à dater

Google vise le début de 2027 pour la mise en œuvre du signal. Au 2 novembre 2026, c'est une intention, pas une fonction déjà active. OpenAI prévoit de l'appliquer dans les mois qui suivent le 30 octobre 2026, sans date ferme. Le rédacteur du projet travaille chez Anthropic, mais cela ne fixe aucun calendrier pour cette entreprise.

Microsoft donne un calendrier plus précis. Dès le 15 décembre 2026, un réglage temporaire s'ouvre pour les sites qui utilisent NoArchive ou NoCache. Les nouvelles préférences seront prises en compte à partir du 1er février 2027, au fil des visites du robot. Le 1er mars 2027, NoArchive et NoCache ne vaudront plus comme préférences d'entraînement ou d'ancrage. Notez ces dates dans votre agenda.

Refuser l'entraînement sans disparaître des réponses IA

Refuser l'entraînement ne veut pas dire refuser toute présence dans les IA. Une IA peut aussi lire votre page au moment de répondre, puis la citer. Ces deux usages se règlent souvent de façon séparée.

Distinguer collecte, indexation et citation

Un robot peut explorer une page, c'est-à-dire la visiter. Un moteur peut l'indexer, donc l'enregistrer dans sa base. Un fournisseur peut s'en servir pour entraîner des modèles. Une IA peut enfin la citer dans une réponse. Ce sont quatre usages distincts. Bloquer l'entraînement ne bloque pas forcément les trois autres.

Le grounding, ou ancrage, consiste à donner à l'IA des contenus du Web au moment où elle rédige sa réponse. Selon Microsoft, refuser cet ancrage peut réduire votre visibilité dans les réponses IA. Votre place dans les résultats classiques de Bing ne change pas.

• Exploration autorisée : elle ne garantit pas l'indexation de la page.
• Page indexée : elle n'est pas forcément choisie comme source d'une réponse.
• Exploration interdite : l'adresse peut rester connue d'un moteur grâce à des liens venus d'autres sites.
• Entraînement refusé : la citation dans une réponse reste possible selon les réglages de chaque fournisseur.

Avant de décider, posez-vous une question simple : voulez-vous seulement protéger vos textes de l'entraînement, ou aussi limiter leur reprise dans les réponses ? Les réglages ne sont pas les mêmes.

Vérifier le contrôle Google-Extended

Google-Extended est un jeton de contrôle dans robots.txt. Ce n'est pas un robot avec son propre nom de visite. Google l'utilise pour les futures versions de Gemini et pour certains usages d'ancrage dans Gemini et Vertex AI. Selon Google, un refus exprimé par le signal commun sera traité comme un refus de Google-Extended, si aucune règle ne vise ce jeton. Une règle explicite vous permet de savoir quel choix s'applique.

Ce jeton ne touche ni votre présence ni votre classement dans Google Search. Les fonctions IA de Google Search ont leurs propres contrôles. Ne bloquez donc pas Googlebot pour refuser l'IA : vous nuiriez à l'exploration utile au référencement. La documentation de Google sur Google-Extended précise le rôle de chaque robot.

Régler séparément les autres fournisseurs

Chaque fournisseur a ses robots et ses réglages. Il faut donc les traiter un par un, en gardant les contrôles existants même après l'arrivée du signal commun.

• OpenAI : une règle Disallow visant GPTBot refuse la collecte pour l'entraînement, sur tout le site ou un répertoire. OAI-SearchBot peut continuer à explorer pour la recherche ChatGPT.
• Anthropic : ClaudeBot collecte pour l'entraînement, Claude-SearchBot sert la recherche et Claude-User les visites demandées par un utilisateur. Chacun se règle à part.
• Microsoft : des préférences distinctes sont annoncées pour l'entraînement et pour l'ancrage, réglables page par page.

Le réglage temporaire d'ancrage s'ouvrira dans Bing Webmaster Tools. Le réglage temporaire d'ancrage expire au plus tard le 30 septembre 2027, ou plus tôt si la page est revisitée. Microsoft ne prévoit pas de réglage temporaire pour l'entraînement.

Auditer robots.Txt et choisir vos règles par contenu

Avant d'ajouter une ligne, regardez ce que contient déjà votre fichier. Un ancien réglage peut contredire le nouveau. Vous éviterez aussi de bloquer par erreur des pages qui vous amènent des clients.

Définir ce que chaque contenu autorise

Avant de bloquer les robots, fixez vos objectifs. Refuser l'entraînement, garder la recherche classique, rester visible dans les assistants ou protéger des documents privés : chaque objectif demande un réglage différent. Bloquer l'IA sur son site n'a donc pas de réponse unique.

Sur un site marchand, prenez vos contenus un par un. Une règle sur votre domaine ne couvre pas les copies de vos fiches hébergées ailleurs.

• Fiches produits et guides d'achat : ils peuvent gagner à rester visibles dans les recherches et les réponses.
• Fichiers PDF : décidez s'ils doivent être explorés, selon leur contenu.
• Pages à paramètres : ces adresses de filtres ou de tri demandent une règle à part.
• Sous-domaines : chacun a son propre fichier robots.txt à vérifier.

En France, les articles L. 122-5-3 et R. 122-28 du Code de la propriété intellectuelle permettent de s'opposer à certaines fouilles de textes et de données. Pour des œuvres en ligne, cette opposition peut passer par un procédé lisible par une machine. Elle ne décide pas à elle seule si un entraînement est légal.

Repérer les règles qui se contredisent

Relisez le fichier existant avant d'ajouter une préférence d'entraînement. Cherchez les groupes génériques, les interdictions sur tout le site, les autorisations particulières et les règles en conflit. Pour une adresse donnée, la règle de chemin la plus précise l'emporte. Un groupe qui nomme un robot peut aussi lui faire ignorer une exclusion placée seulement dans « User-agent: * ».

Sur WordPress, vous modifiez robots.txt avec une extension SEO ou un fichier placé à la racine, selon votre installation. Évitez d'interdire le dossier des médias téléversés : vos images pourraient perdre de la visibilité dans la recherche. Traitez à part les dossiers techniques et les médias.

Préserver l'exploration utile au SEO

Une politique ciblée peut refuser l'entraînement à GPTBot, laisser OAI-SearchBot visible pour ChatGPT et Googlebot pour Google Search. Elle ne règle pas les robots absents du fichier. Retenez aussi qu'une règle Disallow demande de ne pas visiter un chemin, sans retirer la page de l'index. Pour Google, la consigne noindex doit figurer dans la page ou son en-tête, pas dans robots.txt.

Ces vérifications font partie d'un accompagnement en référencement naturel. Chez Becausse, notre audit SEO comprend une analyse technique et une analyse de l'indexation. Notre démarche d'audit et de conseil web repère aussi ce qui bloque la visibilité d'un site existant, avant de proposer des actions adaptées.

Vérifier les règles et mesurer la visibilité IA

Une règle écrite dans le fichier ne prouve pas qu'elle fonctionne. Après chaque modification, contrôlez ce que les robots reçoivent vraiment. Ensuite, suivez votre visibilité avec des outils adaptés.

Contrôler le fichier réellement servi

Ouvrez votre robots.txt depuis un navigateur, comme le ferait un visiteur extérieur. Faites-le pour chaque version de votre site, car chacune peut servir ses propres règles.

• Le domaine nu : l'adresse sans « www ».
• La version www : elle peut afficher un fichier différent.
• Les sous-domaines : boutique, blog ou espace client ont chacun leur fichier.
• Le contenu affiché : un CDN, un hébergeur ou un CMS peut montrer une ancienne version, une page HTML ou un CAPTCHA à la place du texte attendu.

Vérifiez aussi le code de réponse du serveur. Pour Google, la plupart des erreurs 4xx sur ce fichier, dont 403 mais pas 429, valent absence de restrictions. Renvoyer une erreur 403 ne bloque donc pas l'exploration de façon fiable.

Tester chaque robot et observer les journaux

Testez quelques adresses typiques de votre site pour chaque robot concerné. Le testeur robots.txt de Bing Webmaster Tools valide un cas pour Bing. Il ne dit rien du comportement de GPTBot.

Les journaux de votre serveur et de votre CDN montrent les visites, les robots déclarés et les codes de réponse. Comparez-les avant et après la modification. Un nom de robot peut être imité : quand un opérateur publie une méthode de vérification ou ses adresses, servez-vous-en pour confirmer son identité.

Laissez un peu de temps aux robots. Google garde en général sa copie du fichier jusqu'à 24 heures, parfois plus si la lecture échoue. OpenAI parle d'environ 24 heures pour sa recherche. Ce délai ne vaut pas pour l'entraînement.

Suivre la visibilité sans surinterpréter les données

Robots.txt reste une simple déclaration. Il n'empêche pas un acteur peu scrupuleux de lire un contenu public. Il n'efface pas non plus les données déjà collectées. Pour vos documents confidentiels, prévoyez un vrai contrôle d'accès, avec mot de passe.

Après un changement, suivez à part l'indexation, les impressions, les clics, les conversions et le trafic venu des assistants. Une baisse de trafic ne prouve pas qu'un contenu a servi à l'entraînement. Le rapport de Google sur ses fonctions génératives et les indicateurs de citations de Bing, en aperçu public, mesurent votre visibilité dans les moteurs IA, pas le respect de vos choix. Becausse peut vous aider à les lire, dans le cadre d'un audit SEO et GEO de votre site.

Foire aux questions