NOUVEAUDes outils gratuits de référencement et de marketing sont disponibles. Comparez votre site à ceux de vos concurrents. dans environ minutes 3.SEO gratuit rapport sur les concurrentsObtenez mon rapport gratuitEssayer gratuitement →
Robots.txt Restrictions d'entraînement de l'IA

Google renforce le contrôle des éditeurs sur l'utilisation de leur contenu par l'IA.

By

Google prendra en charge un signal unifié provenant des sites web utilisant le fichier robots.txt afin d'indiquer aux propriétaires de sites comment ils souhaitent que l'IA soit entraînée. Comme l'a rapporté Barry Schwartz de Search Engine Land le 30 octobre 2026, Google s'engagera également, à titre volontaire, à mettre en œuvre une proposition actuellement examinée par l'IETF (Internet Engineering Task Force), l'organisme mondial de normalisation d'Internet, à l'instar de Bing, OpenAI et Anthropic.

Cela permettra aux éditeurs et créateurs de sites web de contrôler facilement l'utilisation de leurs sites pour l'entraînement de l'IA. « Les propriétaires de sites web pourront inclure un jeton de politique unifié dans leur fichier robots.txt », a écrit John Mueller de Google. Google prévoit de prendre en charge ce nouveau contrôle en 2027, en collaboration avec d'autres fournisseurs d'IA, et communiquera régulièrement sur son évolution.

Comment fonctionne le signal partagé

Ceci est défini dans un document de travail Internet de Kevin Kelley (Anthropic) intitulé « Signal de préférence d'entraînement lisible par machine ». La version initiale a été publiée le 30 octobre 2026. Ce document définit un jeton de politique unique (__usage_ai-training) qui peut être inséré dans un groupe standard du fichier robots.txt, au sein de la ligne User-Agent :

Par exemple : un groupe contenant ce jeton, qui bloque l’intégralité du site mais autorise l’accès à /press-kit/, correspond à une préférence pour ne pas entraîner l’IA sur tous les chemins, mais pour l’entraîner sur /press-kit/. Cela signifie que les préférences peuvent être définies individuellement pour chaque chemin.

Comme aucune nouvelle directive ni grammaire n'a été définie, la syntaxe utilisée pour décrire les chemins reste inchangée, de même que la règle de correspondance la plus longue et le regroupement. Par conséquent, les analyseurs syntaxiques déployés sur Internet continueront d'analyser les signaux de gestion du trafic normalement et ignoreront les groupes contenant des jetons de stratégie.

Ce projet de spécification poursuit cinq objectifs : permettre la définition de préférences par chemin, tout en minimisant l’écart avec la norme actuelle du fichier robots.txt, éviter la duplication importante des règles (les fichiers robots.txt ont des limitations de taille), garantir le fonctionnement identique des analyseurs existants et assurer une interprétation cohérente des directives par les utilisateurs. L’objectif d’éviter la duplication est d’autant plus important que la taille des fichiers robots.txt est limitée et que certains fichiers robots.txt actifs contiennent déjà de nombreux groupes dupliqués.

Ce que Google a dit

Ce nouveau contrôle permettra de réduire les doublons en autorisant les sites web à « déclarer en une seule fois leurs préférences quant à l'utilisation de leurs données pour l'entraînement de l'IA » auprès de plusieurs fournisseurs d'IA. S'appuyant sur le groupe de travail AI Preferences (AIPREF) de l'IETF, ce contrôle étend le contrôle Google-Extended existant depuis 2023.

Google s'associe à d'autres fournisseurs d'IA pour promouvoir une vision commune d'un web ouvert et axé sur les créateurs, et a indiqué avoir pris en compte les commentaires des éditeurs, de la société civile et des organismes de réglementation qui souhaitaient simplifier la déclaration des préférences d'entraînement.

Comment Google lira le jeton

Ceci est expliqué en détail dans l' article de blog de Google. Si un site choisit de ne pas utiliser le jeton de stratégie pour l'entraînement et ne fait pas référence à Google-Extended, Google le considérera comme un éditeur refusant l'utilisation de Google-Extended. D'autres fournisseurs d'IA peuvent faire de même, ce qui permet au propriétaire du site de choisir de refuser l'utilisation du jeton pour tous les fournisseurs ou seulement pour certains d'entre eux.

Les contrôles spécifiques à l'entreprise restent en vigueur. Les sites peuvent toujours utiliser le jeton sectoriel, mais ils peuvent ajouter des instructions spécifiques pour un développeur comme Google grâce à Google-Extended. Les sites autorisant explicitement Google-Extended pourront également apparaître dans les résultats de recherche et obtenir des clics grâce à leur intégration à Gemini Apps.

Ce que le protocole sanitaire ne fait pas

Cela introduit certaines limitations au jeton. Ce jeton n'est pas une directive. Les utilisateurs peuvent utiliser des préférences pour influencer le comportement des robots d'exploration, par exemple en ignorant les pages qui auraient autrement été explorées à des fins d'entraînement. Les sites souhaitant restreindre l'exploration devront toujours appliquer des règles aux robots d'exploration concernés.

Les consommateurs peuvent avoir des préférences quant à la manière dont ils consomment du contenu ; ces préférences sont distinctes et indépendantes. Le robot d'exploration continuera d'appliquer les règles à leur jeton comme d'habitude.

Deux autres règles sont à prendre en compte. Les groupes génériques (User-Agent : ) ne doivent pas correspondre à ce jeton. Si aucun groupe du fichier ne fait référence à ce jeton, aucune préférence n'a été attribuée. Les règles spécifiques sont préférables aux règles générales. Des accords privés peuvent être conclus pour déroger à ces préférences.

Ce document définit l'entraînement d'une IA comme l'utilisation d'une ressource pour modifier les paramètres appris par un modèle d'IA génératif. L'entraînement de modèles qui n'effectuent pas de tâches génératives n'est pas considéré comme un entraînement d'IA. Cette définition est conforme à la formulation du projet de vocabulaire du groupe de travail de l'IETF rédigé par Paul Keller (Open Future) et Martin Thomson (Mozilla).

Remarque : Ce document est une contribution individuelle et ne représente pas la position de l’IETF. Il n’a aucun statut officiel au sein du processus de normalisation de l’IETF. Il expirera le 3 mai 2027, sauf mise à jour ou modification.

D'autres entreprises se joignent à la fête.

Google n'est pas le seul à procéder ainsi. OpenAI a annoncé qu'à compter du 30 octobre 2026, l'entreprise prendrait en charge un signal commun pour le fichier robots.txt. Schwartz mentionne également l'implication de Bing et d'Anthropic.

Microsoft a également annoncé qu'elle soutiendrait une norme sectorielle en ajoutant une nouvelle préférence au fichier robots.txt pour l'entraînement. Selon PPC Land, elle inclura également des signaux d'entraînement au niveau de la page.

D'après Schwartz, la prise en charge de Google sera disponible en 2027. L'auteur du projet est mentionné chez Anthropic.

Contexte politique et juridique

Cette proposition s'appuie sur les retours d'information des éditeurs, de la société civile et des organismes de réglementation, qui ont souligné l'importance du contrôle des données d'entraînement de l'IA dans l'ensemble du secteur. Le soutien des principaux fournisseurs d'IA garantit l'établissement d'une norme durable et intersectorielle pour l'avenir.

Google affirme que sa proposition est conforme aux normes européennes. Cela est en accord avec le code de bonnes pratiques de l'UE pour les fournisseurs de modèles d'IA à usage général, tel que défini dans la loi européenne sur l'IA. Le fichier robots.txt est reconnu comme un mécanisme essentiel permettant aux éditeurs web d'exprimer leurs préférences lisibles par machine. Nous continuerons de collaborer étroitement avec les parties prenantes afin de garantir que ce mécanisme soit perfectionné et normalisé au sein du groupe de travail de l'IETF.

Pourquoi Search Engine Land l'accueille

La note de Schwartz intitulée « Pourquoi cela nous importe » est brève. Il souligne que le renforcement du contrôle sur l'utilisation du contenu par l'IA est une excellente nouvelle pour tous. Google prend déjà en charge Google Extended et Search Console permet d'empêcher l'utilisation de contenu dans les aperçus et le mode IA. En résumé, plus de contrôle, c'est mieux.

Quels changements pour les propriétaires de sites web maintenant

La prise en charge n'étant prévue qu'en 2027, les règles actuelles restent applicables. La fonctionnalité étendue de Google demeure opérationnelle. Google précise également que les règles spécifiques aux sites continueront de fonctionner une fois le nouveau signal disponible.

Lorsque le signal est disponible, un site souhaitant exclure l'entraînement des systèmes d'IA de toutes les entreprises peut simplement ajouter un groupe de jetons de stratégie. S'il souhaite appliquer des stratégies différentes à Google, il peut ajouter la règle « Google-Extended ». La règle spécifique restera applicable.

FAQ

Q1 : Qu'a annoncé Google ?
Ils ont annoncé leur soutien à une directive robots.txt communautaire permettant aux sites web de spécifier leurs préférences en matière d'entraînement des IA. Cette proposition est actuellement examinée par l'IETF.

Q 2 : Qu'est-ce que le jeton de politique ?
Le jeton est __usage_ai-training et doit être spécifié dans la section User-Agent d'un bloc robots.txt pour indiquer que les règles de ce bloc sont liées aux préférences d'entraînement de l'IA.

Q3 : Quand Google le prendra-t-il en charge ?
Google affirme qu'elle soutiendra cette nouvelle mesure de contrôle en 2027 et fournira des mises à jour sur son évolution.

Q4 : Remplace-t-il Google-Extended ?
Cela ne remplacera pas les directives propriétaires actuelles. Ils indiquent qu'ils continueront à les prendre en charge et que si un site choisit de se désinscrire à l'aide de ce jeton sans spécifier Google-Extended, cela sera considéré comme une désinscription à Google-Extended.

Q 5 : Le jeton empêche-t-il les robots d’exploration IA de visiter un site ?
Cette directive n'indique pas aux robots d'exploration la marche à suivre. Si un site souhaite limiter l'exploration, il doit néanmoins définir des règles pour chaque robot.

Q 6 : Quelles sont les entreprises impliquées ?
Search Engine Land indique que Google, Bing, OpenAI et Anthropic adoptent cette proposition. OpenAI et Microsoft ont publié chacun leur propre communiqué.

Q 7 : Est-ce déjà une norme Internet officielle ?
Non. Il s'agit d'une proposition individuelle qui n'a pas été approuvée par l'IETF et qui n'a aucune valeur officielle au sein du processus de l'IETF. Sa validité expire le 3 mai 2027.

Q 8 : Un site peut-il définir des préférences différentes pour différents dossiers ?
Oui. Le projet prend en charge les préférences spécifiques aux chemins d'accès, de sorte qu'un site peut interdire la formation sur la plupart des chemins et l'autoriser pour un dossier tel que /press-kit/.

Q 9 : Qu’est-ce qui est considéré comme un entraînement à l’IA dans le projet de loi ?
L’entraînement de modèles d’IA génératifs consiste à utiliser une ressource pour modifier les paramètres appris. L’entraînement à des fins non génératives est exclu.

Q 10 : Quels autres contrôles d’IA Google propose-t-il ?
Depuis 2023, Google propose Google Extended comme outil de contrôle pour l'entraînement de l'IA. Search Console offre également la possibilité d'empêcher l'utilisation de contenu dans les aperçus et le mode IA.

A propos de l'auteur
Photo de Sumayyah Hussein

Sumayyah Hussein

Sumayyah Hussein est responsable du développement de contenu chez ALM Corp, où elle contribue à la stratégie et à l'exécution de contenu depuis 2023. Forte d'une expérience en communication et de solides compétences en SEO, en rédaction créative et en développement de l'identité de marque, elle soutient la création de contenus web et de textes de type blog sur de multiples plateformes et secteurs d'activité.