Cloudflare a déployé une modification majeure concernant la gestion du trafic web automatisé, et cette mise à jour a un effet secondaire qui pourrait surprendre certains propriétaires de sites. Selon la configuration de certains paramètres, il est possible qu'un propriétaire de site bloque involontairement Googlebot ainsi que d'autres robots d'IA. L'entreprise a annoncé ce changement lors de sa deuxième Journée d'indépendance du contenu et l'a déployé pour tous ses clients, y compris ceux utilisant le forfait gratuit.
L'idée principale de cette mise à jour est simple. Cloudflare a remplacé l'option permettant de traiter les « bots d'IA » comme une catégorie unique, servant à bloquer ou autoriser tous les robots d'exploration de cette catégorie. Désormais, grâce à cette mise à jour, les clients peuvent trier les robots d'exploration en fonction de leur activité réelle sur le site, et non plus par étiquette. Cette distinction prendra encore plus d'importance lorsque de nouveaux paramètres par défaut entreront en vigueur le 15 septembre.
Tri des chenilles dans trois seaux
Le nouveau système utilise trois catégories de robots d'exploration liés à l'IA. La première concerne la recherche. Ces robots indexent un site afin de pouvoir répondre ultérieurement à des questions à son sujet. Cloudflare associe cette activité au trafic de référence.
Il existe ensuite les robots d'exploration d'agents. Ce sont des robots d'exploration en temps réel qui agissent pour le compte de la personne effectuant la requête, comme ChatGPT-User. Contrairement aux robots d'exploration classiques, qui fonctionnent de manière autonome, les robots d'exploration d'agents sont déclenchés par une personne physique.
Enfin, il existe des robots d'entraînement qui parcourent le contenu du site web afin d'entraîner ou d'affiner une IA. C'est ce type d'activité qui inquiète le plus les éditeurs, car ces robots ne génèrent aucun trafic vers le site d'origine.
D'après Cloudflare, l'objectif est d'inciter les opérateurs de bots à utiliser des modes de fonctionnement distincts pour chacune de ces actions. Ainsi, les sites web pourront identifier précisément la raison de la visite d'un bot, au lieu de les regrouper sous l'étiquette unique « IA ».
La date limite du 15 septembre qui change la donne
Deux changements majeurs entreront en vigueur le 15 septembre 2023 et nécessiteront une attention particulière si le site utilise les services Cloudflare.
Pour les nouveaux clients et les nouveaux sites de clients existants, les robots d'exploration de formation et d'agents seront bloqués par défaut sur les pages contenant des publicités, tandis que les robots d'exploration de recherche resteront autorisés. Cloudflare a également indiqué que les clients utilisant ses services gratuits et n'ayant pas modifié leurs paramètres avant le 15 septembre bénéficieront automatiquement de ces paramètres par défaut.
Le deuxième changement mérite une attention particulière. À compter du 15 septembre, Cloudflare traitera les robots d'exploration ayant plusieurs fonctions en fonction de leur comportement global, en appliquant la règle la plus stricte. Autrement dit, si un robot d'exploration effectue à la fois des fonctions de recherche et d'entraînement, et que le propriétaire du site choisit de bloquer l'entraînement, le robot sera bloqué dans son intégralité, indépendamment de sa fonction de recherche.
Cloudflare cite Googlebot, Applebot et Bingbot en exemple, car chacun d'eux explore le Web à la fois pour l'indexation des recherches classiques et l'entraînement des IA. Les sites ayant activé l'ancienne option « Bloquer les robots d'IA » seront également concernés par cette modification.
Si un propriétaire de site souhaite autoriser Googlebot, Applebot ou Bingbot, la solution est très simple : il lui suffit de consulter les paramètres dans le tableau de bord Cloudflare et de les modifier. Cloudflare a également annoncé qu'il informera ses clients de cette échéance à venir.
Un nouveau signal sur la façon dont les bots peuvent utiliser le contenu
Outre les nouvelles catégories de robots d'exploration, Cloudflare a également lancé un test d'un nouveau signal d'utilisation du contenu, basé sur son système de signaux de contenu existant utilisé dans les fichiers robots.txt. Il existe trois types de signaux : le plus restrictif, « immédiat », signifie que le contenu ne doit pas être stocké. Le signal suivant, « référence », autorise le robot d'exploration à indexer le contenu et à créer une référence ; il s'agit de la nouvelle option par défaut. Enfin, le signal « complet » permet au robot d'exploration de résumer et de reproduire le contenu.
Cloudflare a clairement indiqué qu'il s'agit de préférences et non de restrictions obligatoires. Un bot peut donc toujours ignorer le signal et stocker du contenu même lorsque la valeur est définie sur « immédiat ». Cloudflare a également modifié les critères d'attribution du statut de « bot vérifié ». Désormais, ce statut dépend de la catégorie du bot et ne garantit plus l'accès. La reproduction intégrale du contenu n'est plus un critère de vérification. Par ailleurs, Cloudflare a mis en place un répertoire consultable pour les clients Enterprise Bot Management, nommé BotBase. Ce répertoire répertorie la classification de chaque bot ainsi que son identifiant de détection, permettant ainsi de créer des règles de sécurité.
Les chiffres qui sous-tendent la décision
Cloudflare a présenté les chiffres relatifs à cette mise à jour dans un rapport célébrant le premier anniversaire de la première Journée de l'indépendance du contenu. Selon ce rapport, les robots d'entraînement de l'IA représentent désormais la majorité des requêtes d'exploration du trafic réseau de Cloudflare, soit une forte augmentation par rapport aux 20 % environ du total des requêtes au printemps 2025. Le nombre de requêtes quotidiennes provenant des agents d'IA a augmenté de plus de 1 700 % durant cette période.
Il convient de noter que ces données ne concernent que le trafic réseau de Cloudflare et n'incluent pas l'activité des robots d'exploration à l'échelle mondiale. Néanmoins, ces chiffres expliquent clairement pourquoi Cloudflare a opté pour un mécanisme aussi détaillé plutôt que pour une simple option marche/arrêt.
Pourquoi les propriétaires de sites devraient prêter attention
Le problème des modifications prévues pour le 15 septembre réside dans le fait que le blocage des modules d'entraînement de l'IA sera désormais lié à l'exploration des moteurs de recherche. Autrement dit, en bloquant la phase d'entraînement des robots d'exploration pour protéger le contenu des modèles d'IA, les propriétaires de sites risquent de bloquer accidentellement Googlebot, car ce dernier appartient à la même catégorie de robots d'exploration combinés.
Cette mesure est plus efficace qu'un blocage via le fichier robots.txt. Une instruction robots.txt n'est qu'une simple requête et il arrive que Google explore les pages même si le fichier robots.txt lui interdit de le faire. Un blocage au niveau de Cloudflare est plus difficile à contourner car il agit au niveau du réseau. En bloquant l'accès de Googlebot à un site donné, les propriétaires de sites s'assurent que Google n'explorera pas ce site et que ses pages seront moins visibles dans les résultats de recherche.
Ce n'est pas un cas isolé. Au cours de l'année écoulée, le nombre d'éditeurs optant pour une configuration de blocage par défaut, qui empêche l'accès aux robots d'exploration pour l'entraînement et l'indexation par l'IA, a considérablement augmenté. À chaque fois, le compromis est le même : protéger son contenu des modèles d'IA peut se faire au détriment de sa visibilité dans les résultats de recherche.
Que faire avant le 15 septembre
Tous les propriétaires de sites utilisant Cloudflare doivent prendre certaines mesures avant le 15 septembre et vérifier les paramètres de leurs robots d'exploration dans le tableau de bord. La question principale à trancher est de savoir s'il convient de maintenir l'autorisation des robots de recherche tout en restreignant l'accès aux robots d'entraînement et aux agents.
Cela concerne particulièrement ceux qui avaient activé le blocage des robots d'exploration IA par le passé et ne l'ont pas réactivé depuis. La nouvelle règle relative aux robots d'exploration combinés pourrait bloquer Googlebot au lieu des robots d'exploration IA. Les utilisateurs de la version gratuite seront simplement basculés vers les nouveaux paramètres par défaut après la date limite. Comme l'a indiqué Cloudflare, l'entreprise s'attend à ce que les opérateurs de robots d'exploration à usages multiples séparent leurs robots en fonction de leur finalité au cours de l'année à venir. Le cas échéant, les propriétaires de sites auront la possibilité de choisir entre protéger leur contenu des robots d'exploration IA et maintenir la visibilité de leur site dans les résultats de recherche. Dans le cas contraire, la connexion restera inchangée.
FAQ
Q1 : Qu'est-ce que Cloudflare change concernant les robots d'exploration IA ?
Cloudflare permet désormais aux sites de classer les robots d'exploration liés à l'IA en trois groupes : Recherche, Agent et Entraînement. Le propriétaire du site peut gérer chaque groupe séparément.
Q2 : Pourquoi cela pourrait-il bloquer Googlebot ?
À compter du 15 septembre, Cloudflare appliquera la règle la plus stricte aux robots d'exploration ayant plusieurs finalités. Étant donné que Googlebot explore le Web à des fins de recherche et d'entraînement, le blocage du groupe d'entraînement pourrait également entraîner le blocage de Googlebot.
Q3 : Quand ce changement entrera-t-il en vigueur ?
Les modifications et les nouveaux paramètres par défaut entreront en vigueur à compter du 15 septembre. Les propriétaires de sites peuvent vérifier leurs paramètres à tout moment avant cette date.
Q4 : Cela affecte-t-il les comptes Cloudflare gratuits ?
Oui. Les utilisateurs du forfait gratuit dont les paramètres n'ont pas été modifiés avant le 15 septembre passeront automatiquement aux nouvelles règles par défaut.
Q 5 : Quelle est la différence entre les robots d'exploration de recherche, d'agent et d'entraînement ?
Les robots d'exploration indexent le contenu et redirigent le trafic vers un site. Les robots d'agents agissent en temps réel pour le compte d'une personne en particulier. Les robots d'entraînement collectent du contenu pour entraîner des modèles d'IA et ne redirigent pas le trafic.
Q 6 : Quel est le nouveau signal d'utilisation du contenu que Cloudflare teste ?
Il s'agit d'un signal ajouté par Cloudflare au fichier robots.txt avec trois options : immédiat, référence et complet. Il indique aux robots comment ils sont autorisés à accéder au contenu d'une page. Selon Cloudflare, c'est une simple préférence et cela n'empêche pas l'accès.
Q 7 : Qu’est-il arrivé au label « Vérifié » des bots de Cloudflare ?
La vérification ne garantit plus un accès complet partout. Cela dépend de la catégorie du robot, et les robots qui reproduisent des pages entières ne peuvent plus être vérifiés.
Q 8 : De combien le trafic des robots d'exploration d'IA a-t-il augmenté ?
Selon le rapport de Cloudflare, l'entraînement de l'IA est devenu un type majeur de requêtes adressées à Cloudflare, passant de 20 % des requêtes au printemps 2025 à une augmentation de 1 700 % du nombre quotidien de requêtes des agents d'IA au cours de l'année.
Q 9 : Dois-je désactiver l’option « Bloquer les robots d’IA » si je souhaite toujours que Googlebot explore mon site ?
Si vous souhaitez conserver un accès complet à Googlebot, il est donc judicieux d'en tenir compte avant le 15 septembre.
Q 10 : Qu'est-ce que BotBase ?
Il s'agit d'un répertoire consultable créé par Cloudflare pour les clients Enterprise Bot Management. Il indique la classification de chaque bot suivi et fournit son identifiant de détection pour la création de règles de sécurité.
