A Cloudflare implementou uma grande mudança na forma como lida com o tráfego web automatizado, e a atualização traz um efeito colateral que pode pegar alguns proprietários de sites de surpresa. Dependendo de como certas configurações estão definidas, a mudança pode resultar no bloqueio involuntário do Googlebot e de bots de IA. A empresa anunciou essa mudança como parte do seu segundo Dia da Independência de Conteúdo e a implementou para todos os clientes, incluindo aqueles do plano gratuito.
A ideia central por trás da atualização é simples. A Cloudflare substituiu a opção de tratar "bots de IA" como uma única categoria unificada para bloquear ou permitir todos os rastreadores dessa categoria. Com a nova atualização, a empresa agora permite que os clientes classifiquem os rastreadores com base no que eles realmente fazem no site, em vez de por rótulo. Essa distinção se torna ainda mais importante quando um conjunto separado de configurações padrão entrar em vigor em 15 de setembro.
Classificando os rastreadores em três categorias
Existem três categorias de rastreadores relacionados à IA que o novo sistema utiliza. A primeira é a de Busca. Esses rastreadores indexam um site para que possam responder a perguntas sobre ele posteriormente. A Cloudflare vincula essa atividade ao tráfego de referência.
Em seguida, temos os rastreadores de agentes. Esses são rastreadores em tempo real que atuam em nome da pessoa que faz a solicitação, como o ChatGPT-User. Ao contrário dos rastreadores típicos, que funcionam de forma independente, os rastreadores de agentes são acionados por uma pessoa real.
Por fim, existem os rastreadores de treinamento, que percorrem o conteúdo do site para treinar ou aprimorar uma IA. Esse é o tipo de atividade de rastreamento que mais preocupa os editores, já que os rastreadores de treinamento não enviam tráfego de volta para o site original.
Segundo a Cloudflare, a empresa pretende persuadir os operadores de bots a operá-los em modos distintos para cada uma dessas ações. Dessa forma, os sites poderão ver exatamente por que um bot está visitando um site, em vez de agrupar todos os bots sob um único rótulo de "IA".
O prazo de 15 de setembro que muda tudo.
Há duas mudanças importantes que entrarão em vigor em 15 de setembro de 2023 e que exigem atenção especial caso o site utilize os serviços da Cloudflare.
Para novos clientes e novos sites de clientes existentes, os rastreadores de Treinamento e Agente serão bloqueados por padrão em páginas com anúncios, enquanto os rastreadores de Busca permanecerão permitidos. A Cloudflare também mencionou que os clientes que usam seus serviços gratuitos e não alteraram as configurações antes de 15 de setembro receberão essas configurações padrão automaticamente.
A segunda mudança merece ainda mais atenção. A partir de 15 de setembro, a Cloudflare tratará os rastreadores que desempenham múltiplas funções com base em seu comportamento geral, aplicando a regra mais restritiva. Em outras palavras, se um rastreador executar funções de Busca e Treinamento, e o proprietário do site optar por bloquear o Treinamento, todo o rastreador será bloqueado, independentemente da função de Busca.
A Cloudflare cita o Googlebot, o Applebot e o Bingbot como exemplos, já que cada um deles rastreia a web tanto para indexação de buscas regulares quanto para treinamento de IA. Sites que tinham a opção antiga "Bloquear bots de IA" ativada também serão incluídos nessa mudança.
Caso o proprietário de um site deseje permitir o Googlebot, Applebot ou Bingbot, a solução é bastante simples: basta revisar as configurações no painel do Cloudflare e ajustá-las. O Cloudflare também anunciou que notificará seus clientes sobre esse prazo iminente.
Um novo sinal de como os bots podem usar o conteúdo.
Além das novas categorias de rastreadores, a Cloudflare também iniciou um teste de um novo sinal de uso de conteúdo baseado em sua estrutura de Sinais de Conteúdo existente, utilizada em arquivos robots.txt. Existem três tipos de sinais: o mais restritivo é o "imediato", que significa que o conteúdo não deve ser armazenado de forma alguma. O segundo tipo é o "referência", que permite ao rastreador indexar o conteúdo e criar uma referência para ele, sendo esta a nova opção padrão. Por fim, há o sinal "completo", que permite ao rastreador resumir e reproduzir o conteúdo.
A Cloudflare esclareceu que essas são preferências e não restrições impostas, portanto, um bot ainda pode optar por ignorar o sinal e armazenar conteúdo mesmo quando o valor estiver definido como "imediato". A Cloudflare também alterou os critérios para que um bot seja classificado como "verificado". Agora, isso depende da categoria do bot, não garantindo mais o acesso. Reproduzir o conteúdo integralmente não é mais o critério para a verificação de um bot. Além disso, a Cloudflare lançou um diretório pesquisável para clientes do Enterprise Bot Management chamado BotBase, que contém a classificação de cada bot juntamente com o ID de detecção, que pode ser usado para criar regras de segurança.
Os números por trás da decisão
A Cloudflare mencionou os números por trás dessa atualização como parte de um relatório que celebra o primeiro aniversário do primeiro Dia da Independência de Conteúdo. De acordo com esse relatório, os rastreadores de treinamento de IA agora representam a maioria das solicitações de rastreamento no tráfego de rede da Cloudflare, um aumento acentuado em relação aos cerca de 20% do total de solicitações na primavera de 2025. As solicitações diárias de agentes de IA aumentaram mais de 1,700% nesse período.
É importante lembrar que esses dados refletem apenas o tráfego de rede da Cloudflare e não incluem a atividade de rastreadores em todo o mundo. Mesmo assim, os números explicam claramente por que a Cloudflare decidiu implementar um mecanismo tão detalhado em vez de uma simples opção de ligar/desligar.
Por que os proprietários de sites devem prestar atenção?
O problema com as alterações que serão feitas em 15 de setembro está relacionado ao fato de que agora o bloqueio do treinamento de IA também estará vinculado à indexação de mecanismos de busca. Em outras palavras, ao bloquear a camada de treinamento dos rastreadores para proteger o conteúdo de modelos de IA, os proprietários de sites podem bloquear acidentalmente o Googlebot, já que este pertence à mesma categoria de rastreadores combinados.
Essa medida é mais eficaz do que o bloqueio por meio do arquivo robots.txt. Uma instrução no robots.txt é uma mera solicitação e, às vezes, o Google rastreia as páginas mesmo quando o robots.txt pede ao rastreador para não fazê-lo. Um bloqueio no nível do Cloudflare é mais difícil de contornar porque opera no nível da rede. Ao bloquear o acesso do Googlebot a um determinado site, os proprietários do site garantem que o Google não rastreará esse site específico e que as páginas ali presentes terão menor visibilidade nos resultados de pesquisa.
Este não é o primeiro caso desse tipo. Durante o último ano, o número de editores que adotaram a configuração de negação padrão, que envolve o bloqueio tanto do treinamento de IA quanto dos rastreadores de recuperação, aumentou significativamente. Sempre que isso acontece, a contrapartida é a mesma: proteger o conteúdo dos modelos de IA pode comprometer a visibilidade nos mecanismos de busca.
O que fazer antes de 15 de setembro
Todos os proprietários de sites que usam o Cloudflare precisam tomar algumas medidas antes de 15 de setembro e verificar as configurações de seus rastreadores no painel de controle. A principal questão a ser respondida é se os rastreadores de pesquisa devem permanecer permitidos, enquanto os rastreadores de treinamento e de agentes devem ser restringidos.
Isso se aplica especialmente àqueles que ativaram o bloqueio de bots de IA no passado e não o desativaram desde então. A nova regra de rastreamento combinado pode resultar no bloqueio do Googlebot em vez dos bots de IA. Os usuários do plano gratuito simplesmente serão migrados para as novas configurações padrão após o prazo. Conforme declarado pela Cloudflare, a empresa espera que os operadores de rastreadores de propósito misto separem os bots de acordo com a finalidade para a qual foram criados ao longo do próximo ano. Se isso acontecer, os proprietários de sites terão a oportunidade de escolher entre proteger o conteúdo dos rastreadores de IA e manter o site visível nos resultados de pesquisa. Caso contrário, eles continuarão conectados como estão atualmente.
Perguntas Frequentes
P 1: O que a Cloudflare está mudando em relação aos rastreadores de IA?
A Cloudflare agora permite que os sites classifiquem os rastreadores relacionados à IA em três grupos: Busca, Agente e Treinamento. O proprietário do site pode controlar cada grupo separadamente.
Pergunta 2: Por que isso poderia bloquear o Googlebot?
A partir de 15 de setembro, a Cloudflare aplicará a regra mais rigorosa aos rastreadores que têm mais de uma finalidade. Como o Googlebot rastreia tanto para fins de pesquisa quanto para treinamento, o bloqueio do grupo de treinamento também pode resultar no bloqueio do Googlebot.
Pergunta 3: Quando essa mudança entra em vigor?
As alterações e as novas configurações padrão entram em vigor a partir de 15 de setembro. Os proprietários dos sites podem verificar suas configurações a qualquer momento antes dessa data.
P 4: Isso afeta as contas gratuitas do Cloudflare?
Sim. Os usuários do plano gratuito cujas configurações não foram alteradas antes de 15 de setembro serão automaticamente migrados para as novas regras padrão.
Q 5: Qual é a diferença entre rastreadores de Busca, Agente e Treinamento?
Os rastreadores de busca indexam o conteúdo e redirecionam o tráfego para um site. Os rastreadores de agentes atuam em tempo real para atender às necessidades de uma pessoa específica. Os rastreadores de treinamento coletam conteúdo para treinar modelos de IA e não redirecionam o tráfego.
P 6: Qual é o novo sinal de uso de conteúdo que a Cloudflare está testando?
É um sinal que a Cloudflare adiciona ao robots.txt com três configurações: imediato, referência e completo. Ele informa aos bots como eles podem usar o conteúdo de uma página. De acordo com a Cloudflare, trata-se apenas de uma preferência e não bloqueia o acesso.
P 7: O que aconteceu com o selo de bot "Verificado" da Cloudflare?
Agora, a verificação não garante acesso total em todos os lugares. Depende da categoria do bot e, atualmente, rastreadores que reproduzem páginas inteiras não podem ser verificados.
P 8: Quanto cresceu o tráfego de rastreadores de IA?
De acordo com o relatório da Cloudflare, o treinamento de IA tornou-se um dos principais tipos de solicitações feitas à Cloudflare, passando de 20% das solicitações na primavera de 2025 para um aumento de 1,700% no número diário de solicitações de agentes de IA durante o ano.
Pergunta 9: Devo desativar a opção “Bloquear bots de IA” se ainda quiser que o Googlebot rastreie meu site?
Se você deseja manter o acesso total do Googlebot, então vale a pena considerar isso antes de 15 de setembro.
P 10: O que é BotBase?
É um diretório pesquisável que a Cloudflare criou para clientes do Enterprise Bot Management. Ele mostra como cada bot rastreado é classificado e fornece o ID de detecção para a criação de regras de segurança.
