Cloudflare ha implementado un cambio importante en la forma en que gestiona el tráfico web automatizado, y esta actualización conlleva un efecto secundario que podría sorprender a algunos propietarios de sitios web. Dependiendo de la configuración de ciertos ajustes, el cambio podría provocar que un propietario de sitio bloquee involuntariamente a Googlebot junto con los bots de IA. La compañía anunció este cambio como parte de su segundo Día de la Independencia del Contenido y lo implementó para todos los clientes, incluidos aquellos con el plan gratuito.
La idea principal de la actualización es sencilla. Cloudflare ha sustituido la opción de tratar a los "bots de IA" como una única categoría para bloquear o permitir todos los rastreadores de esta categoría. Con la nueva actualización, la empresa permite ahora a los clientes ordenar los rastreadores según su actividad en el sitio web, en lugar de por su etiqueta. Esta distinción cobra aún más importancia una vez que entre en vigor un nuevo conjunto de ajustes predeterminados el 15 de septiembre.
Clasificación de los gusanos en tres categorías
El nuevo sistema utiliza tres categorías de rastreadores relacionados con la IA. La primera es la de búsqueda. Estos rastreadores indexan un sitio web para poder responder preguntas sobre él posteriormente. Cloudflare vincula esta actividad al tráfico de referencia.
Luego están los rastreadores de agente. Estos son rastreadores en tiempo real que actúan en nombre de la persona que realiza la solicitud, como ChatGPT-User. A diferencia de los rastreadores típicos, que se ejecutan de forma autónoma, los rastreadores de agente son activados por una persona real.
Por último, existen rastreadores de entrenamiento que exploran el contenido del sitio web para entrenar o perfeccionar una IA. Este tipo de actividad de rastreo es la que más preocupa a los editores, ya que los rastreadores de entrenamiento no envían tráfico de vuelta al sitio original.
Según Cloudflare, su objetivo es persuadir a los operadores de bots para que los utilicen en modos distintos para cada una de estas acciones. De esta forma, los sitios web podrán identificar con precisión el motivo de la visita de un bot, en lugar de agruparlos todos bajo la etiqueta de "IA".
La fecha límite del 15 de septiembre que lo cambia todo.
Hay dos cambios importantes que entrarán en vigor el 15 de septiembre de 2023 y que requieren una atención especial si el sitio utiliza los servicios de Cloudflare.
Para los nuevos clientes y los nuevos sitios web de clientes existentes, los rastreadores de capacitación y de agentes estarán bloqueados por defecto en las páginas con anuncios, mientras que los rastreadores de búsqueda seguirán permitidos. Cloudflare también mencionó que los clientes que utilizan sus servicios gratuitos y no hayan modificado la configuración antes del 15 de septiembre obtendrán automáticamente esta configuración predeterminada.
El segundo cambio merece una atención aún mayor. A partir del 15 de septiembre, Cloudflare tratará a los rastreadores con múltiples funciones según su comportamiento general, aplicando la regla más estricta. En otras palabras, si un rastreador realiza funciones de búsqueda y entrenamiento, y el propietario del sitio decide bloquear la función de entrenamiento, se bloqueará todo el rastreador, independientemente de la función de búsqueda.
Cloudflare pone como ejemplos a Googlebot, Applebot y Bingbot, ya que cada uno rastrea la web tanto para la indexación de búsqueda habitual como para el entrenamiento de IA. Los sitios que tenían habilitada la antigua opción "Bloquear bots de IA" también se verán afectados por este cambio.
Si el propietario de un sitio web desea permitir el acceso a Googlebot, Applebot o Bingbot, la solución es muy sencilla: basta con revisar la configuración en el panel de control de Cloudflare y ajustarla. Cloudflare también anunció que notificará a sus clientes sobre esta fecha límite.
Una nueva señal sobre cómo los bots pueden usar el contenido
Además de las nuevas categorías de rastreadores, Cloudflare también ha comenzado a probar una nueva señal de uso de contenido basada en su marco de señales de contenido existente, utilizado en los archivos robots.txt. Existen tres tipos de señales: la más restrictiva es "inmediata", que significa que el contenido no debe almacenarse en absoluto. La siguiente es "referencia", que permite al rastreador indexar el contenido y crear una referencia para él, y que es la nueva opción predeterminada. Finalmente, existe una señal "completa" que permite al rastreador resumir y reproducir el contenido.
Cloudflare ha aclarado que se trata de preferencias y no de restricciones obligatorias, por lo que un bot podría ignorar la señal y almacenar contenido incluso cuando el valor esté configurado como "inmediato". Cloudflare también ha modificado los criterios para que un bot sea etiquetado como "verificado". Ahora depende de la categoría del bot, por lo que ya no garantiza el acceso. Reproducir el contenido íntegro ya no es el criterio para que un bot sea verificado. Además, Cloudflare ha introducido un directorio de búsqueda para clientes de Enterprise Bot Management llamado BotBase, que contiene la clasificación de cada bot junto con el ID de detección que se puede utilizar para crear reglas de seguridad.
Los números detrás de la decisión
Cloudflare mencionó las cifras que respaldan esta actualización como parte de un informe que conmemoraba el primer aniversario del primer Día de la Independencia del Contenido. Según dicho informe, los rastreadores de entrenamiento de IA representan ahora la mayoría de las solicitudes de rastreo en el tráfico de la red de Cloudflare, con un fuerte aumento respecto al 20 % del total de solicitudes registrado en la primavera de 2025. Las solicitudes diarias de agentes de IA han aumentado en más de un 1,700 % durante ese período.
Cabe destacar que estos datos reflejan únicamente el tráfico de la red de Cloudflare y no incluyen la actividad de los rastreadores a nivel mundial. No obstante, las cifras explican claramente por qué Cloudflare decidió implementar un mecanismo tan detallado en lugar de un simple interruptor de encendido/apagado.
Por qué los propietarios de sitios web deberían prestar atención
El problema con los cambios que entrarán en vigor el 15 de septiembre radica en que ahora el bloqueo de los bloques de entrenamiento de IA también estará vinculado al rastreo de búsqueda. En otras palabras, al bloquear la capa de entrenamiento de los rastreadores para proteger el contenido de los modelos de IA, los propietarios de sitios web podrían bloquear accidentalmente a Googlebot, ya que este último pertenece a la misma categoría de rastreadores combinados.
Esta medida es más efectiva que bloquear mediante el archivo robots.txt. Una instrucción en robots.txt es simplemente una solicitud, y a veces Google rastrea las páginas incluso cuando robots.txt le pide al rastreador que no lo haga. Un bloqueo a nivel de Cloudflare es más difícil de eludir porque funciona a nivel de red. Al bloquear el acceso de Googlebot a un sitio web, los propietarios se aseguran de que Google no lo rastree y que sus páginas sean menos visibles en los resultados de búsqueda.
No es el primer caso de este tipo. Durante el último año, el número de editores que optaron por la configuración de bloqueo por defecto, que implica el bloqueo tanto del entrenamiento de IA como de los rastreadores de recuperación, ha aumentado significativamente. En cada caso, la disyuntiva es la misma: proteger el contenido de los modelos de IA puede tener un coste en términos de visibilidad en los motores de búsqueda.
Qué hacer antes del 15 de septiembre
Todos los propietarios de sitios web que utilizan Cloudflare deben tomar algunas medidas antes del 15 de septiembre y revisar la configuración de sus rastreadores en el panel de control. La pregunta clave es si se deben permitir los rastreadores de búsqueda mientras se restringen los rastreadores de entrenamiento y los rastreadores de agentes.
Esto se aplica especialmente a quienes activaron el bloqueo de bots de IA en el pasado y no lo han vuelto a modificar. La nueva regla de rastreo combinado podría resultar en el bloqueo de Googlebot en lugar de los bots de IA. Los usuarios del plan gratuito simplemente volverán a la configuración predeterminada después de la fecha límite. Como indicó Cloudflare, la compañía espera que los operadores de rastreadores de propósito mixto separen los bots según su función durante el próximo año. Si esto sucede, los propietarios de sitios web podrán elegir entre proteger su contenido de los rastreadores de IA y mantener la visibilidad del sitio en los resultados de búsqueda. De lo contrario, seguirán conectados como hasta ahora.
Preguntas Frecuentes
P 1: ¿Qué cambios está introduciendo Cloudflare en relación con los rastreadores de IA?
Cloudflare ahora permite a los sitios web clasificar los rastreadores relacionados con la IA en tres grupos: Búsqueda, Agente y Entrenamiento. El propietario del sitio puede controlar cada grupo por separado.
P 2: ¿Por qué esto podría bloquear a Googlebot?
A partir del 15 de septiembre, Cloudflare aplicará la regla más estricta a los rastreadores que tengan más de un propósito. Dado que Googlebot rastrea tanto para búsquedas como para entrenamiento, el bloqueo del grupo de entrenamiento podría resultar en el bloqueo de Googlebot.
P 3: ¿Cuándo entra en vigor este cambio?
Los cambios y la nueva configuración predeterminada entrarán en vigor a partir del 15 de septiembre. Los propietarios de sitios web pueden consultar su configuración en cualquier momento antes de esa fecha.
P 4: ¿Esto afecta a las cuentas gratuitas de Cloudflare?
Sí. Los usuarios del plan gratuito cuya configuración no se haya modificado antes del 15 de septiembre pasarán automáticamente a las nuevas reglas predeterminadas.
P 5: ¿Cuál es la diferencia entre los rastreadores de búsqueda, de agente y de entrenamiento?
Los rastreadores de búsqueda indexan el contenido y redirigen el tráfico a un sitio web. Los rastreadores de agente actúan en tiempo real para una persona en particular. Los rastreadores de entrenamiento recopilan contenido para entrenar modelos de IA y no redirigen el tráfico.
P 6: ¿Cuál es la nueva señal de uso de contenido que Cloudflare está probando?
Se trata de una señal que Cloudflare añade al archivo robots.txt con tres opciones: inmediata, referencia y completa. Indica a los bots cómo pueden usar el contenido de una página. Según Cloudflare, es simplemente una preferencia y no bloquea el acceso.
P 7: ¿Qué pasó con la etiqueta de bot "Verificado" de Cloudflare?
Ahora la verificación no garantiza el acceso completo en todas partes. Depende de la categoría del bot y, actualmente, los rastreadores que reproducen páginas completas no pueden verificarse.
P 8: ¿Cuánto ha aumentado el tráfico de los rastreadores de IA?
Según el informe de Cloudflare, el entrenamiento de IA se convirtió en uno de los principales tipos de solicitudes que recibe Cloudflare, pasando del 20 % de las solicitudes en la primavera de 2025 a un aumento del 1,700 % en el número diario de solicitudes de agentes de IA durante el año.
P 9: ¿Debo desactivar la opción "Bloquear bots de IA" si aún quiero que Googlebot rastree mi sitio web?
Si quieres mantener el acceso completo a Googlebot, entonces vale la pena considerarlo antes del 15 de septiembre.
P 10: ¿Qué es BotBase?
Se trata de un directorio con función de búsqueda creado por Cloudflare para clientes de Enterprise Bot Management. Muestra cómo se clasifica cada bot rastreado y proporciona el ID de detección para crear reglas de seguridad.
