De vez em quando, algum conteúdo que deveria ser privado vaza acidentalmente para os resultados de busca do Google. Nesses casos, é fácil culpar o Google pelo vazamento, mas o verdadeiro problema é que o site que hospeda o conteúdo é muito vulnerável. Foi exatamente isso que aconteceu com os chats do Claude, que acabaram indexados no Google, Bing e outros mecanismos de busca.
Eis o que aconteceu, por que aconteceu e o que isso significa para o que poderá ser pesquisado no futuro.
O que aconteceu
A Wired foi a primeira a noticiar que conversas privadas com Claude estavam aparecendo nos resultados de busca.
Algumas das conversas que apareceram incluíam discussões sobre política e saúde, tópicos que presumivelmente não deveriam ser de acesso público.
De acordo com a reportagem da Wired, o Claude permite que os usuários compartilhem conversas individuais com outras pessoas, gerando um URL público para uma conversa específica, o que acabou causando o problema. Depois que um URL de conversa é gerado, ele aparece nos resultados de busca se não estiver bloqueado, independentemente da intenção do editor.
Em determinado momento, buscas no Google por site:claude.ai/share retornavam centenas de tópicos de bate-papo individuais. Esse problema específico já foi corrigido, mas o fato de ter ocorrido demonstra como um mal-entendido básico sobre o arquivo robots.txt e as meta tags noindex levou ao problema.
Por que isso aconteceu
O problema de Claude foi determinado por uma ideia errada bastante difundida relacionada ao princípio de funcionamento dos mecanismos de busca.
Muitos proprietários de sites acreditam que usar um arquivo robots.txt para impedir que uma página seja rastreada pelos robôs dos mecanismos de busca, combinado com uma meta tag robots noindex, proporcionaria um benefício duplo, aumentando o nível de proteção contra a exibição nos resultados de busca. No entanto, o efeito é o oposto: bloquear o rastreamento de uma página impede que os mecanismos de busca vejam a tag noindex, o que torna essa página ainda mais propensa a aparecer nos resultados de busca.
O guia oficial do Google, "Bloquear resultados de pesquisa versus ocultar páginas", na seção com o mesmo nome, também confirma essa afirmação. Segundo o Google, uma página não pode ser excluída dos resultados de pesquisa com um arquivo robots.txt e a meta tag noindex, porque os mecanismos de busca não verão a instrução noindex a menos que a página não esteja bloqueada pelo robots.txt. A verdade é que os mecanismos de busca não conseguem seguir nenhum link em uma página que esteja indisponível para eles por qualquer motivo, como, por exemplo, uma diretiva do robots.txt.
O especialista em SEO Glenn Gabe também apontou que bloquear uma página dos rastreadores e usar uma meta tag noindex é um erro que oculta a tag noindex dos mecanismos de busca, pois eles não conseguem lê-la se não conseguem acessar a página. Trata-se de um fato simples, mas que, de alguma forma, parece ser esquecido e leva a problemas para muitos profissionais de SEO. Na verdade, as palavras de Glenn confirmam o problema, que ele chama de erro comum entre profissionais de SEO, ocorrido inclusive em grandes empresas de tecnologia.
O que o Google tinha a dizer
A resposta oficial do Google à controvérsia foi a esperada. Um porta-voz da empresa afirmou que o Google não dita quais páginas aparecem na internet. Como mencionado, essas páginas também apareceram no Bing e em outros mecanismos de busca. O Google declarou que permite que os proprietários de sites personalizem as páginas que indexa ou rastreia, acrescentando que respeita seus desejos.
Neste caso, o Google está fazendo exatamente o que deveria, já que a empresa não tem autoridade sobre se um site aparece ou não nos resultados de pesquisa. Se os proprietários de sites específicos não quiserem que determinadas páginas sejam indexadas, eles devem fazer alterações em seus arquivos robots.txt, tags noindex ou quaisquer outros elementos em seus sites para impedir a indexação ou a exibição nos resultados de pesquisa, ou até mesmo exigir que os usuários façam login antes de conceder acesso a páginas específicas.
É importante ressaltar também que a Microsoft e a Anthropic se recusaram a comentar o assunto para a Wired.
Por que isso continua acontecendo?
O problema de Claude não é um incidente isolado. Faz parte de uma longa lista de páginas indexadas publicamente que deveriam ser privadas, decorrentes do mesmo mal-entendido básico.
As equipes de produto que desenvolvem funcionalidades de compartilhamento geralmente não consideram o SEO técnico. Elas podem estar focadas em garantir que os links compartilhados funcionem, mas podem não levar em conta se esses links devem ser rastreados e indexados pelos mecanismos de busca. Mesmo quando consideram, o bloqueio de URLs geralmente fica a cargo de engenheiros que não estão familiarizados com as melhores práticas de SEO técnico.
Este incidente é mais um exemplo de por que a supervisão técnica de SEO é tão importante. Mesmo grandes empresas com enormes equipes de infraestrutura técnica cometem esses erros com frequência.
Como isso difere de outros incidentes de exposição
A situação de Claude não difere drasticamente de outros incidentes de exposição envolvendo mecanismos de busca, que decorrem de sites que, por engano, permitem que os rastreadores de busca vejam páginas anteriormente privadas. No entanto, é possível que este problema tenha implicações diferentes devido à natureza muito pessoal e privada das conversas em chats e ao potencial de informações muito sensíveis ou constrangedoras aparecerem nos resultados de busca.
Ao compartilhar uma conversa com outra pessoa, espera-se que seja uma troca de informações muito privada, como compartilhar uma anotação de diário pessoal ou uma mensagem privada com um amigo. As conversas por chat também tendem a incluir uma linguagem muito mais informal do que um documento formal típico ou uma página da web.
Essa é uma das razões pelas quais a possibilidade de pesquisar conversas privadas com Claude preocupa muitas pessoas. Compartilhar uma conversa com outra pessoa normalmente não significa que ela ficará disponível para qualquer um que faça uma busca no Google. Essa expectativa não se concretiza se as medidas técnicas de SEO adequadas não forem tomadas para evitar que isso aconteça.
Por que isso importa além deste incidente específico?
Para empresas que desenvolvem produtos com URLs compartilháveis ou públicas, além das ferramentas tradicionais de compartilhamento ou colaboração de documentos, esta é uma lição importante sobre SEO técnico. Não basta presumir que um link compartilhado não aparecerá nos resultados de busca por padrão. Garantir que links compartilhados não sejam rastreados e indexados por mecanismos de busca geralmente exige uma configuração proativa de SEO técnico, incluindo a implementação de diretivas no arquivo robots.txt, tags noindex, medidas de autenticação ou uma combinação das três.
Mesmo empresas que não desenvolvem produtos de IA em larga escala precisam estar atentas a esse problema específico. Qualquer produto que permita o compartilhamento de links que possam conter informações potencialmente sensíveis ou constrangedoras corre o risco de sofrer um erro semelhante.
O que as empresas podem fazer de diferente
Empresas que desenvolvem produtos que geram URLs compartilháveis ou públicas devem garantir que especialistas em SEO técnico revisem os recursos e as alterações de código antes da implementação, e não depois que um problema ocorrer.
Qualquer pessoa que desenvolva uma funcionalidade que envolva um URL público deve compreender como os mecanismos de busca visualizam e tratam esses URLs, e quais medidas adicionais, além das diretivas padrão do robots.txt, precisam ser tomadas para garantir que essas páginas não apareçam nos resultados de busca.
Auditorias técnicas periódicas de SEO em recursos de compartilhamento público existentes também podem ajudar. Essas auditorias podem revelar problemas como os conflitos de robots.txt e noindex mencionados neste post, que tendem a ser fáceis de corrigir se descobertos precocemente.
Perguntas frequentes
P1: Então, o que aconteceu com os chats do Claude aparecendo nos resultados de busca?
As conversas privadas de Claude, compartilhadas por meio do recurso de link público, estavam sendo indexadas e aparecendo no Google, Bing e outros mecanismos de busca.
Q2: E por que isso aconteceu?
As páginas estavam essencialmente visíveis para os mecanismos de busca devido a um conflito entre o bloqueio do robots.txt e as tags noindex, o que impedia o cumprimento da diretiva noindex.
P3: O que isso significa? Qual é o problema técnico aqui?
Bloquear uma página com o arquivo robots.txt e ao mesmo tempo usar a tag noindex na mesma página não funciona, pois os rastreadores não conseguem ver a tag noindex se não tiverem acesso à página.
Q4: A culpa é do Google?
Não, na verdade não – o Google afirmou que não tem controle sobre quais páginas estão disponíveis publicamente na web e que indexa apenas o que tem permissão legal para indexar, da mesma forma que outros mecanismos de busca.
Q5: Mas não existem medidas que os operadores de sites podem tomar para evitar que isso aconteça?
Sim, como mencionado, o uso adequado das tags robots.txt e/ou noindex impedirá que os mecanismos de busca rastreiem ou indexem uma página, desde que as diretivas sejam usadas corretamente (sem entrar em conflito umas com as outras).
Q6: A Anthropic ou a Microsoft têm algo a dizer sobre isso?
A Anthropic e a Microsoft não comentaram quando contatadas pela Wired para a matéria que revelou a existência de chats do Claude nos resultados de busca.
Q7: Existem outras empresas que cometem esse tipo de erro?
Certamente não é algo inédito, como observa o artigo – o arquivo robots.txt e as diretivas noindex geralmente não se dão bem, principalmente em produtos que não foram desenvolvidos com foco em SEO.
Q8: O que as empresas podem fazer para evitar cometer esse erro específico?
Conforme mencionado, produtos que geram links públicos ou outras informações que as empresas desejam manter fora dos resultados de busca não devem ser desenvolvidos sem orientação técnica de SEO, e os recursos existentes devem passar por auditorias regulares de segurança e indexação.
P9: Os links de bate-papo do Claude ainda aparecem nos resultados de pesquisa?
Os links específicos que podiam ser vistos ao realizar uma busca no Google por claude.ai foram posteriormente removidos dos resultados da pesquisa.
Q10: Então, por que isso é tão importante?
Em primeiro lugar, isso ilustra por que tentar ocultar informações dos mecanismos de busca por padrão é problemático, já que os mecanismos de busca podem e irão encontrá-las de qualquer maneira se elas forem acessíveis ao público.
