Il arrive parfois que du contenu censé rester privé se retrouve accidentellement dans les résultats de recherche Google. Dans ce cas, il est facile d'incriminer Google, mais le véritable problème réside dans la vulnérabilité du site web hébergeant ce contenu. C'est précisément ce qui s'est produit avec les conversations de Claude, indexées par Google, Bing et d'autres moteurs de recherche.
Voici ce qui s'est passé, pourquoi cela s'est produit et ce que cela signifie pour les recherches futures.
Qu'est-il arrivé
Wired a été le premier média à signaler que des conversations privées avec Claude apparaissaient dans les résultats de recherche.
Certaines de ces conversations portaient sur la politique et la santé, des sujets qui, en principe, ne devraient pas être accessibles au public.
Selon un article de Wired, Claude permet aux utilisateurs de partager des conversations individuelles en générant une URL publique pour chaque échange, ce qui a finalement causé le problème. Une fois l'URL générée, elle apparaît dans les résultats de recherche si elle n'est pas bloquée, que l'éditeur le souhaite ou non.
À un moment donné, les recherches Google pour site:claude.ai/share ont affiché des centaines de conversations individuelles. Ce problème a depuis été résolu, mais son existence même démontre qu'une simple incompréhension du fichier robots.txt et des balises méta noindex en était la cause.
Pourquoi c'est arrivé
Le problème de Claude était dû à une idée fausse très répandue concernant le principe de fonctionnement des moteurs de recherche.
De nombreux propriétaires de sites web pensent qu'utiliser un fichier robots.txt pour empêcher l'exploration d'une page par les robots des moteurs de recherche, combiné à une balise meta robots noindex, offre un double avantage en renforçant la protection contre l'apparition dans les résultats de recherche. Or, c'est l'inverse qui se produit : empêcher l'exploration d'une page empêche les moteurs de recherche de voir la balise noindex, ce qui augmente encore la probabilité que cette page apparaisse dans les résultats de recherche.
Le guide officiel de Google, intitulé « Bloquer les résultats de recherche ou masquer des pages », confirme également cette affirmation dans la section du même nom. Selon Google, une page ne peut être exclue des résultats de recherche avec un fichier robots.txt et une balise méta noindex, car les moteurs de recherche ne prennent pas en compte l'instruction noindex si la page est accessible via le fichier robots.txt. En effet, les moteurs de recherche ne peuvent pas suivre les liens d'une page qui leur est inaccessible, quelle qu'en soit la raison, par exemple à cause d'une directive dans le fichier robots.txt.
L'expert SEO Glenn Gabe a également souligné que bloquer l'accès d'une page aux robots d'exploration et utiliser une balise méta noindex est une erreur. En effet, cette balise est invisible pour les moteurs de recherche, car ces derniers ne peuvent pas la lire s'ils ne peuvent pas accéder à la page. Ce fait, pourtant simple, semble être oublié et cause des problèmes à de nombreux spécialistes SEO. Les propos de Glenn confirment d'ailleurs l'existence de ce problème, qu'il qualifie d'erreur fréquente chez les spécialistes SEO, et qui s'est même produite au sein d'une grande entreprise technologique.
Ce que Google avait à dire
La réponse officielle de Google à la polémique était conforme aux attentes. Un porte-parole de l'entreprise a déclaré que Google ne détermine pas quelles pages apparaissent sur Internet. Comme indiqué, ces pages étaient également indexées par Bing et d'autres moteurs de recherche. Google a précisé qu'il permet aux propriétaires de sites web de personnaliser les pages indexées ou explorées, et qu'il respecte leurs choix.
Dans ce cas précis, Google agit conformément à son rôle, car l'entreprise n'a aucun pouvoir sur l'affichage ou non d'un site web dans les résultats de recherche. Si les propriétaires de sites ne souhaitent pas que certaines pages soient indexées, ils doivent modifier leur fichier robots.txt, leurs balises noindex ou tout autre élément de leur site afin d'empêcher l'exploration ou l'affichage dans les résultats de recherche, voire exiger une authentification des utilisateurs pour accéder à ces pages.
Il est également essentiel de noter que Microsoft et Anthropic ont refusé de commenter la question pour Wired.
Pourquoi cela se produit-il sans cesse ?
Le problème de Claude n'est pas un cas isolé. Il s'inscrit dans une longue liste de pages indexées publiquement qui auraient dû rester privées, résultant d'un même malentendu fondamental.
Les équipes produit qui développent des fonctionnalités de partage négligent généralement le référencement technique. Elles s'assurent souvent du bon fonctionnement des liens partagés, mais oublient parfois de se demander si ces liens doivent être explorés et indexés par les moteurs de recherche. Même lorsqu'elles y pensent, le blocage des URL incombe souvent à des ingénieurs qui ne maîtrisent pas les bonnes pratiques de référencement technique.
Cet incident illustre une fois de plus l'importance cruciale de la supervision technique en matière de référencement. Même les grandes entreprises dotées d'importantes équipes techniques commettent fréquemment ce type d'erreurs.
En quoi cela diffère-t-il des autres incidents d'exposition ?
La situation de Claude ne diffère pas fondamentalement des autres incidents d'exposition liés aux moteurs de recherche, dus à des sites web autorisant par erreur les robots d'exploration à consulter des pages auparavant privées. Toutefois, ce problème pourrait avoir des conséquences différentes en raison de la nature très personnelle et privée des conversations par messagerie instantanée et du risque que des informations très sensibles, voire embarrassantes, apparaissent dans les résultats de recherche.
Lorsqu'on échange une conversation avec une autre personne, on s'attend à un échange d'informations très privé, comme le partage d'une entrée de journal intime ou d'un message privé avec un ami. Les conversations par messagerie instantanée utilisent généralement un langage beaucoup plus familier qu'un document formel ou une page web classique.
C'est en partie pour cette raison que la possibilité de rechercher des conversations privées avec Claude inquiète tant de personnes. On ne s'attend généralement pas à ce qu'une conversation partagée avec une autre personne soit accessible à tous via une simple recherche Google. Or, cette attente n'est pas satisfaite si les mesures techniques de référencement (SEO) appropriées ne sont pas mises en œuvre pour empêcher cela.
Pourquoi cela est important au-delà de cet incident particulier
Pour les entreprises qui développent des produits comportant des URL partageables ou publiques, au-delà des outils traditionnels de partage de documents ou de collaboration, il s'agit d'une leçon importante en matière de référencement technique. Il ne suffit pas de supposer qu'un lien partagé n'apparaîtra pas par défaut dans les résultats de recherche. S'assurer que les liens partagés ne sont pas explorés et indexés par les moteurs de recherche nécessite généralement une configuration de référencement technique proactive, incluant la mise en œuvre de directives robots.txt, de balises noindex, de mesures d'authentification ou une combinaison de ces trois éléments.
Même les entreprises qui ne développent pas de produits d'IA à grande échelle doivent être attentives à ce problème. Tout produit autorisant le partage de liens susceptibles de contenir des informations potentiellement sensibles ou compromettantes risque de connaître une erreur similaire.
Ce que les entreprises peuvent faire différemment
Les entreprises qui développent des produits générant des URL partageables ou publiques doivent s'assurer que des experts en référencement technique examinent les fonctionnalités et les modifications de code avant leur déploiement, et non après la survenue d'un problème.
Toute personne développant une fonctionnalité impliquant une URL publique doit comprendre comment les robots d'exploration des moteurs de recherche perçoivent et traitent ces URL, et quelles mesures supplémentaires, au-delà des directives standard du fichier robots.txt, doivent être prises pour garantir que ces pages n'apparaissent pas dans les résultats de recherche.
Des audits techniques SEO périodiques des fonctionnalités de partage public existantes peuvent également s'avérer utiles. Ces audits peuvent révéler des problèmes tels que les conflits de fichiers robots.txt et d'attributs noindex mentionnés dans cet article, qui sont généralement faciles à corriger s'ils sont détectés suffisamment tôt.
Questions fréquemment posées
Q1 : Alors, que s’est-il passé avec les discussions sur Claude qui apparaissaient dans les résultats de recherche ?
Les conversations privées de Claude partagées via la fonction de lien public étaient indexées et apparaissaient sur Google, Bing et d'autres moteurs de recherche.
Q2 : Et pourquoi cela s'est-il produit ?
Les pages étaient en réalité visibles par les moteurs de recherche en raison d'un conflit entre le blocage du fichier robots.txt et les balises noindex, ce qui empêchait le respect de la directive noindex.
Q3 : Qu’est-ce que cela signifie ? Quel est le problème technique ?
Bloquer une page avec un fichier robots.txt tout en utilisant également une balise noindex sur la même page ne fonctionne pas, car les robots d'exploration ne peuvent pas voir la balise noindex s'ils ne peuvent pas accéder à la page.
Q4 : Est-ce la faute de Google ?
Non, pas vraiment – Google a déclaré qu'il n'avait aucun contrôle sur les pages accessibles au public sur le Web et qu'il indexait ce qu'il était légalement autorisé à indexer, de la même manière que les autres moteurs de recherche.
Q5 : Mais les exploitants de sites web ne peuvent-ils pas faire certaines choses pour empêcher cela de se produire ?
Oui, comme mentionné, l'utilisation appropriée des balises robots.txt et/ou noindex empêchera les moteurs de recherche d'explorer ou d'indexer une page si les directives sont utilisées correctement (sans conflit entre elles).
Q6 : Anthropic ou Microsoft ont-ils eu quelque chose à dire à ce sujet ?
Anthropic et Microsoft n'ont pas souhaité faire de commentaires lorsqu'ils ont été contactés par Wired pour l'article qui a révélé l'affaire des conversations avec Claude apparaissant dans les résultats de recherche.
Q7 : Existe-t-il d’autres entreprises qui commettent ce genre d’erreur ?
Ce n'est certainement pas un cas isolé, comme le souligne l'article : les directives robots.txt et noindex sont souvent incompatibles, notamment dans les produits qui n'ont pas été développés en tenant compte du référencement naturel.
Q8 : Que peuvent faire les entreprises pour éviter de commettre cette erreur en particulier ?
Comme indiqué précédemment, les produits qui génèrent des liens publics ou d'autres informations que les entreprises souhaitent exclure des résultats de recherche ne devraient pas être développés sans conseils techniques en matière de référencement (SEO), et les fonctionnalités existantes devraient faire l'objet d'audits réguliers de sécurité et d'indexation.
Q9 : Les liens de discussion avec Claude apparaissent-ils toujours dans les résultats de recherche ?
Les liens spécifiques qui apparaissaient lors d'une recherche sur Google pour « claude.ai » ont depuis été supprimés des résultats de recherche.
Q10 : Alors, pourquoi est-ce si important ?
D'une part, cela illustre pourquoi tenter de masquer des informations aux moteurs de recherche par défaut est problématique, car ces derniers peuvent et vont les trouver de toute façon si elles sont accessibles au public.
