Hin und wieder gelangen eigentlich private Inhalte versehentlich in die Google-Suchergebnisse. In solchen Fällen ist es naheliegend, Google die Schuld zuzuschieben, doch das eigentliche Problem liegt in der Sicherheitslücke der Website, auf der die Inhalte gehostet werden. Genau das ist passiert, als Claudes Chats von Google, Bing und anderen Suchmaschinen indexiert wurden.
Hier erfahren Sie, was passiert ist, warum es passiert ist und was das für zukünftige Suchmöglichkeiten bedeutet.
What Happened
Wired berichtete als erstes, dass private Chats von Claude in den Suchergebnissen auftauchten.
Einige der aufgetauchten Chats enthielten Diskussionen über Politik und Gesundheit, Themen, die vermutlich nicht öffentlich zugänglich sein sollten.
Laut einem Bericht von Wired ermöglicht Claude Nutzern, einzelne Chats mit anderen zu teilen, indem eine öffentliche URL für die jeweilige Konversation generiert wird. Dies führte letztendlich zu dem Problem. Sobald eine Chat-URL generiert wurde, erscheint sie in den Suchergebnissen, sofern sie nicht blockiert ist – unabhängig davon, ob der Herausgeber dies beabsichtigt oder nicht.
Zeitweise lieferte die Google-Suche nach site:claude.ai/share Hunderte einzelner Chatverläufe. Dieses Problem wurde inzwischen behoben, doch allein die Tatsache, dass es überhaupt auftrat, verdeutlicht, warum ein grundlegendes Missverständnis bezüglich robots.txt und noindex-Meta-Tags zu diesem Problem führte.
Warum das passiert ist
Claudes Problem war auf ein weit verbreitetes Missverständnis bezüglich des Funktionsprinzips von Suchmaschinen zurückzuführen.
Viele Website-Betreiber glauben, dass die Verwendung einer robots.txt-Datei, um das Crawling einer Seite durch Suchmaschinen-Roboter zu verhindern, in Kombination mit dem Meta-Robots-Tag „noindex“ einen doppelten Vorteil für einen besseren Schutz vor dem Erscheinen in den Suchergebnissen bietet. Tatsächlich funktioniert es aber genau umgekehrt: Wenn eine Seite vom Crawling ausgeschlossen wird, können Suchmaschinen das „noindex“-Tag nicht erkennen, wodurch die Wahrscheinlichkeit, dass die Seite in den Suchergebnissen erscheint, sogar noch steigt.
Googles offizieller Leitfaden zum Thema „Suchergebnisse blockieren vs. Seiten ausblenden“ bestätigt diese Aussage ebenfalls. Laut Google kann eine Seite nicht mithilfe einer robots.txt-Datei und des noindex-Meta-Tags von den Suchergebnissen ausgeschlossen werden, da Suchmaschinen die noindex-Anweisung nur dann erkennen, wenn die Seite durch die robots.txt-Datei blockiert wird. Tatsächlich können Suchmaschinen keinen Links auf einer Seite folgen, die ihnen aus irgendeinem Grund nicht zur Verfügung steht, beispielsweise aufgrund einer robots.txt-Anweisung.
SEO-Experte Glenn Gabe wies darauf hin, dass das Blockieren einer Seite für Crawler und die Verwendung eines noindex-Meta-Tags ein Fehler ist. Suchmaschinen können den noindex-Tag nicht lesen, wenn sie die Seite nicht sehen können. Dies ist eine einfache Tatsache, die jedoch scheinbar in Vergessenheit gerät und vielen SEOs Probleme bereitet. Gabes Worte bestätigen dieses Problem, das er als weit verbreiteten Fehler unter SEOs bezeichnet und der sogar in großen Technologieunternehmen vorkommt.
Was Google dazu zu sagen hatte
Googles offizielle Reaktion auf die Kontroverse entsprach den Erwartungen. Ein Unternehmenssprecher erklärte, Google bestimme nicht, welche Seiten im Internet erscheinen. Wie bereits erwähnt, wurden diese Seiten auch von Bing und anderen Suchmaschinen angezeigt. Google erklärte, Website-Betreibern die Möglichkeit zu geben, die indexierten oder gecrawlten Seiten anzupassen, und fügte hinzu, man respektiere deren Wünsche.
In diesem Fall verhält sich Google genau so, wie es soll, da das Unternehmen keinen Einfluss darauf hat, ob eine Website in den Suchergebnissen erscheint oder nicht. Wenn Website-Betreiber nicht möchten, dass bestimmte Webseiten indexiert werden, müssen sie Änderungen an ihrer robots.txt-Datei, den noindex-Tags oder anderen Elementen ihrer Website vornehmen, um das Crawling oder die Anzeige in den Suchergebnissen zu verhindern oder Nutzer sogar zur Anmeldung zu zwingen, bevor sie Zugriff auf bestimmte Seiten erhalten.
Wichtig ist auch anzumerken, dass Microsoft und Anthropic gegenüber Wired eine Stellungnahme zu dem Thema abgelehnt haben.
Warum das immer wieder passiert
Claudes Problem ist kein Einzelfall. Es ist vielmehr Teil einer langen Liste öffentlich indexierter Seiten, die eigentlich privat hätten sein sollen, und beruht auf demselben grundlegenden Missverständnis.
Produktteams, die Funktionen zum Teilen entwickeln, vernachlässigen in der Regel die technische Suchmaschinenoptimierung (SEO). Sie konzentrieren sich zwar darauf, dass die geteilten Links funktionieren, berücksichtigen aber möglicherweise nicht, ob diese Links von Suchmaschinen gecrawlt und indexiert werden sollten. Selbst wenn sie dies berücksichtigen, fällt das Blockieren von URLs oft in den Verantwortungsbereich von Entwicklern, die mit den Best Practices der technischen SEO nicht vertraut sind.
Dieser Vorfall ist ein weiteres Beispiel dafür, warum die technische SEO-Überwachung so wichtig ist. Selbst große Unternehmen mit umfangreichen technischen Infrastrukturteams begehen diese Fehler häufig.
Wie sich dieser Fall von anderen Expositionsvorfällen unterscheidet
Claudes Situation unterscheidet sich nicht wesentlich von anderen Fällen, in denen Suchmaschinen versehentlich private Seiten ihrer Webseiten einsehen konnten. Aufgrund der sehr persönlichen und vertraulichen Natur von Chat-Konversationen und der Möglichkeit, dass sensible oder peinliche Informationen in den Suchergebnissen erscheinen, könnten in diesem Fall jedoch andere Konsequenzen auftreten.
Bei einem Chatgespräch erwartet man einen sehr privaten Informationsaustausch, ähnlich dem Teilen eines Tagebucheintrags oder einer privaten Nachricht mit einem Freund. Chatgespräche verwenden zudem häufig eine deutlich lockerere Sprache als formelle Dokumente oder Webseiten.
Das ist mit ein Grund, warum die Möglichkeit, private Chats mit Claude zu finden, viele Menschen so beunruhigt. Normalerweise erwartet man nicht, dass ein Chat, den man mit einer anderen Person teilt, für jeden, der eine Google-Suche durchführen kann, zugänglich wird. Diese Erwartung wird nicht erfüllt, wenn keine geeigneten technischen SEO-Maßnahmen ergriffen werden, um dies zu verhindern.
Warum dies über diesen speziellen Vorfall hinaus von Bedeutung ist
Für Unternehmen, die Produkte mit teilbaren oder öffentlichen URLs entwickeln, die über herkömmliche Dokumentenfreigabe- oder Kollaborationstools hinausgehen, ist dies eine wichtige Erkenntnis im Bereich der technischen Suchmaschinenoptimierung (SEO). Es reicht nicht aus, davon auszugehen, dass ein geteilter Link standardmäßig nicht in den Suchergebnissen erscheint. Um sicherzustellen, dass geteilte Links nicht von Suchmaschinen gecrawlt und indexiert werden, ist in der Regel eine proaktive technische SEO-Konfiguration erforderlich. Dazu gehören die Implementierung von robots.txt-Anweisungen, noindex-Tags, Authentifizierungsmaßnahmen oder einer Kombination dieser drei.
Auch Unternehmen, die keine groß angelegten KI-Produkte entwickeln, müssen dieses Problem im Auge behalten. Jedes Produkt, das teilbare Links ermöglicht, die potenziell sensible oder peinliche Informationen enthalten können, birgt das Risiko eines ähnlichen Fehlers.
Was Unternehmen anders machen können
Unternehmen, die Produkte entwickeln, welche teilbare oder öffentliche URLs generieren, sollten sicherstellen, dass technische SEO-Experten Funktionen und Codeänderungen überprüfen, bevor diese bereitgestellt werden und nicht erst, nachdem ein Problem aufgetreten ist.
Wer eine Funktion entwickelt, die eine öffentliche URL beinhaltet, sollte verstehen, wie Suchmaschinen-Crawler diese URLs sehen und behandeln und welche zusätzlichen Maßnahmen über die Standard-robots.txt-Anweisungen hinaus ergriffen werden müssen, um sicherzustellen, dass diese Seiten nicht in den Suchergebnissen erscheinen.
Regelmäßige technische SEO-Audits bestehender Funktionen zum öffentlichen Teilen von Inhalten können ebenfalls hilfreich sein. Diese Audits können Probleme wie die in diesem Beitrag erwähnten Konflikte mit der robots.txt-Datei und dem Noindex-Eintrag aufdecken, die sich in der Regel leicht beheben lassen, wenn sie frühzeitig erkannt werden.
Häufig gestellte Fragen
Frage 1: Was ist also mit den Claude-Chats passiert, die in den Suchergebnissen angezeigt wurden?
Private Chats von Claude, die über die Funktion „Öffentlicher Link“ geteilt wurden, wurden irgendwie indexiert und tauchten in Google, Bing und anderen Suchmaschinen auf.
Frage 2: Und warum ist das passiert?
Die Seiten waren für Suchmaschinen im Wesentlichen sichtbar, weil ein Konflikt zwischen der robots.txt-Blockierung und den noindex-Tags bestand, wodurch die noindex-Anweisung nicht befolgt wurde.
Frage 3: Was bedeutet das? Worin besteht das technische Problem?
Das Blockieren einer Seite mit robots.txt und gleichzeitigem Einsatz eines noindex-Tags auf derselben Seite funktioniert nicht, da Crawler den noindex-Tag nicht sehen können, wenn sie nicht auf die Seite zugreifen können.
Frage 4: Ist das Googles Schuld?
Nein, nicht wirklich – Google erklärte, dass es keine Kontrolle darüber habe, welche Seiten im Web öffentlich zugänglich seien, und dass es nur das indexiere, was es rechtlich indexieren dürfe, genau wie andere Suchmaschinen auch.
Frage 5: Aber gibt es nicht Dinge, die Website-Betreiber tun können, um dies zu verhindern?
Ja, wie bereits erwähnt, verhindert die korrekte Verwendung von robots.txt- und/oder noindex-Tags, dass Suchmaschinen eine Seite crawlen oder indexieren, sofern die Anweisungen korrekt verwendet werden (ohne miteinander in Konflikt zu geraten).
Frage 6: Hatten Anthropic oder Microsoft dazu etwas zu sagen?
Anthropic und Microsoft gaben keinen Kommentar ab, als Wired sie für den Artikel kontaktierte, der die Geschichte über Claude-Chats, die in den Suchergebnissen auftauchten, als erstes aufdeckte.
Frage 7: Gibt es noch andere Unternehmen, die diesen Fehler begehen?
Das ist durchaus nicht ungewöhnlich, wie der Artikel feststellt – robots.txt- und noindex-Anweisungen vertragen sich oft nicht, insbesondere bei Produkten, die nicht mit Blick auf SEO entwickelt wurden.
Frage 8: Was können Unternehmen tun, um diesen speziellen Fehler zu vermeiden?
Wie bereits erwähnt, sollten Produkte, die öffentliche Links oder andere Informationen generieren, die Unternehmen aus den Suchergebnissen fernhalten möchten, nicht ohne technische SEO-Beratung entwickelt werden, und bestehende Funktionen sollten regelmäßigen Sicherheits- und Indexierungsprüfungen unterzogen werden.
Frage 9: Werden die Chat-Links zu Claude noch in den Suchergebnissen angezeigt?
Die spezifischen Links, die bei einer Suche nach claude.ai auf Google angezeigt werden konnten, wurden inzwischen aus den Suchergebnissen entfernt.
Frage 10: Warum ist das so ein großes Problem?
Zum einen veranschaulicht es, warum der Versuch, Informationen standardmäßig vor Suchmaschinen zu verbergen, problematisch ist, da Suchmaschinen diese Informationen ohnehin finden können und werden, wenn sie öffentlich zugänglich sind.
