Discord bestätigte, dass ein Fehler im automatisierten Moderationssystem für die fälschliche Sperrung von über 8,000 Konten in den letzten zwei Monaten verantwortlich war. Das Unternehmen erklärte, dass der Fehler dazu führte, dass harmlose Bilder als schädliche Inhalte eingestuft wurden, was die sofortige Sperrung der Konten zur Folge hatte.
Das Unternehmen erklärte insbesondere, dass harmlose Bilder, wie Tabellenkalkulationen, Schachbretter, Spieltexturen und schlichte weiße oder graue Hintergründe, als schädliche Inhalte gekennzeichnet wurden.
Darüber hinaus hatte das Problem laut Unternehmensangaben bereits seit Mai unbemerkt Konten betroffen. An einem bestimmten Wochenende wurden zudem weitere 200 Nutzer gesperrt, bevor das Team die Ursache identifizierte und einen Fix bereitstellte. Discord teilte mit, dass alle betroffenen Konten derzeit wiederhergestellt werden.
Das Ausmaß des Fehlers und die lange Zeit, die er unbemerkt blieb, haben die Frustration der betroffenen Nutzer verstärkt. Zwei Monate sind eine sehr lange Zeitspanne, in der ein solcher Fehler unentdeckt bleiben kann, insbesondere wenn Tausende von Konten aufgrund eines Problems, das nichts mit einem Verstoß gegen die Community-Richtlinien zu tun hatte, dauerhaft gesperrt wurden. Diese beiden Faktoren führen zu Frustration bei den Nutzern, da sie offenbar keine Möglichkeit hatten, gegen die Entscheidung Einspruch einzulegen oder auch nur den Grund für die Sperrung ihres Kontos zu erfahren.
Was lief schief beim Moderationssystem von Discord?
Die Vertreter von Discord lieferten in dem Thread auf X eine detaillierte Erklärung des Problems. Laut Unternehmen erkennt das automatisierte Sicherheitssystem hochgeladene Bilder, indem es sie mit einer Datenbank bekannter schädlicher Inhalte abgleicht. Dadurch kann das System illegale Bilder schnell erkennen; das Unternehmen räumt jedoch ein, dass der Ähnlichkeitsabgleich zu Fehlalarmen führen kann, wenn Bilder visuelle Muster mit schädlichen Inhalten teilen.
Normalerweise sollte das Moderationssystem von einem menschlichen Mitglied des Trust-and-Safety-Teams überprüft werden, um KI-Fehler nicht zu übersehen. Dieser spezielle Fehler ermöglichte es jedoch, diese Überprüfung zu umgehen und führte zu einer automatischen Sperrung ohne menschliches Eingreifen.
Dieser Punkt ist entscheidend für das Verständnis des Problems. Das Moderationssystem von Discord ist nie vollständig automatisiert. Das Unternehmen führte die menschliche Überprüfung gezielt ein, um Systemfehler aufzudecken. Discord war sich also des Risikos falsch-positiver Ergebnisse von Anfang an bewusst. Das Problem liegt nicht in KI-Fehlern an sich, sondern darin, dass dieses Sicherheitsnetz versagte und dies niemand bemerkte, bis Tausende von Accounts betroffen waren.
Discord äußerte sich in einer öffentlichen Stellungnahme zu dem Problem: „Wir arbeiten an besseren Sicherheitsvorkehrungen, damit dies nicht wieder vorkommt.“ Das Unternehmen gab jedoch keine Auskunft darüber, wo genau der Fehler auftrat und wie er zum Fehlschlagen der Überprüfung führte. Discord teilte mit, dass der Fehler behoben sei und die Wiederherstellung der Konten begonnen habe.
Warum Schachbretter und Tabellenkalkulationen das System auslösten
Es stellte sich heraus, dass viele Nutzer, die mit diesem Problem konfrontiert waren, sehr einfache Bilder hochgeladen hatten, die die Schwierigkeiten verursachten. Es handelte sich um Bilder von Schachbrettern, Tabellenkalkulationen und anderen einfachen Rastermustern, die zur automatischen Sperrung der Konten führten.
Einige betroffene Nutzer vermuteten, dass das Erkennungssystem möglicherweise zu empfindlich auf die gitterartigen visuellen Muster reagierte. Offenbar nutzten die Angreifer Gitter und Muster, um schädliche Inhalte zu verschleiern und so die automatisierten Erkennungstools zu umgehen. Sollte diese Theorie zutreffen, bedeutet dies, dass das System zwar die tatsächliche Bedrohung aufspüren sollte, aber ein viel zu weites Netz auswarf und aufgrund derselben visuellen Muster auch harmlose Bilder erfasste.
Discord hat diese Theorie nicht öffentlich bestätigt; allerdings scheinen die Berichte der Nutzer gut damit übereinzustimmen.
Wie die Nutzer reagiert haben
Die Sperrungen haben bei vielen Discord-Nutzern, die damit mit Freunden kommunizieren und sogar ihren Lebensunterhalt verdienen, für große Unzufriedenheit gesorgt. So äußerte sich beispielsweise ein Nutzer auf X, dass der Verlust seines Kontos aufgrund dieses Problems äußerst enttäuschend sei, da täglich viele Nutzer aufgrund fehlerhafter KI gesperrt würden.
Ein weiterer Nutzer, der sich als Spieledirektor ausgibt, berichtete, dass sein Konto fälschlicherweise gesperrt wurde, weil seine Spieltexturen automatisch als jugendgefährdendes Material eingestuft wurden. Er merkte an, dass er Discord für seine gesamte berufliche Kommunikation nutzt und bat um eine Überprüfung der Sperrung.
Diese Berichte zeigen den gemeinsamen Nenner der Beschwerden – für viele Nutzer ist das Verbot ein ernstes Problem, das zu Einkommensverlusten, dem Niedergang laufender Projekte und dem Zusammenbruch von Gemeinschaften führt, die über viele Jahre aufgebaut wurden.
Neben den persönlichen Geschichten der Betroffenen entwickelt sich die Anzahl der Beschwerden zu einer eigenen Geschichte, da Screenshots von Sperrungen, Schachbrettmustern und hochgeladenen Tabellenkalkulationen auf X und Reddit weit verbreitet wurden, um herauszufinden, was das Problem verursacht hat, und darüber zu diskutieren.
Dies ist nicht die erste Moderationskontroverse bei Discord und auch nicht die erste der gesamten Branche.
Discord ist damit nicht allein. Letztes Jahr berichteten Instagram-Nutzer von Sperrwellen, die viele auf Fehler in der KI-Moderation zurückführten, während Facebook-Gruppenadministratoren ähnliche Bedenken äußerten. In beiden Fällen gab es jedoch von Meta keine Bestätigung, ob diese Vorfälle tatsächlich mit KI zusammenhingen.
Dieser Mangel an Kommunikation hat Meta in die Kritik gebracht. Das Unternehmen muss nun transparenter mit den Entscheidungsprozessen bei Kontosperrungen und deren Überprüfung umgehen. Metas eigener Aufsichtsrat hat das Unternehmen dringend aufgefordert, offenzulegen, wie diese Entscheidungen getroffen werden und welches Verfahren bei solchen Überprüfungen angewendet wird. Der aktuelle Prozess sei für die Nutzer nicht fair.
Auch Tumblr hatte letztes Jahr mit einem ähnlichen Problem zu kämpfen, als Nutzer von massenhaften Kontosperrungen berichteten, die wiederum durch KI-gestützte Inhaltsfilter verursacht worden zu sein schienen.
Zusammengenommen deuten diese Ereignisse auf einen Trend in der Social-Media-Branche hin. Durch die zunehmende Nutzung automatisierter Systeme zur Inhaltsmoderation treten solche Fehler immer wieder auf, und die Plattformen versäumen es weiterhin, die Nutzer über das Problem und dessen zukünftige Vermeidung zu informieren.
Was das für die Zukunft bedeutet
Der Vorfall bei Discord verdeutlicht, wie automatisierte Moderationssysteme, selbst wenn sie menschliche Überprüfungen einbeziehen, Fehler machen und zu Massensperrungen von unschuldigen Konten führen können. Ein einziger Bug führte dazu, dass eine Schutzmaßnahme, die genau diese Situation verhindern sollte, versagte. Tausende Nutzer wurden gesperrt, bis das Problem entdeckt wurde.
Für Plattformen, die auf KI zur Erkennung schädlicher Inhalte angewiesen sind, zeigt dieser Vorfall, wie wichtig menschliche Überprüfungen in solchen Prozessen sind und wie entscheidend es ist, dass diese robust gegenüber Fehlern sind und dass die Plattform in der Lage sein muss, solche Probleme schnell zu finden und den Nutzern mitzuteilen.
Discord hat versichert, dass bereits Verfahren zur Wiederherstellung der Konten von Nutzern eingerichtet wurden, deren Konten aufgrund dieses Fehlers gesperrt wurden. Darüber hinaus arbeitet das Unternehmen an Maßnahmen, die ein erneutes Auftreten dieses Problems verhindern sollen. Es bleibt jedoch abzuwarten, ob diese Bemühungen ausreichen, um das Vertrauen der Nutzer zurückzugewinnen, die auf die Plattform angewiesen sind, um Geld zu verdienen oder mit anderen Menschen zu interagieren.
Die Veranstaltung dürfte in jedem Fall die Frage, inwieweit Social-Media-Plattformen die Inhaltsmoderation automatisierten Systemen überlassen sollten, stärker in den Fokus rücken. Mit zunehmender Abhängigkeit von KI wird Transparenz hinsichtlich der Schutzmaßnahmen immer dringlicher.
Häufig gestellte Fragen
Frage 1: Was ist mit dem KI-Moderationssystem von Discord passiert?
Ein Fehler im automatisierten Moderationssystem von Discord führte dazu, dass mehr als 8,000 Nutzer fälschlicherweise gesperrt wurden, nachdem harmlose Bilder irrtümlicherweise als schädliche Inhalte identifiziert worden waren.
Frage 2: Welche Arten von Bildern wurden fälschlicherweise als fehlerhaft markiert?
Tabellenkalkulationen, Schachbretter, Spieltexturen und schlichte weiße oder graue Hintergründe gehörten zu den harmlosen Bildern, die fälschlicherweise zu Sperrungen führten.
Frage 3: Seit wann betrifft dieser Fehler die Konten?
Discord teilte mit, dass das Problem seit Mai Probleme mit sich bringe und dass an einem Wochenende zusätzlich 200 Nutzer gesperrt wurden, bevor es behoben werden konnte.
Frage 4: Wie funktioniert das Moderationssystem von Discord normalerweise?
Das System kennzeichnet Inhalte anhand eines Abgleichs mit Datenbanken bekanntermaßen schädlicher Inhalte. Ein menschlicher Moderator überprüft die gekennzeichneten Inhalte anschließend, bevor er Maßnahmen ergreift.
Frage 5: Warum führte der Fehler zu sofortigen Sperrungen anstatt zu Überprüfungen?
Ein Fehler hat dazu geführt, dass der normalerweise vor der Verhängung von Strafen stattfindende menschliche Überprüfungsschritt übersprungen wurde, was stattdessen zu sofortigen Sperrungen führte.
Frage 6: Warum wurden Gittermuster wie Schachbretter so oft beanstandet?
Es ist möglich, dass das System zu empfindlich auf Rastermuster reagiert hat, weil solche Muster früher dazu verwendet wurden, schädliche Inhalte vor Erkennungswerkzeugen zu verbergen.
Frage 7: Hat Discord die betroffenen Konten wiederhergestellt?
Discord teilt mit, dass alle betroffenen Konten nach der Fehlerbehebung derzeit wiederhergestellt werden.
Frage 8: Ist dieses Problem auch schon auf anderen Plattformen aufgetreten?
Ja. Instagram, Facebook Groups und Tumblr sahen sich im vergangenen Jahr ähnlichen Berichten über KI-bedingte Massensperrungen ausgesetzt.
Frage 9: Was plant Discord laut eigenen Angaben als Nächstes?
Discord gibt an, an neuen Sicherheitsvorkehrungen zu arbeiten, um zu verhindern, dass dieser Fehler erneut auftritt.
Frage 10: Warum ist das für soziale Plattformen im Allgemeinen von Bedeutung?
Es verdeutlicht die Risiken einer starken Abhängigkeit von automatisierter Moderation und zeigt, warum menschliche Überprüfungsschritte zuverlässig sein müssen und nicht nur theoretisch vorhanden sein dürfen.
