Es fühlt sich aus heutiger Sicht ewig weit weg an: Aber es ist keine Dekade vergangen als auf den weltweit größten digitalen Kommunikationsplattformen terroristische Organisationen Hinrichtungen teilten, Hakenkreuze und Holocaust-Leugnung als freie Meinungsäußerungen Verbreitung fanden und verschwörungsideologische Gruppen sich ihren digitalen Aktivismus monetarisieren lassen konnten. Hass und Hetze haben über digitale Plattformen eine solche Reichweite erlangt, dass sie fast schon als eine Begleiterscheinung der Digitalisierung verstanden werden können. Plattformen und Staaten wenden enorme Kosten auf, um diesen Phänomenen präventiv und repressiv zu begegnen.
Digitalen Hass und Extremismus gab es auch schon lange bevor Facebook, Twitter, YouTube und Co. Mitte der 2000er Jahre live gingen. Allerdings trugen die Netzwerkeffekte zur Kommerzialisierung und Zentralisierung des Internets bei, wodurch (nur noch) wenige Plattformunternehmen zu zentralen Gatekeepern des öffentlichen Diskurses avancierten. Sie boten der Öffentlichkeit eine globale Konnektivität und bauten auf den Datensätzen ihrer Nutzer*innen ein neues Geschäftsmodell auf. Zugleich hatten die US-amerikanischen Konzerne kaum eine Vorstellung hatten, in welche sozialen, wirtschaftlichen und rechtlichen Konflikte sie sich und die Welt manövrierten. Denn ob gewollt oder nicht, sie betreiben Politik: in Form der globalen Regel(durch)setzung, der Lobby-Arbeit in Politik und Öffentlichkeit, aber auch subtil mit Bezug auf die politischen, wirtschaftlichen und kulturellen Präferenzen ihrer Nutzer*innen.
Im ersten Teil des Jenaer NEOVEX-Teilprojekts Die Politik digitaler Plattformen im Kontext rechtsextremer und verschwörungsideologischer Mobilisierung haben wir uns mit den Ansätzen und Logiken der Einhegung von Hassdynamiken auf digitalen Plattformen beschäftigt. Wir haben die Policy-Richtlinien, Community Guidelines, Terms of Services, Blogartikel und öffentlichen Statements der Unternehmen analysiert und sie mit der medialen Berichterstattung im Zeitraum 2005 bis 2022 abgeglichen. Unser Ziel war es herauszuarbeiten, wann welche Plattform bestimmte Maßnahmen getroffen hat und wie deren Anwendung begründet wird.
Die vier Ebenen der Plattformpolitik
Digitale Plattformen sind politische Akteure, die sich an der Aushandlung von öffentlichen und privaten Werten und Interessen beteiligen. Sie unterliegen einerseits selbst einem Rechtfertigungsdruck in Richtung der Stakeholder und des öffentlichen Interesses. Andererseits versuchen sie den politischen Betrieb aus einem ökonomischen Eigeninteresse zu beeinflussen. Sie wirken auf diverse Formen des gesellschaftlichen Lebens ein durch die Reichweite, die Unternehmen, Parteien oder auch politische Bewegungen über sie nehmen können. Die Macht, über die die Sichtbarkeit von bestimmten Positionen und Inhalten zu entscheiden, widerlegt die These der Neutralität ihrer Technologien, mit denen sie auf die Gesellschaft wirken.
Mit dem speziellen Blick auf den Umgang mit Hass und Extremismus interessiert uns ein Bereich, der wie kein anderer das Entstehen und die Entwicklung der Regeln der Moderation der Plattformen beeinflusst hat. Während die Kontrolle über die Einhaltung der spärlichen Plattformregeln zunächst von vereinzelten Mitarbeitenden übernommen wurde, finden wir heute ein komplexes System von Richtlinien und Verantwortlichkeiten, die mit der Bewertung von Postings und Accounts betraut sind. Lässt sich die frühe Phase der Unternehmen durch eine Laissez-faire Attitüde charakterisieren, haben sich seit Mitte der 2010er Jahre – spätestens mit dem Aufstieg des Islamischen Staates – Notwendigkeiten gezeigt, institutionalisierte Abläufe zu etablieren. Denn: Plattformen können – wenn sie keine rechtlichen Konflikte riskieren wollen – keine Maßnahmen treffen, die sie nicht in ihren Kodizes niedergeschrieben haben.
Über die Jahre hinweg sehen wir also eine zunehmende Verregelung des Umgangs mit digitaler Hasskommunikation, die zunehmend Einfluss auf gesellschaftliche Prozesse hat. Das zeigt sich, indem jede Handlung der Plattformen eine Grundlage und potenziell auch einer Rechtfertigung bedarf. User können nicht mehr einfach gelöscht werden, weil sie einem Content-Moderator oder CEO nicht gefallen. Es bedarf der Anwendung von Plattformregularien, die in ihrer weiten Auslegung von Richtlinien aber nicht weniger willkürlich sein müssen, was der Fall Trump verdeutlicht. Ob sich Tech-Konzerne über einen amtierenden Präsidenten heben können und wann sie das tun, ist eine eminent politische Frage, da sie Auswirkungen auf die Qualität liberaler Demokratien hat. Nicht zuletzt sind die Entscheidungen aber auch für die Stakeholder und das allgemeine Image der Plattformen von Relevanz.
Ein Blick in die vergangenen Jahre zeigt, dass es den Willen der Geschäftsführung der Unternehmen benötigt, Veränderungen anzustoßen. So verteidigte Meta-CEO Mark Zuckerberg lange Zeit die Haltung, dass Plattformen “keine Schiedsrichter der Wahrheit” seien und sich aus politischen Konflikten besser raushalten sollten. Nur wenige Monate später rühmten sich verschiedene Tech-CEOs für ihren engagierten Einsatz für Demokratie und Menschenrechte und den (temporären) Bann der Accounts von Donald Trump im Januar 2021 aufgrund der Glorifizierung von Gewalt im Kontext des Sturms auf das Kapitol. Dies zeigt, dass wir es mit einem sehr dynamischen Feld zu tun haben, in dem die letzte Verantwortung für Entscheidungen die CEOs tragen. Diese Richtlinienkompetenz muss allerdings stets operationalisiert werden: Eine Entscheidung, wie sie gegen Trump getroffen wurde, benötigt zunächst verbriefte Richtlinien (policies), in denen sich die Werte der Unternehmen (vermeintlich) widerspiegeln. Aus den Richtlinien ergibt sich dann ein Strauß an Maßnahmen, die dann in konkreten Fällen angewandt werden.
Abb. 1: Vier Ebenen der Plattformpolitik
Plattformpolitik formt sich zudem über verschiedene Einwirkungsprozesse. So gibt es beispielsweise politischen Regulierungsdruck, aber auch innerbetriebliche Spannungen, die auf die Ausarbeitung und Anwendung bestimmter Policies Einfluss nehmen. Auch die Nutzer*innenbasis und eine sich formierende digitale Zivilgesellschaft wirkt auf öffentliche Debatten ein und verweist auf die Verantwortung der Plattformen. Zugleich gibt es strategische Überlegungen, welche Maßnahmen angewandt werden, um beispielsweise Werbetreibende nicht zu verschrecken. Hier sind Unternehmen gezwungen, verschiedene Interessen auszubalancieren. Sie tun dies oft über den Bezug auf Werte wie Transparenz, Redefreiheit und Diversität, die einerseits Engagement signalisieren, andererseits aber flexibel in der Anwendung sind. So unterliegt jede Fallentscheidung einer Interpretation von Richtlinien sowie einer Abwägung des öffentlichen Interesses.
Maßnahmen im Umgang mit digitalen Hass (2006-2020)
Die Inhaltsmoderation von Plattformen ist der wichtigste Teil der Plattformpolitik. Hier finden Maßnahmen Anwendung, die bestimmte Inhalte sichtbarer oder unsichtbarer machen. Die Debatte über selbstregulierende Maßnahmen der Plattformen gegen digitalen Hass begrenzt sich oft auf die Frage des Löschens von Posts (Takedowns / Deleting) oder der Sperrung von Profilen (Deplatforming / Suspending). Allerdings hat sich das Repertoire der Maßnahmen gegen digitalen Hass stark erweitert: Durch die fortschreitenden technischen Möglichkeiten und zunehmenden öffentlichen Debatten erhielt die Inhaltsmoderation ein Finetuning, das in jeweils unterschiedlich definierten Situationen angewendet wurde. Ein fester Katalog von Abläufen liegt den Algorithmen und der Arbeit von Content-Moderatorinnen und Fact-Checkern zugrunde, die Inhalte viel genauer bewerten müssen, als es noch in den frühen Jahren der Fall war.
Welche Maßnahmen werden nun von welcher der großen Plattformen ins Auge gefasst? In den von uns selektierten 403 Blogposts von YouTube, Twitter und Facebook, die eigene Policies und Selbstverständnisse beschreiben und rechtfertigen (insbesondere zu digitalem Hass und angrenzenden Phänomenen) konnten wir 30 Maßnahmen identifizieren, mit denen die genannten Konzerne mit technischen und analogen Mitteln auf Missstände auf ihren Plattformen reagieren. Diese Maßnahmen rangieren im analogen Kontext von internen Weiterbildungen und Transparenz bis hin zur Ermutigung von Engagement und dem Aufstellen neuer Expertisen. Die technischen Maßnahmen überwiegen und je weiter die Zeit und die Skalierung voranschreitet, desto mehr wird Künstliche Intelligenz als das wichtigste Tool zum Umgang mit digitalem Hass präsentiert.
Insbesondere zu Beginn der Corona Pandemie ließ sich ein massiver Anstieg der Automatisierung feststellen. Das drückte sich auch in der Tendenz aus, dass die Plattformen insgesamt stärker auf die Einschränkung von Reichweiten abhoben, statt auf die Löschung von Inhalten. Im Prozess der KI-gestützten Begutachtung von Beiträgen werden anhand von bestimmten Wortkombinationen und Sentimentanalysen Inhalte höher oder niedriger bewertet. In der Folge werden Inhalte (un)sichtbarer entweder durch das Ranking oder durch die Separierung von Posts. Letzteres ist insbesondere bei Twitter / X beliebt, das abwegige Beiträge hinter der Anzeige „Weitere Antworten zeigen“ versteckt. Der Vorteil zum Löschen: Von Plattformen als grenzwertig definierte Inhalte (“borderline content”) können so auf der Plattform bleiben, ohne dass sie die ursprüngliche Reichweite bekommen. Der Nachteil: Es besteht keine Klarheit über die Anwendung der Regel und die Urheber*innen bleiben im Dunkeln, ob und wann sie eine Einschränkung erhalten. Zudem birgt ein rein technisches Verfahren, Kontext nicht richtig zu verstehen, was viele Moderationsfehler hervorruft.
Bei der Anwendung der Maßnahmen sehen wir durchaus Differenzen, die durch die Funktionsweisen der Plattformen, aber auch durch unterschiedliche Positionierung in öffentlichen Debatten bedingt sind. Facebook veröffentlicht beispielsweise eine viel größere Zahl an (ausführlichen) Stellungnahmen, in denen sie ihr Vorgehen beschreiben – ganz im Gegensatz zu YouTube, das zwar 2018 sich für die Art der Programmierung als “the great radicalizer” rechtfertigen musste, aber bei weitem nicht so im Fokus stand wie Facebook oder Twitter. Was alle Plattformen vereint, ist der Einbezug der eigenen Nutzer*innen in den Moderationsprozess. So reagieren Plattformen – neben der automatisierten Erkennung – nur, wenn sie auf Beiträge hingewiesen werden. Das Flagging von Inhalten – also das Melden aufgrund eines vermuteten Verstoßes gegen die Richtlinien – hat eine herausgehobene Stellung. Darüber hinaus fanden Maßnahmen zur Prüfung und Warnung von Inhalten insbesondere im Kontext der Pandemie Anwendung. Ein Spezifikum von YouTube / Google ist zudem die Redirect Methode, mit der die Suche nach potenziellen Hassinhalten umgeleitet wird.
Eine Periodisierung der Intervention
Nach dem Blick auf die absolute Verteilung der Maßnahmen, stellt sich final die Frage, wann Maßnahmen getroffen werden und wie sie sich in größere Muster einordnen lassen. Hierzu schlagen wir eine Periodisierung vor. Periodisierungen sind wichtige Heuristiken, um eine Entwicklung nachzuzeichnen und auch verschiedene Zeitabschnitte zu kontrastieren. Die Grenzen der Zeitabschnitte sind dabei nie scharf zu ziehen oder gänzlich abgeschlossen, allerdings lassen sich charakterisierende Merkmale ableiten, die die Handlungslogiken von Plattformen besser verstehen lassen. Grob lässt sich dieser Prozess der Verregelung digitaler Hasskommunikation in vier Phasen einteilen:
Abb. 3: 4 Phasen der Verregelung des Umgangs mit Hass und Hetze
Phase 1: Konstitutionalisierung von Policies
Die ursprünglichen Nutzungsbedingungen (Terms of Services) der Plattformen waren recht einfach strukturiert. Die Außenkommunikation war dementsprechend: Man könne alles tun, solang man nicht Gewalt oder Pornographie teilt. Auch Angriffe auf und Belästigungen von andere Nutzer*innen waren untersagt. Widersetzte man sich den Regeln, wurden die Inhalte gelöscht und bei wiederholtem Verstoß das betreffende Profil gelöscht. So weit, so einfach. Allerdings gab es keine verbrieften Abläufe, wann und wie diese Regeln angewandt wurden. Das Bewerten von Nutzerverhalten war ebenso neu für die Konzerne wie der Konsum von hasserfüllten Nachrichten für die Userinnen. So waren Bullying, Belästigungen und Trolling frühe Problemphänomene, mit denen Plattformen umgehen mussten und die sie zur Vorlage für den Umgang mit digitalem Hass nahmen. Der Grundimpuls hierbei ist, dass Hass ein emotionales Verhalten ist, das sich gegen Individuen richtet. Keine Rede hingegen ist von der gruppenbezogenen Dimension und der strategischen Streuung von Hassbotschaften gegen Minderheiten. Dies prägte ein sehr fallspezifisches Handeln in dieser Phase, ohne dass größere Muster wahrgenommen wurden.
Phase 2: Transparentmachung von Vorgehensweisen
Seit 2010/11 erlebten die Plattformen einen Politisierungsschwung, der sich mit den Aufständen im Iran und in der arabischen Welt Bahn brach. Das Potenzial für politische Veränderung wurde fast ausschließlich positiv gefasst. In dieser Phase fiel die Veröffentlichung des ersten Transparenzberichts von Twitter, der den Schutz der Nutzer*innen vor staatlichen Eingriffen dokumentierte. YouTube und Facebook folgten kurze Zeit darauf. In dem ersten Bericht wurde bei staatlichen Interventionsversuchen auf der Plattform Russland und der Türkei interessanterweise die Rolle der Bundesrepublik hervorgehoben, die von Twitter die Löschung von verfassungsfeindlichen Symbolen verlangte. Zugleich wurde das Löschen von Inhalten erstmals zu einem Politikum. Nachdem YouTube 2012 erstmals ein anti-muslimisches Video löschte, das nicht gegen seine Nutzungsrechte verstieß, erhielt der Konzern Vorwürfe der Zensur von zivilgesellschaftlichen Akteuren. Hintergrund war, dass mehrere arabische Länder den Zugang zu YouTube blockierten, damit das Video dort keine Verbreitung findet. Obwohl in dieser Phase Medien zunehmend von Hate Speech berichten, bleiben die Firmen zumeist stumm und vermitteln den Eindruck, das Problem unter Kontrolle zu haben.
Phase 3: Automatisierung im Angesicht von Regulierung
Um so mehr überraschte der deutliche Kursschwenk im Jahr 2015. “We suck at dealing with abuse” war 2015 ein deutliches Eingeständnis des damaligen Twitter-CEO Dick Costolo. Solche Schlagzeilen in der Öffentlichkeit zu hören ist ungewöhnlich, insbesondere weil sie der Außenkommunikation des Unternehmens widersprach, die Probleme auf der Plattform unter Kontrolle zu haben. Jedoch waren die Probleme auf allen Plattformen bahnbrechend: Terroristische Gruppen rekrutierten Jugendliche, Gewaltdarstellungen waren auf allen Plattformen und in allen Formaten zu finden und rassistische Bewegungen wurden populär über die Plattformen. Es war der Beginn großer Investitionen in neue Policies, Tools und Ressourcen für eine schnelle und öffentlichkeitswirksame Behandlung des Problems. Allein Twitter schuf in den kommenden Jahren mehr als 30 neue Richtlinien, die den Umgang mit unerwünschten Inhalten von staatlicher Intervention bis hin zur Glorifizierung von Gewalt und Terrorismus ausdifferenzierte. Im Angesicht wachsenden Drucks, die sich mit der Aufdeckung des Cambridge Analytica 2018 insbesondere im Fall Facebooks potenzierten, hatten die Konzerne nur eine Lösung zu präsentieren: Die Probleme müssten durch technische Schutzsysteme besser bearbeitet werden. Dies betraf auch YouTube, das in die Kritik geriet, nachdem der Plattform vorgeworfen wurde, dass die Empfehlungsalgorithmen Menschen mit immer extremeren Inhalten konfrontierte. Im Angesicht öffentlicher Anhörungen insbesondere von Facebook in den USA und zivilgesellschaftlicher Forderungen nach Konsequenzen für die Plattformen sahen sich die Plattformen zudem veranlasst, gemeinsam aufzutreten und in bestimmten Fragen zu kooperieren. So entstand 2017 aufbauend auf einer Koalition von Facebook, Microsoft, Twitter and YouTube das Global Forum for Countering Terrorism, das Guidelines für die Branche im Umgang mit terroristischen und extremistischen Inhalten erarbeitete und dem sich viele weitere Plattforumunternehmen sollten.
Phase 4: Externalisierung der Selbstregulierung
Seit 2019 und dem verheerenden Anschlag auf Christchurch beteiligten sich nun immer mehr Akteure an den Fragen der Inhaltsmoderation: ein Eingeständnis, dass die Branche ihre Probleme nicht allein lösen kann. In dieser Phase lagerten Plattformen Expertisen im Umgang mit digitalem Hass an externe Akteure aus. Hierzu zählen Oversight Boards, Expertengruppen und Zivilgesellschaft. Unternehmen wie Facebook baten staatliche Stellen förmlich um eine Regulierung, wohl auch um eine Zerschlagung zu vermeiden, wie es wiederholt im US-amerikanischen Kontext anklang. Torpediert hat solche Externalisierung auch der Fall um die Löschung des Accounts von Donald Trump aus dem Social Media Mainstream. Hier wurde nach langem Zögern im Falle Facebooks das finale Votum auf das Oversight Boards abgewälzt, das eine temporäre Sperre bestätigte. Allerdings ist stets die Frage, welche Expertisen angefragt werden und inwiefern auch Entscheidungen gegen die eigenen Geschäftsinteressen durchgesetzt werden. Das Replatforming Trumps 2023 hat deutlich gezeigt, dass wir es bei Fragen der Inhaltsmoderation mit einem dynamischen Feld zu tun haben, das sich politischen Gegebenheiten anpasst und auch in der Begründung der Maßnahmen deutlich unterscheiden kann.
Abb. 4: Chronologie wichtiger Meilensteine der Plattformpolitik zu digitalem Hass
Zusammenfassung und Ausblick
Dieses digitale Arbeitspapier hatte zum Ziel, einen Überblick über die Muster und Handlungslogiken der Plattformpolitik im Umgang mit digitalem Hass und Extremismus zu geben. Selbstverständlich bleiben viele Aspekte ob der Kürze des Textes ausgespart: Die veränderte Rolle von Plattformen in der Gesellschaft, die Rolle der Werbeindustrie, der fortschreitende Rechtsruck oder das veränderte Agieren von extremistischen Akteuren. Was wir allerdings aus unseren Daten herausziehen können, sind sich wandelnde Maßnahmen und Rechtfertigungen, die Plattformen treffen, um sich gegen Hass und Extremismus zu wappnen. Während Hass und Hetze auf den Plattformen zu Beginn als ein technisch lösbares Problem dargestellt wurden, wird heute stärker der gesamtgesellschaftliche Kontext betont, mit diesen Phänomenen umzugehen.
Zugleich bedarf es einer kritischen Lesart offizieller Texte der Konzerne. Das heißt: Die Öffentlichkeitsarbeit der Plattformen möchte eine bestimmte Realität kommunizieren und formt somit auch die Wahrnehmung von Politik, Zivilgesellschaft und Forschung. Somit können auch in der Argumentation Gründe vorgeschoben werden, um andere zu verdecken. Auch ist bekannt, dass die Ausbildung von Policies ein langwieriger Prozess ist und nicht direkt auf Ereignisse reagiert. Oft sind es Impulse von den CEOs, die Direktive über Texte oder auf Developer Konferenzen ausgeben, die sich dann in die Ausarbeitung von Policies übersetzen. Solche internen Vorgänge werden immer eine Blackbox sein.
Abschließend sei gesagt, dass nach einer Harmonisierung des Verhaltens der Plattformen der vergangenen Jahre mit der Twitter-Übernahme Musks eine stärkere Konkurrenz zu verzeichnen ist, die auch die Moderationsmodelle der Plattformen wieder stärker differenziert. Somit geht Plattformpolitik in die nächste Runde – und mit ihnen die Ausformungen digitalen Hasses, die sich mit KI auch weiter potenzieren werden.
