Hass und Hetze im Internet erleben wir jeden Tag und oft kommen wir uns dabei hilflos vor. Wie uns die Wissenschaft gegen dieses Gefühl der Hilflosigkeit ganz konkret helfen kann, das erforscht Melanie Siegel. Sie ist Professorin für Informationswissenschaft an der Hochschule Darmstadt und leitet gemeinsam mit Professor Dirk Labudde vom Fraunhofer SIT das Forschungsprojekt „DeTox – Detektion von Toxizität und Aggressionen in Postings und Kommentaren im Netz“. Gemeinsam mit dem Hessischen Innenministerium will man mithilfe von Künstlicher Intelligenz in Zukunft „Hate Speech“ im Netz effektiver bekämpfen. Wie das gehen soll, erklärt Melanie Siegel uns im Interview.
Frau Siegel, was genau ist Hate Speech?
Unter Hate Speech verstehen wir auf der einen Seite so etwas wie gruppenbezogene Diskriminierung. Das können zum Beispiel sexistische oder antisemitische Beleidigungen sein oder solche aufgrund der Herkunft oder der sexuellen Orientierung. Auf der anderen Seite sind es eben Bedrohungen.
Das Forschungsprojekt „DeTox“ hat sich zum Ziel gemacht, Hass im Netz automatisiert zu identifizieren und zu bewerten. Was soll damit erreicht werden?
Es ist ein klares Anwendungsprojekt. Wir arbeiten dabei mit dem Hessischen Innenministerium zusammen, die eine Meldestelle für Hasskommentare haben. Allerdings gehen dort so viele Meldungen ein, dass sie es eigentlich gar nicht schaffen, alle schnell genug zu bearbeiten. Deswegen stellen wir ein Werkzeug zur Verfügung.
Und wie sieht das konkret aus?
Die Meldungen kommen meistens als Screenshots rein. Diese werden dann in Text umgewandelt, außerdem werden Metadaten bearbeitet. So muss sich also niemand hinsetzen und das alles händisch eintippen. Außerdem wird unser Tool auch eine Vorklassifizierung geben. Zum Beispiel erkennt es, welche Fälle dringender sind als andere und priorisiert diese dann. Oder aber es erkennt Gefahren, auf die man sofort reagieren muss. Zum Beispiel, wenn jemand schreiben würde, dass er gleich einen Anschlag verübt.
Und das entscheidet quasi eine Künstliche Intelligenz, die gelernt hat, dies zu erkennen?
[Lacht.] Ja, das stellt man sich immer so magisch vor. Um diese Methoden zu entwickeln, sammeln wir erst einmal ganz viele Texte zu ähnlichen Themen – in Hate Speech, aber auch in normaler Sprache. Diese werden dann anschließend von Hand klassifiziert und zwar nach verschiedenen Kriterien. Also nicht nur, ob es sich um Hate Speech handelt oder nicht, sondern eben auch, ob etwa eine akute Gefahr droht oder der Kommentar vielleicht strafrechtlich relevant ist und wenn ja, nach welchem Paragrafen. Bis Ende März hatten wir da sechs Studierende dransitzen, die 12.000 Texte von Hand bearbeitet haben. Jeder Text ist dabei von drei unterschiedlichen Personen klassifiziert worden. Wir messen auch regelmäßig, inwieweit die miteinander übereinstimmen. Einmal die Woche treffen sie sich und diskutieren zusammen die Kommentare, bei denen sie sich nicht einigen konnte, um langfristig eine bessere Übereinstimmung zu erhalten. So entsteht ein Datensatz mit hochwertig annotierten Daten, den wir eben brauchen, wenn wir maschinelles Lernen anwenden wollen. Das ist quasi die Haupt-KI-Methode: Wir trainieren Modelle, die dann wiederum in der Lage sind, neue Texte von alleine zu klassifizieren. Das Wichtigste dabei ist, dass man der Maschine eine große Menge an hochwertigen Daten zur Verfügung stellt. Erst dann kann sie das automatisch machen.
In welchem Stadium befindet sich das Projekt denn aktuell? Wird es schon angewendet?
Das Forschungsprojekt dauert noch bis Juni dieses Jahres. Dann wollen wir dem Hessen Cyber Competence Center (Hessen3C), der Meldestelle des Hessischen Innenministeriums, eine Software zur Verfügung stellen. Die Modelle haben wir bereits gebaut. Jetzt, wo alle Daten da sind, werden diese dann noch mal neu trainiert.
Wer ist alles an dem Projekt beteiligt?
Wir arbeiten mit dem Fraunhofer SIT zusammen, von dem neben einem Mitarbeiter auch Professor Dirk Labudde kommt, mit dem ich gemeinsam das Projekt leite. Von der Hochschule Darmstadt gibt es außerdem noch eine Doktorandin, einen weiteren Vollzeit-Mitarbeiter sowie neben den annotierenden Studierenden auch noch eine studentische Hilfskraft, die inhaltlich mitarbeitet.
Woher weiß die Maschine denn, dass es sich bei den Kommentaren nicht um einen Witz oder Ironie handelt? Oder Satire?
Satire ist natürlich ganz schwierig. Auf der anderen Seite gucken wir hier ja wirklich nach schlimmen Sachen. Also Antisemitismus ist auch nicht mehr lustig. Oder wirklich übel sexistische Beleidigungen – das verpackt vielleicht jemand als Witz, aber witzig ist das nicht.
Das zieht auch eine gewisse Verantwortung mit sich – wenn die Kommentare zum Beispiel strafrechtliche Relevanz haben.
Ja, natürlich. Zuerst einmal ist ganz klar, dass wir nicht automatisch Strafverfahren einleiten oder so etwas. Wir machen eine Vorklassifikation, damit das Hessische Innenministerium in seiner Arbeit unterstützt wird, damit sie also besser, schneller und effektiver arbeiten können. Jede Meldung, die da reinkommt, wird am Ende von einem Menschen angeschaut. Wir unterstützen diese Menschen dabei: Ein Werkzeug arbeitet 24/7, wenn man das möchte. Es macht keine Pausen, es wird nicht krank. Das heißt, gerade wenn es um ein Warnsystem geht, hieße das ja, dass man da einen Menschen ununterbrochen dransitzen haben müsste. So kann aber ein automatisches Werkzeug Alarm schlagen. Das ist ein erheblicher Vorteil. Und diese Daten und KI-Methoden, die wir entwickeln, diskutieren wir auch mit anderen Wissenschaftlerinnen und Wissenschaftlern. Wir nehmen an Programmierwettbewerben teil und tauschen uns mit anderen aus, mit welchen Methoden man diese Dinge am besten erkennen kann.
Gerade, wenn Sie diesen Vergleich zu anderen Forschungsteams und Projekten haben – was ist da bei Ihnen anders oder besonders?
Das Besondere ist die Zusammenarbeit mit den Anwendern, also Hessen3C. Viele sind eben sehr theoretisch an diesen Sachen interessiert und entwickeln Methoden. Das tun wir natürlich auch, aber wir gucken, was genau man mit den Ergebnissen dann machen kann. Und eine weitere Besonderheit ist auch immer noch die Arbeit mit der deutschen Sprache. Ganz viele Methoden sind für die englische Sprache entwickelt; das mit der deutschen Sprache fängt erst an. Im Wissenschaftsbereich wartet man dringend auf unsere Daten.
Bei solchen Technologien muss ich unweigerlich auch an dystopische Zensur-Softwaren von autoritären Diktaturen denken, die das Internet durchscannen. Wo ist der Unterschied dazu?
Bei unserem Werkzeug ist es so, dass die Kommentare gemeldet werden von Bürgern, denen diese aufgefallen sind. Und erst diese gemeldeten Sachen werden dann vorklassifiziert. Das heißt, es gibt jetzt keinen Crawler, der die ganze Zeit irgendwo durchs Netz geht.
Und es wird ja auch nichts gelöscht.
Es wird nichts gelöscht. Doch ein Problem, was ich sehe, ist, dass Unternehmen wie Facebook ja schon automatische Filter haben. Ich finde, für unsere Gesellschaft ist es nicht richtig, dass die Firmen darüber entscheiden, was Meinungsfreiheit ist und was nicht. Für unsere Gesellschaft wäre es wichtig, dass wir als demokratische Gesellschaft darüber entscheiden – das ist keine Firmenangelegenheit. Deswegen ist es wichtig, dass wir an diesen Sachen arbeiten.
Wo sehen Sie eine Lösung, diese Verantwortung wieder weg von den Firmen hin zu der Gesellschaft und der Politik zu ziehen?
Zunächst einmal gibt es ja das Netzwerkdurchsetzungsgesetz und das beinhaltet seit Kurzem auch, dass die Firmen eigentlich weitergeben müssen, was sie gelöscht haben. Und das finde ich ganz wichtig. Im Moment wissen wir nicht, was die Firmen gelöscht haben. Das heißt, wir können weder beurteilen, ob die Unternehmen übertreiben, noch können wir etwas strafrechtlich verfolgen. Es kann ja auch sein, dass da wirklich gefährliche Sachen gelöscht worden sind, und wir als Gesellschaft wissen nichts davon. Es geht also in beide Richtungen; wir dürfen das nicht einfach irgendwelchen Firmen überlassen. Und letzten Endes sind Bedrohungen, Beleidigungen oder Diskriminierungen ja das Gegenteil von Meinungsfreiheit. Wir hatten gerade den Fall, dass jemand eine politische Äußerung zur Impfpflicht getätigt hatte und anschließend bombardiert wurde mit Bedrohungen und Beleidigungen. Der Grund dafür ist, dass man die Person mundtot machen will – und das ist eine Einschränkung der Meinungsfreiheit. Das geht natürlich nicht, das müssen wir unterbinden.
Mehr Infos und ein Online-Vortrag zu „DeTox“ unter: projects.fzai.h-da.de/detox
