Samen met De Groene Amsterdammer bracht Data School online anti-lhbti+-sentimenten in kaart. Hoeveel uitingen van intolerantie en haat zijn er gericht aan lhbti+’ers op sociale media, en hoe heeft dat zich in de afgelopen jaren ontwikkeld? Welke narratieven doen zich voor? En waar komen die uitingen vandaan?
We verzamelden voor dit onderzoek Nederlandstalige sociale-mediaberichten die woorden rond seksuele oriëntatie of genderidentiteit bevatten, zoals ‘homo’, ‘transgender’, maar ook algemeen ‘lgbt’. In totaal bestond onze lijst uit 78 relevante termen. Met die zoektermen richtten we ons op het bredere gesprek rond lhbti+-groepen, in plaats van uitsluitend op persoonlijke berichten richting individuen. Kotsemoji’s of reacties als ‘walgelijk’ en ‘waarom bestaat iets zoals jij?’ op personen uit de lhbti+-gemeenschap zijn daardoor echter niet meegenomen – dergelijke berichten bevatten immers niet een van onze zoekwoorden. Vooral op platforms als Instagram en YouTube wordt lhbti+-haat geregeld op zo’n manier geuit. De absolute aantallen die we in het stuk noemen zullen dus in werkelijkheid veel hoger zijn.
Vier platforms namen we onder de loep: Twitter, Telegram, Instagram en YouTube. Voor Twitter (nu: X) maakten we gebruik van twee databronnen: Twitters officiële API en contentaggregator OBI4wan. Omdat Twitter na de overname door Musk de toegang tot haar API vrijwel hermetisch afsloot, waren we voor de berichten van 1 april tot 1 augustus 2023 afhankelijk van de laatste databron. Samen analyseerden we meer dan elf miljoen tweets. Voor Telegram maakten we gebruik van de selectie van groepen die we eerder verzamelden in het kader van ons onderzoek naar het Nederlandstalige Telegramlandschap. De dataset van dat onderzoek hebben we bijgewerkt met berichten tot 1 augustus 2023. Na het filteren op berichten die een van onze zoektermen bevatte, kwamen we uit op een verzameling van 136.000 Telegram-berichten. Waar de databronnen tot verschillende momenten teruglopen, houden we in onze datavisualisaties 2017 als beginpunt aan.
Voor Instagram en YouTube richtten we ons op de comments, maar die zijn niet makkelijk doorzoekbaar. In tegenstelling tot Twitter bestaat er niet één plek waarin alle opmerkingen doorzocht kunnen worden. Daarom hanteerden we voor beide platforms de volgende methode: eerst verzamelden we alle video’s (voor YouTube) en posts (voor Instagram) die in de beschrijving een van onze zoekwoorden bevatten, en vervolgens verzamelden we van díe berichten alle reacties die ook minimaal een van onze zoekwoorden bevatten. Voor Instagram hebben we ons vanwege de gelimiteerde mogelijkheden tot structurele dataverzameling beperkt tot posts met meer dan tweehonderd opmerkingen. Voor Instagram leverde het proces 54.000 comments op; voor YouTube 41.000 comments. Dat de datasets voor deze platforms kleiner uitvallen, is vooral het effect van de meerlaagse filtermethode.
Bevat een bericht het woord ‘homo’, dan is het uiteraard niet bij voorbaat intolerant of haatdragend. Daarom trainden we een computermodel dat Nederlandstalige reacties op sociale-mediaposts kan beoordelen op lhbti+-intolerantie. Onder lhbti+-intolerantie verstaan we: berichten die nadrukkelijk negatieve vooroordelen, vijandigheid of discriminatie promoten gericht op iemands homoseksuele, lesbische, biseksuele, transgender of anderszins queer identiteit. Berichten waarin kanttekeningen rond lhbti+-onderwerpen worden geplaatst – bijvoorbeeld rond de deelname van trans personen in topsport – worden vanuit die definitie dus niet automatisch als intolerant beoordeeld, maar alleen wanneer ze ook negatieve vooroordelen oproepen.
Ook trainden een algoritme om te bepalen aan welke groep het sentiment gericht is. Hierbij maakten we onderscheid tussen vier groepen: ‘transgender’, ‘homoseksualiteit’ (waaronder ook berichten over lesbische vrouwen vallen), ‘non-binair’ en ‘lhbti+ algemeen’. Hoewel er meer groepen zijn die onder de lhbti+-paraplu vallen, zoals intersekse personen, kwamen deze slechts in een zeer beperkt deel van onze dataset voor. Ook maakten we bijvoorbeeld geen onderscheid tussen intolerantie richting trans vrouwen en trans mannen, omdat die geregeld juist samen worden aangevallen, bijvoorbeeld rond het debat over de transgenderwet.
Als derde beoordeelde ons model uit welke overtuigingen de intolerantie komt. Hiervoor maakten we onderscheid tussen verschillende narratieven. Zo maakten we onderscheid tussen intolerantie 1) vanuit religieus perspectief; 2) vanuit het idee dat een lhbti+-identiteit een mentale aandoening is die genezen kan worden; 3) vanuit het meer algemene idee dat lhbti+’ers strijdig zijn met zedelijke normen en waarden (en vooral ‘normaal’ moeten doen), en 4) het idee dat lhbti+-empancipatie wordt ‘opgedrongen’ vanuit een geheime agenda. Die geheime agenda kan zijn: het normaliseren van pedofilie, het ongehinderd toegang kunnen krijgen tot ruimtes van vrouwen, het hersenspoelen en indoctrineren van kinderen. Een aparte categorie markeerden we voor het gebruik van ‘homo’ als algemeen scheldwoord, als in ‘Aardrijkskunde is echt gay.’ Vooral in de beginjaren van Twitter zien we veel van zulke berichten, vooral geplaatst door tieners. Hoewel deze berichten een vorm van intolerantie tegenover de lhbti+-gemeenschap weerspiegelen, is het gebruik van ‘homo’ als scheldwoord dusdanig genormaliseerd dat het moeilijk te zeggen is of er echt sprake is van expliciet homofobe intenties, en het includeren van zulke berichten zouden onze resultaten enigszins vertekenen. Daarom hebben deze berichten niet meegenomen in onze uiteindelijke analyse van lhbti+-intolerantie.
Om het model te trainen, beoordeelden we – vergelijkbaar met de manier waarop we ons onderzoek naar seksisme in de politiek aanpakten – eerst een steekproef van tienduizend berichten handmatig. We labelden alleen zeer duidelijke voorbeelden als intolerant om interpretatie zo veel mogelijk te vermijden. Wanneer een dataset inconsistent en subjectief wordt gelabeld, kan een AI-model er immers ook geen chocola van maken (garbage in, garbage out). Om de validiteit van ons categoriseringsmodel en onze definities te toetsen, labelden drie codeurs tweehonderd van dezelfde berichten handmatig. Daaruit bleek dat de zogeheten interbeoordelaarsbetrouwbaarheid solide was (Krippendorffs α=0.71).
Vervolgens trainden we met onze data als uitgangspunt een taalmodel om de rest van data te labelen. Of, om meer precies te zijn: we trainden heel veel verschillende modellen. Omdat de precieze grens tussen haatdragend en niet-haatdragend soms fluïde blijft – zelfs mét een eenduidige definitie – is het herkennen van intolerantie en haat in berichten een uitdagende taak voor computermodellen. In de praktijk wordt echter relatief veel winst geboekt met wat in computerkringen ensemble learning wordt genoemd. Dat is zo ongeveer de computervariant van het wisdom of the crowd-principe: als je een diverse reeks modellen loslaat op de data en daar het gemiddelde van neemt kan dat veel betere voorspellingen opleveren dan wanneer je maar één model gebruikt.
Voor ons onderzoek trainden we dan ook een keur van verschillende zogeheten BERT-modellen (o.a. RobBERT v2, BERTje, XLM-T, mDeBERTa v3). Dat deden we op onze eigen dataset, maar we trainden – om de diversiteit te vergroten – ook modellen op data afkomstig van vergelijkbaar Engelstalig onderzoek. Uit ruim honderd combinaties van modellen en datasets selecteerden we de beste zeven modellen, en die zeven lieten we los op onze data. Die aanpak leverde verreweg de hoogste validiteit op: de zeven modellen samen haalden een algemene nauwkeurigheid van 85 procent (en een macro-gemiddelde f1-score van 76 procent). Het model dat voorspelde waar de intolerantie op gericht was had een nauwkeurigheid van 81 procent, en het model dat het gebruikte narratief moest voorspellen had een nauwkeurigheid van 78 procent. Als extra validatiestap vergeleken we de handmatige categorisatie met de automatisch verkregen labels. Daar zagen we wat betreft de algemene patronen geen belangrijke verschillen.
Met die modellen labelden we vervolgens de overige elf miljoen berichten. Daaruit is een duidelijke trend waarneembaar: de vijandigheid richting lhbti+’ers wint online steeds meer terrein. Zeker sinds het einde van de coronapandemie groeit de homo- en transfobie razendsnel. Niet alleen in absolute aantallen, die deels verklaard zouden kunnen worden door het feit dat lhbti+-thema’s ook steeds meer onderwerp worden van het maatschappelijke gesprek, maar ook relatief, dus afgezet tegen het totaal aantal berichten in onze dataset. Bevatte in 2020 op YouTube nog tien procent van de reacties over dit onderwerp uitingen van intolerantie of haat, inmiddels is dat meer dan dertig procent. Op Telegram, Twitter en Instagram zien we een verdubbeling in het percentage van anti-lhbti+-sentimenten sinds 2020. Die percentages gebruiken we overigens nadrukkelijk niet als een indicatie van hoe ‘ernstig’ het gesteld is met de lhbti+-intolerantie op de verschillende platforms. Berichten op Twitter worden bijvoorbeeld veel meer gedomineerd door berichten over het nieuws – die vaak neutraler van aard zijn – dan YouTube of Instagram, waardoor het percentage structureel lager uitvalt.
Daarbij hielden we in onze analyse ook rekening met een effect van (zelf)moderatie. Een deel van de toename in lhbti+-intolerantie zou mogelijk verklaard kunnen worden doordat recente haatberichten minder goed zijn gemodereerd, en dus minder vaak worden verwijderd – door het platform of door de gebruiker zelf. Voor Twitter kunnen we de meest robuuste inschatting van dat effect maken: daar hebben we beschikking over een dataset inclusief later verwijderde tweets. Als we deze dataset, die loopt vanaf 2021, met onze grotere dataset vergelijken, zien we dat de stijging in beide datasets vrijwel even groot is: in beide gevallen is er sprake van een verdubbeling van het percentage haatdragende berichten. Wel is het zo dat het percentage haatberichten consistent iets hoger ligt in de dataset waarin verwijderde tweets zijn opgenomen – de percentages die we in het stuk noemen zullen in werkelijkheid dus hoger liggen. Voor YouTube en Instagram hebben we eenzelfde inschatting gemaakt door over een interval van vijf maanden twee maal dezelfde steekproef te verzamelen. Ook daar zagen we geen verschillen die duiden op een wezenlijk effect van (zelf)moderatie. Voor Instagram lag het na vijf maanden 0,002 procentpunt lager – een minimaal verschil. Voor YouTube was de toename juist wat meer afgevlakt in de steekproef die ná vijf maanden was verzameld. Desalniettemin concentreren we ons in het artikel vooral op de toename die we in de laatste paar jaren zien.
In absolute aantallen is elke vorm van lhbti+-intolerantie sinds 2020 toegenomen, zeker wanneer je er rekening mee houdt dat onze dataset loopt tot 1 augustus 2023. Maar vooral de vijandigheid richting trans personen stijgt razendsnel. Sinds 2021 richt het vizier zich het vaakst op hen. Het valt samen met een andere trend in onze dataset: de toenemende verdachtmaking van lhbti+-emancipatie. Steeds vaker wordt lhbti+-emancipatie online besproken als een verborgen en ‘opgedrongen’ maatschappelijke agenda, onderdeel van de ‘normalisering van pedofilie’, of als een manier voor perverse mannen om toegang te verkrijgen tot toilet- en kleedruimtes van vrouwen. Vooral trans personen krijgen dergelijke narratieven vaak voorgeschoteld, zo blijkt uit onze analyse. Zeker wanneer kinderen worden betrokken in dat narratief zorgt het voor enorme oplevingen van woede richting lhbti+-personen. En bij online woede blijft het niet: het zet aan tot (doods)bedreigingen, tot het bestormen van podia, tot het op straat uitschelden van drag queens. Daarmee wordt niet alleen de online arena steeds onveiliger voor lhbti+’ers, maar ook de publieke ruimte.
Online vijandigheid richting lhbti+‘ers wint steeds meer terrein
Hoeveel procent van de berichten over dit onderwerp bevat intolerantie of haat?
Intolerantie en haat richting trans personen groeit razendsnel
Totaal aantal haatdragende berichten in onze dataset
Lhbti+-emancipatie vaker verdacht gemaakt
Welke narratieven komen voor in anti-lhbti+ berichten?
Uitbarstingen van haat
De honderd grootste oplevingen van lhbti+-intolerantie en haat sinds 2020. Beweeg over de bollen om de piekmomenten te bekijken
De grootste oplevingen op Twitter zien we rond het debat over de transgenderwet, de Week van de Lentekriebels, de voorleesmiddag door draqqueens in Rotterdam, en het winnen van een missverkiezing door een Nederlandse trans vrouw.
Ook op Instagram kan het winnen van een missverkiezing door een trans vrouw op veel haat rekenen. Het regent daarna opmerkingen waarin trans vrouwen als geestesziek worden bestempeld of worden uitgescholden. Wanneer later blijkt dat de winnares meerdere doodsbedreigingen heeft ontvangen, neemt de haat alleen nog maar toe.
YouTube
Op YouTube zien we veel intolerante en haatdragende berichten onder politieke video’s. Vooral bij snippets over de transgenderwet waar radicaal-rechtse politici aan het woord zijn, schieten de anti-lhbti+ reacties omhoog. Ook tijdens de Week van Lentekriebels zien we een duidelijke opleving in intolerantie en haat.
Lees het volledige stuk:
https://www.groene.nl/artikel/verantwoording-bij-het-onderzoek-naar-toenemende-online-lhbti-haat
