Extremistische en terroristische groeperingen maken steeds vaker gebruik van generatieve AI, memes, humor, ironie en gecodeerde taal om hun boodschap te verspreiden én detectie te ontwijken. Deze strategieën vergroten hun bereik, met name onder jongeren, en zorgen ervoor dat schadelijke boodschappen niet altijd als expliciet illegaal kunnen worden aangemerkt. Zulke zogenoemde borderline of awful but lawful uitingen - schadelijk maar wettelijk toegestaan - kunnen bijdragen aan polarisatie en radicalisering zonder direct de wet te overtreden. Waar extremistische propaganda zich vroeger in de schaduw van het internet bevond, is die vandaag zichtbaar op mainstreamplatforms als TikTok, Reddit en Instagram, aldus de onderzoekers. De vervagende grenzen tussen schadelijke en illegale content maken effectieve moderatie en bescherming van fundamentele rechten bijzonder complex.

Gebrek transparantie grote platforms

De onderzoekers wijzen op de sleutelrol van grote technologiebedrijven - de zogenoemde hosting service providers (HSP’s) - bij het aanpakken van online extremisme. Hun inzet blijkt echter vaak inconsistent en weinig transparant. Terwijl miljarden worden geïnvesteerd in geautomatiseerde detectiesystemen, worden menselijke moderatieteams juist afgebouwd. Dat roept zorgen op over de betrouwbaarheid van beslissingen, zeker bij impliciete of contextafhankelijke content. Volledig geautomatiseerde moderatie is ontoereikend, stellen de onderzoekers. Menselijke beoordeling blijft essentieel om nuance en context te waarborgen, maar die capaciteit neemt juist af. De onderzoekers signaleren bovendien dat grote platforms weinig inzicht geven in hun moderatieprocessen en niet bereid waren mee te werken aan dit onderzoek. Dat gebrek aan transparantie belemmert een zorgvuldige borging van de vrijheid van meningsuiting.

Betrouwbaar toetsingskader nu niet haalbaar

De onderzoekers concluderen dat een universeel en volledig betrouwbaar toetsingskader voorlopig niet haalbaar is, zonder dat dit ten koste gaat van fundamentele rechten. De term borderline content blijkt daarbij problematisch, omdat deze juridisch onduidelijk is en niet verankerd in wetgeving. In plaats daarvan stellen de onderzoekers voor te spreken van impliciet extremistische content die schadelijk is. Zij ontwikkelden vijf categorieën van indicatoren die kunnen helpen bij detectie, maar die altijd ruimte laten voor interpretatie. Adaptieve, hybride modellen - waarin AI en menselijke beoordeling worden gecombineerd - bieden volgens de onderzoekers de meeste kans op consistente en proportionele moderatiepraktijken. De onderzoekers pleiten in het rapport onder meer voor:

• Heldere definities van begrippen als ‘extremisme’, ‘haatzaaien’ en ‘opruiing’, om willekeur te voorkomen.
• Hybride detectiemodellen die menselijke expertise combineren met automatische voorselectie.
• Meer transparantie over moderatiebeslissingen en beroepsprocedures.
• Publieke dialoog over de grenzen van schadelijke maar rechtmatige uitingen.

Beleidsmakers, waaronder de Nederlandse Coördinator Terrorismebestrijding en Veiligheid, wordt aangeraden om:

• Af te zien van het gebruik van de term borderline content.
• Een multistakeholdergroep van inhoudelijk deskundigen, praktijkexperts en gebruikersgroepen op te richten die periodiek reflecteert op moderatie-indicatoren.
• Programma’s te ondersteunen die weerbaarheid en mediawijsheid van jongeren versterken.
• Ook wordt samenwerking binnen de EU aanbevolen, bijvoorbeeld via een gedragscode voor de sector die normen stelt voor transparantie, menselijke beoordeling en duidelijke communicatie over moderatiecriteria.

Blurred Boundaries - Legal, Ethical, and Practical Limits in Detecting and Moderating Terrorist, Illegal and Implicit Extremist Content Online while Respecting Freedom of Expression

Bron: www.wodc.nl