Om discriminatie te kunnen meten en voorkomen zijn de afgelopen jaren zogenoemde fairness-methodes ontwikkeld. Onderzocht is hoe deze methodes overlappen met de manier waarop discriminatie juridisch wordt vastgesteld en hoe zij ingezet kunnen worden voor het meten en voorkomen van discriminatie in algoritmes.

Kwantitatieve methodes niet voldoende

Het onderzoek concludeert dat fairness-methodes overeenkomsten bevatten met de beoordelingskaders die worden gebruikt om vast te stellen of er juridisch sprake is van discriminatie. Deze kwantitatieve methodes alleen zijn echter niet voldoende om discriminatie aan te tonen. Discriminatie is namelijk geen technisch probleem dat (alleen) met technische aanpassingen opgelost kan worden. Het toetsen en voorkomen van discriminatie in algoritmes vereist multidisciplinaire samenwerking, actieve monitoring en verankering van het toetsen van discriminatie in de werkprocessen.  

Helpende hand

Hoewel fairness-methodes op zichzelf dus niet volstaan, kunnen ze wel onderdeel zijn van de beoordeling of er sprake is van discriminatie. Op basis van het onderzoeksrapport reikt het College voor de Rechten van de Mens organisaties handvatten aan om deze methodes toe te passen zodat hun werkprocessen het recht op gelijke behandeling respecteren. Organisaties die fairness-methodes toepassen en hulp kunnen gebruiken bij de inzet hiervan om discriminatie tegen te gaan, kunnen contact opnemen met het College.

Directe discriminatie

Directe discriminatie in de context van algoritmes vindt plaats als een criterium van het algoritme ook een discriminatiegrond is, zoals geslacht of nationaliteit. Dit is dus eenvoudig te voorkomen door criteria die ook discriminatiegronden zijn niet mee te nemen in het algoritme.

Indirecte discriminatie

Of een algoritme indirect onderscheid maakt, is lastiger vast te stellen. Het gaat dan om op het oog neutrale variabelen waarvan het effect  kan zijn dat sommige groepen daardoor relatief vaker geselecteerd worden. Als er geen objectieve rechtvaardiging bestaat om zo’n variabele te gebruiken, is sprake van indirecte discriminatie.

Eén van de manieren om indirect onderscheid vast te stellen is statistisch in kaart te brengen of variabelen een ongelijk effect hebben op beschermde groepen, bijvoorbeeld met fairness-methodes. Veelgebruikte methodes die verschillen tussen (beschermde) groepen in kaart brengen zijn group fairness-methodes.

Voorbeelden van dit soort methodes zijn het berekenen van selectieratio’s en misclassificatierisico’s voor verschillende groepen. Selectieratio’s kwantificeren of beschermde groepen vaker of minder vaak geselecteerd worden. Misclassificatieratio’s geven weer wie naar verhouding vaker onterecht wel of niet geselecteerd wordt. wordt. Dat wordt gedaan door te kijken naar valspositieven en valsnegatieven. Wordt er onderscheid gevonden waarvoor geen objectieve rechtvaardiging is dan moet de onderliggende  oorzaak worden gevonden. 

Risico’s

Grofweg zijn er twee soorten oorzaken die het risico op discriminatie in algoritmes kunnen vergroten: verschillen in voorspelkracht en een statistisch verband tussen een discriminatiegrond en een doelvariabele.

Als een algoritme minder accuraat is voor bepaalde groepen dan heeft het algoritme een lage voorspelkracht voor deze groepen. In 2022 oordeelde het College bijvoorbeeld dat de inzet van antispieksoftware voor het surveilleren van tentamens kan leiden tot indirect onderscheid op grond van ras als de software slechter presteert voor mensen met een donkere huidskleur. De doelvariabele is datgene wat een algoritme probeert te voorspellen. Als er een statistisch verband is tussen de doelvariabele en een discriminatiegrond, dan zal een accuraat algoritme dit verband reproduceren.

Het onderzoek ‘Algoritmes en Discriminatie’ is te vinden op de website van het College.