Het College voor de Rechten van de Mens heeft op 17 oktober 2023 geoordeeld dat de Vrije Universiteit (VU) een student vanwege haar donkere huidskleur niet discrimineerde door voor online tentamens de software van Proctorio te gebruiken. De Vrije Universiteit heeft de discriminatieklacht wel van de studente onvoldoende zorgvuldig behandeld.
De student stelde dat zij bij het afleggen van online tentamens aan de Vrije Universiteit is gediscrimineerd, omdat zij problemen heeft ondervonden doordat de software haar gezicht niet herkende vanwege haar donkere huidskleur. Na een tussenoordeel waarin de student dit vermoeden voldoende kon onderbouwen, komt het College tot het eindoordeel dat de universiteit in dit individuele geval de student niet heeft gediscrimineerd door de software van Proctorio te gebruiken. Dit sluit niet uit dat het gebruik van Proctorio of vergelijkbare AI-software in andere situaties wel tot discriminatie kan leiden. De universiteit heeft aangetoond dat deze student tijdens haar tentamens niet meer problemen heeft ondervonden dan andere studenten en dat die problemen in het geval van deze student niet veroorzaakt werden door haar huidskleur. Wel had de universiteit haar klacht over discriminatie zorgvuldiger moeten behandelen.
Algoritmische discriminatie
De student is er voor het eerst in een zaak bij het College in geslaagd om een vermoeden van algoritmische discriminatie aannemelijk te maken. Hoewel het College in dit individuele geval niet heeft vastgesteld dat er sprake is van verboden onderscheid, kan het evengoed zijn dat het gebruik van Proctorio of vergelijkbare AI-software in een andere situatie wel tot discriminatie leidt. Deze zaak illustreert volgens het College de uitdaging voor burgers om voldoende feiten aan te dragen die een vermoeden van discriminatie vestigen: de student werd in dit geval bijgestaan door een ngo die zich richt op de discriminatierisico's bij het gebruik van AI en aanverwante technologie. Tegelijkertijd maakt het oordeel ook duidelijk dat een verweerder, zoals in dit geval de VU, uitvoerige feitelijke informatie zal moeten aanleveren om een eventueel vermoeden van discriminatie te kunnen weerleggen. Het College zal de inzichten uit dit oordeel gebruiken in zijn adviezen richting de wetgever en toezichthoudende instanties omtrent algoritmische discriminatie.
CRM 17 oktober 2023, oordeelnummer 2023-111
Bron: www.mensenrechten.nl