Als bekend geeft de reclassering adviezen over verdachten en veroordeelden aan het Openbaar Ministerie en rechters. Hierbij gebruikt de reclassering algoritmes om het risico te voorspellen dat iemand opnieuw de fout ingaat. Met name het algoritme OXREC blijkt risicovol.

Eerdere waarschuwing

In 2020 werd in het NJB al gewaarschuwd voor de risico’s die het gebruik van dit instrument met zich meebrengt (Gijs van Dijck, ‘Algoritmische risicotaxatie van recidive over de Oxford Risk of Recidivism tool (OXREC), ongelijke behandeling en discriminatie in strafzaken’, NJB 2020/1558, afl. 25). In een uitgebreide reactie op dat artikel verdedigt de reclassering het gebruik van het instrument (NJB 2020/1814, afl. 28). Het zou uiterst transparant en betrouwbaar zijn. Ook wordt benadrukt dat de uitkomst van OXREC altijd slechts ondersteunend is voor het menselijk oordeel, en nooit vervangend. OXREC wordt nog steeds bij de advisering gebruikt en ongeveer 44.000 keer per jaar toegepast.

Bevindingen Inspectie

En nu heeft de Inspectie dus in de software van OXREC fouten aangetroffen. Zo worden sinds de ingebruikname in 2018 formules voor gevangenen en verdachten verwisseld en worden verkeerde getallen gebruikt. Deze bevindingen maken dat sinds de ingebruikname het algoritme geen correcte voorspellingen heeft gedaan. Deze gebreken zijn dusdanig groot dat de Inspectie JenV met behulp van computersimulaties schat dat in ongeveer 21% van de gevallen de OXREC tot een andere risicocategorie zou zijn gekomen als het algoritme op de bedoelde wijze zou zijn toegepast. Hierdoor wordt in de meeste gevallen het risico op recidive te laag ingeschat, met name voor drugsgebruikers en mensen met een ernstige psychische aandoening zoals een psychose. In welke mate reclasseringsmedewerkers en rechters verkeerde adviezen ook hebben overgenomen heeft de Inspectie niet onderzocht. Medewerkers wordt in ieder geval niet voldoende uitgelegd hoe de OXREC werkt om in te kunnen schatten wanneer de uitkomst minder betrouwbaar is. Zij worden gestimuleerd om de uitkomsten van het algoritme over te nemen. Zo wordt in een interne podcast aangegeven dat het oordeel van de medewerker zonder de OXREC geen beter resultaat oplevert dan het opgooien van een muntje. Daarmee wordt de betrouwbaarheid van het algoritme te groot voorgespiegeld.

Onbetrouwbaar en discriminerend

De data van de OXREC blijkt sterk verouderd en ontwikkeld voor een andere doelgroep dan waar de reclassering ze op toepast. Ook voldoet de OXREC niet aan de privacywetgeving. De OXREC gebruikt variabelen die kunnen leiden tot discriminatie; namelijk ‘buurtscore’ en ‘hoogte van het inkomen’. Het College van de Rechten van de Mens heeft enkele jaren geleden gesteld dat het gebruik van deze variabelen in algoritmes in principe verboden is, tenzij onderbouwd wordt waarom gebruik noodzakelijk is en er aanvullende maatregelen worden getroffen. De reclassering heeft dit echter niet gedaan. Volgens de Inspectie stuurt de reclassering ook onvoldoende op het gebruik en onderhoud van de algoritmes. De aangetroffen tekortkomingen zijn daardoor jarenlang niet opgemerkt. Bovendien is, naar inzicht van de Inspectie, de OXREC een hoog-risico AI-systeem waar de Artificiële Intelligentie verordening (AI-verordening) op van toepassing is en waarvoor strenge wettelijke vereisten gelden. De reclassering heeft nog geen maatregelen getroffen om aan deze wettelijke eisen te voldoen.

Aanbevelingen

De Inspectie beveelt aan dat de tekortkomingen zo snel mogelijk worden weggewerkt of dat de OXREC wordt stilgelegd. Daarnaast beveelt de Inspectie de reclassering aan een structuur op te zetten voor de ontwikkeling, het gebruik en het onderhoud van algoritmes en die uit te voeren. De reclassering moet de algoritmes trainen met nieuwe gegevens en nagaan of het gebruik ervan correct is. Ook moet ze voldoen aan de wettelijke normen en richtlijnen hiervoor zoals het toetsen van de privacy. De Inspectie JenV wil elke zes maanden van de reclassering weten hoe ver zij is met deze verbeteringen. De reclassering heeft inmiddels aangekondigd dat zij tijdelijk zal stoppen met het gebruik van de OXREC.

Rapport Risicovol algoritmegebruik

Bron: www.inspectie-jenv.nl