Het Rathenau Instituut heeft een advies aan de Tweede Kamer gestuurd over de inzet van algoritmes en data-ethiek binnen de Rijksoverheid. Overheid en politiek staan voor lastige keuzes op het terrein van non-discriminatie, privacy en veiligheid. Het Rathenau adviseert hiervoor drie handvatten.
Waarborg informatievoorziening impact assessments aan het parlement
- Waarborg de informatievoorziening aan het parlement
Maak impact assessments Een inhoudelijk parlementair debat over de inzet van algoritmes bij de overheid vraagt om de openbaarmaking van impact assessments. - Zorg dat impact assessments een complete proportionaliteitsafweging bevatten
Het gebruik van impact assessments moet goed worden gemonitord. Worden de kosten van te nemen beheersmaatregelen meegenomen, zoals het aannemen van data-scientists en het uitvoeren van bias-controle? Worden alternatieven meegewogen, inclusief de optie om geen algoritmes in te zetten? En, is er voldoende informatie gegeven over de effectiviteit en prestaties van het in te voeren systeem? - Bespreek in impact assessments de fairness metric
Algoritmes mogen niet discrimineren, maar dat is lastig 100% te garanderen. Er zijn daarom zogeheten fairness metrics ontwikkeld om bias op te sporen. Het punt is echter dat deze metrics onderling verschillen. Het hanteren van de ene of de andere methode is een normatieve, politieke keuze, die samenhangt met een opvatting over wat eerlijk is. Daarom is het zaak dat de politiek geïnformeerd wordt over welke methode overheidsorganisaties hanteren.
Versterk de juridische waarborgen ten aanzien van non-discriminatie
- Versterk de rechtspositie van burgers
Het is nu voor burgers erg lastig om aan te tonen dat ze door een algoritme zijn gediscrimineerd. Geef aan wanneer een overheidsbesluit mede gebaseerd is op een algoritme of risicoprofilering. Meer inzicht in achterliggende profielen, het versimpelen en deels omdraaien van de bewijslast, maken het ook makkelijker om discriminatie aan te tonen. - Onderzoek of meer beschermde gronden nodig zijn
De verwachting is dat lerende algoritmes mensen steeds opnieuw in bepaalde groepen zullen sorteren, op manieren die we nu niet kunnen voorspellen. Dat kunnen gevoelige gronden zijn, zoals het inkomen van mensen, en kan dus mensen nadelig raken.
Verhelder de juridische eisen ten aanzien van het motiveringsbeginsel
- Verhelder motiveringseisen voor beleidsondersteunende algoritmes
Lerende algoritmes worden binnen de overheid momenteel vooral ingezet als beleidsondersteuning. Een ambtenaar kan bijvoorbeeld op basis van het systeem bekijken of het nodig is een fraudeonderzoek in te stellen. Een ambtenaar voert het onderzoek uit. Via deze menselijke tussenkomst kan de uitkomst worden gemotiveerd. Maar dat biedt geen uitleg over de werking van het systeem, of motivering waarom een burger werd geselecteerd. Op dit moment is onduidelijk welke motiveringseisen precies gelden voor deze beleidsondersteunende algoritmes. - Verhelder eisen toelaatbaarheid unsupervised learning
Er een spanningsveld bij uitvoeringsorganisaties bij de inzet van unsupervised learning Diverse overheidsorganisaties kiezen er bewust voor deze techniek niet in te zetten, zelfs niet als deze systemen betere resultaten boeken, omdat ze de technologie niet verenigbaar achtten met het motiveringsbeginsel. Dit lijkt ook aan te sluiten bij de jurisprudentie over dit beginsel. Tegelijkertijd is duidelijk dat de ontwikkelaars bij deze organisaties wel experimenteren met deze technieken en dat er in de praktijk druk kan ontstaan om ze toch in te zetten.
Dataethiek: moeilijke keuzes en meer informatievoorziening
Bron: www.rathenau.nl