Pre-crime aka predictive policing aka bijvoorbaat #verdacht

Ook de Nederlandse politie gebruikt technologieën om ‘criminelen’ te identificeren voordat ze hun overtredingen begaan.

Gepubliceerd: 13 Feb 2019

Misdaad voorspellen

Vanavond, woensdag 13 februari, is de documentaire Pre-Crime (2017) te zien op 2Doc. ‘Pre-Crime,’ is een term die voor het eerst werd gebruikt in het science fiction verhaal The Minority Report (1956) van Philip K. Dick. In de documentaire uit 2017 blijkt dat het geen science fiction meer is, maar dat de technologie om misdaden te voospellen en mensen op voorhand te arresteren al wordt gebruikt. In de documentaire komen experts, politie en slachtoffers uit Chicago, Londen, Parijs, Berlijn en München aan het woord. Deze documentaire werpt licht op het gebruik van software, databases en algoritmes die samen misdaden kunnen voorspellen. Ook in Nederland wordt er discussie gevoerd over predictive policing. Mag je verdacht zijn voordat je iets hebt gedaan? Wie wordt er daadwerkelijk beschermd door deze toepassingen en wie zijn de slachtoffers? Kan technologie überhaupt gedrag voorspellen?

Ideaal?

Het klinkt ideaal: de politie krijgt inzicht in hoe bepaalde criminele netwerken in elkaar zitten, weten wie ze in de gaten moeten houden en kunnen zo effectiever te werk gaan. Maar het heeft veel ethische haken en ogen. Er is weinig transparantie over hoe deze algoritmes werken en waar de data vandaan komen. Voorspellende software is zo goed als de gegevens die erin gaan. Met weinig bewijs over de betrouwbaarheid van de brongegevens of de correctheid van de dataverwerkingstechnieken, zijn missers bijna een gegeven. Daarbij is het zo dat als je eenmaal 'geflagd' bent in het systeem, je er moeilijk uit komt. Je bent al verdacht voordat je überhaupt iets hebt gedaan. Dit staat haaks op een aantal belangrijke mensenrechten die garanderen dat mensen niet zomaar vervolgd kunnen worden en recht hebben op een beoordeling door een onafhankelijke rechter. Een andere zorg die wij hebben wordt gedeeld door de Britse mensenrechtenorganisatie Liberty in het rapport ‘Policing by machine’: “Het gebruik van algoritmes om misdaad te voorspellen, kan leiden tot etnisch profileren en discriminatie”. Daarnaast geldt in Nederland de onschuldpresumptie. Het is een grondbeginsel van het strafrecht, dat bepaalt dat eenieder voor onschuldig dient te worden gehouden tot het tegendeel is bewezen.

Situatie in Nederland

In Kerkrade wordt met hulp van big data voorspeld in welke wijken mensen grotere kans hebben op depressie en in Zwijndrecht berekenen computers welke straten zullen verpauperen. Ook op het gebied van politie-inzet wordt er gebruik gemaakt van algoritmen, zoals: de gemeente Apeldoorn wil de kans op jeugdcriminaliteit in bepaalde wijken gaan voorspellen aan de hand van een grote set gegevens (big data), de politie Amersfoort gebruikt software die inbraken voorspelt en in Roermond probeert de gemeente met een puntensysteem te voorspellen in welke auto’s Oost-Europese zakkenrollers rijden. Op donderdag 17 januari j.l. was er in de Tweede Kamer een hoorzitting over de risico’s van het gebruik van algoritmes voor handhaving en opsporing. Het NRC deed hier uitgebreid verslag over. Ook diverse gerenommeerde instanties spreken hun zorgen uit: De Raad van State schaarde zich vorig jaar al bij het kritische kamp. “Wetten worden verdreven door algoritmes”, waarschuwde het hoogste adviesorgaan van de regering in oktober 2018. Onze samenwerkingspartner Amnesty International Nederland spreekt haar zorgen vooral uit over de risico’s die ‘data mining’ met zich meebrengen voor de mensenrechten en de rechtstaat. “Er is gebrek aan transparantie over wat het computersysteem doet met de gegevens die je erin stopt. Er valt vaak niet te controleren hoe een bepaalde uitkomst tot stand is gekomen. Daardoor is de juistheid van die uitkomst nauwelijks te toetsen. Ook valt het de gebruiker niet op als het systeem een fout heeft gemaakt. Dat gebrek aan transparantie heeft ook nadelige gevolgen voor de rechtsstaat. Hoe haal je immers je recht als een algoritme jou als potentieel risico heeft aangewezen, wanneer je geen inzicht hebt in de onderbouwing voor dit vermoeden?”

Hoe nu verder?

Inmiddels is het Artificial Intelligence and Human Rights Initiative opgericht door Amnesty International Nederland. Dat initiatief zal mensenrechtenbeginselen formuleren voor kunstmatige intelligentie en de discussie over de ethiek van kunstmatige intelligentie aanzwengelen. Wij denken vooral mee over het gebruik van voorspellende analyses door politie en justitie. Het initiatief heeft 4 focuspunten geformuleerd:

  1. Mensenrechten voorop. Programmeurs moeten doordrongen zijn van de mogelijke effecten van hun werk op mensen en rekening houden met mensenrechtenstandaarden.
  2. Rechtvaardigheid bevorderen. Dat kan door oplossingen te zoeken voor het probleem van bevooroordeelde data en software die bestaande vooroordelen uitvergroot.
  3. Transparantie garanderen. Cruciale beslissingen mogen we niet afhankelijk maken van systemen die we niet kunnen controleren. Ook voor individuen moeten de algoritmes en de informatie die zij verwerken transparant zijn.
  4. Verantwoordelijkheid regelen. We moeten afspreken wie er verantwoordelijk is als algoritmes tot een verkeerde uitkomst leiden, en waar slachtoffers hun recht kunnen halen.

De komende tijd zal er veel discussie gevoerd worden over hoe om te gaan met kunstmatige intelligentie. Dit gesprek moet gevoerd worden met softwareontwikkelaars, overheden, bedrijven, politie en rechters die de software gaan toepassen. Maar ook met een ieder die onderdeel is van de samenleving.

Doe mee

Zet je in tegen etnisch profileren en buitenproportioneel geweld