De laatste tijd is de AI-verordening (AI Act) veel in het nieuws geweest. Deze Europese wet kent onder andere bepalingen op het gebied van biometrische categorisatie (het indelen van mensen in categorieën op basis van biometrische kenmerken) en profilering ten behoeve van rechtshandhaving. In volgende artikelen zal deze AI-verordening nog uitgebreid aan bod komen.

In dit artikel wil ik het echter hebben over het verbod op geautomatiseerde individuele besluitvorming in de AVG (artikel 22). Eind augustus heb ik een vak afgerond waarin dit artikel aan bod kwam. Volgens mij is dit artikel bij de meeste techneuten onbekend, dus het leek me goed om hier wat aandacht aan te besteden. Wanneer je als data scientist of machine learning engineer werkt, kan het namelijk voorkomen dat iemand je vraagt een model te maken dat gebruikt gaat worden voor automatische individuele besluitvorming en dan is het handig om te weten wanneer het wel en niet toegestaan is.

Wat nog belangrijk is om te vermelden is dat de reikwijdte van de AVG anders is dan die van de AI-verordening. Voor de AVG maakt het, in tegenstelling tot voor de AI-verordening, niet uit of het al dan niet een AI-systeem betreft. Zodra er persoonsgegevens geautomatiseerd verwerkt worden is dit artikel van toepassing, dus ook wanneer traditionele IT-systemen gebruikt worden. Als de verwerking plaatsvindt met behulp van een AI-systeem, dan moet tevens gecontroleerd worden of de automatische besluitvorming op grond van de AI-verordening toegestaan is.

Artikel 22 lid 1 van de AVG luidt als volgt:

De betrokkene heeft het recht niet te worden onderworpen aan een uitsluitend op geautomatiseerde verwerking, waaronder profilering, gebaseerd besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem anderszins in aanmerkelijke mate treft.

Het recht is eigenlijk een verbod

Dit is slechts het eerste lid van het artikel en er bestaan uitzonderingen op het verbod die verderop in deze tekst besproken worden (zie ook onderstaande flowchart). Artikel 22 uit de AVG spreekt over een 'recht' van de betrokkene, maar uit jurisprudentie blijkt dat dit als een verbod voor de verwerkingsverantwoordelijke geïnterpreteerd moet worden.

Mag individuele geautomatiseerde besluitvorming helemaal niet?

Is al de individuele geautomatiseerde besluitvorming die betrekking heeft op persoonsgegevens nu verboden? Zeker niet! Als eerste moeten twee criteria worden getoetst om te bepalen of de besluitvorming onder de reikwijdte van dit artikel valt. Ten eerste moet het een uitsluitend geautomatiseerd besluit betreffen en ten tweede moet het besluit rechtsgevolgen hebben voor de betrokkene of de betrokkene in anderszins aanmerkelijke mate treffen. Als aan beide is voldaan, dan moet er nog getoetst worden of het geval onder een uitzondering op het verbod valt.

Uitsluitend geautomatiseerde besluitvorming

Het woord 'uitsluitend' lijkt heel veel ruimte te geven. Volgens een letterlijke interpretatie zouden we gewoon een mens naar alle voorstellen voor besluiten kunnen laten kijken en op een knop kunnen laten drukken om deze altijd te accorderen. Zo werkt het echter niet. Er moet namelijk sprake zijn van betekenisvolle menselijke tussenkomst. Menselijke tussenkomst is niet betekenisvol wanneer een mens alleen als doorgeefluik acteert voor de geautomatiseerde beslissing of helemaal geen bevoegdheid heeft om af te wijken van de geautomatiseerde beslissing.  

Rechtsgevolgen of anderszins in aanmerkelijke mate treffen

Het verbod geldt niet voor individuele automatische besluitvorming die een hele geringe invloed heeft op het leven van de betrokkene. Zodra een besluit rechtsgevolgen heeft, dan geldt het verbod wel. Voorbeelden van besluiten met rechtsgevolgen voor de betrokkene zijn het ontbinden van een contract, het weigeren van een uitkering of het weigeren van een verblijfsvergunning.

De zinsnede 'anderszins in aanmerkelijke mate treffen' zorgt voor een bescherming van de betrokkene als het besluit geen rechtsgevolgen heeft, maar wel een soortgelijk effect heeft op de betrokkene. Hierbij valt te denken aan besluiten die invloed hebben op de inkomsten van de betrokkene of op de toegang tot gezondheidszorg en onderwijs. Let hierbij ook wel op de term 'aanmerkelijke mate'. 

Profilering

Hoewel artikel 22 AVG de term 'profilering' noemt, is profilering op zichzelf niet doorslaggevend voor de toepassing van het verbod. Het verbod richt zich op individuele geautomatiseerde besluitvorming in het algemeen, waarbij profilering slechts als voorbeeld wordt genoemd (de formulering luidt: 'waaronder profilering'). Profilering is in de AVG als volgt gedefinieerd:

elke vorm van geautomatiseerde verwerking van persoonsgegevens waarbij aan de hand van persoonsgegevens bepaalde persoonlijke aspecten van een natuurlijke persoon worden geëvalueerd, met name met de bedoeling zijn beroepsprestaties, economische situatie, gezondheid, persoonlijke voorkeuren, interesses, betrouwbaarheid, gedrag, locatie of verplaatsingen te analyseren of te voorspellen

Kort door de bocht gezegd is profilering het indelen van een persoon in een bepaalde groep op basis van persoonlijke kenmerken. Voor het verbod zelf maakt het niet uit of profilering wordt toegepast: het verbod geldt voor alle geautomatiseerde individuele besluitvorming die aan de voorwaarden voldoet. Wel is profilering relevant bij de beoordeling of een uitzondering op het verbod van toepassing is.

Uitzonderingen

Zijn er uitzonderingen op het verbod? Jazeker! Of er een uitzondering geldt, is niet heel eenvoudig te bepalen, omdat dit afhankelijk is van de zogenaamde grondslag op basis waarvan de persoonsgegevens verwerkt worden. Deze uitzonderingen zijn te vinden in de UAVG (uitzonderingswet AVG) en bijzondere wetten. De uitzonderingen gelden met name voor overheidsinstellingen (voldoen aan wettelijke verplichting of uitvoering taak van algemeen belang) of op situaties waar de betrokkene uitdrukkelijke toestemming geeft. De eisen voor uitdrukkelijke toestemming zijn strenger dan voor reguliere toestemming. In meer zeldzame situaties is het toegestaan voor de uitvoering van een overeenkomst. Daarnaast zijn in al deze situaties bepaalde waarborgen nodig om risico's te mitigeren.

Mocht u meer over de uitzondering willen weten, dan kunt u onderstaande flowchart raadplegen. U kunt op 'de wybertjes' klikken om toelichting op de betreffende vraag te krijgen. Deze flowchart zal overigens niet zichtbaar zijn in de e-mail. Klik op de link 'Bekijk in browser' bovenin deze e-mail om te interactieve flowchart te zien.

Ten slotte wil ik nog een waarschuwing geven. Er kan ook sprake zijn van een verbod of een hoog risico-systeem op basis van de AI-verordening. Als "het mag" op grond van de AVG, wil het namelijk nog niet automatisch zeggen dat "het mag" van de AI-verordening.

Flowchart verbod individuele geautomatiseerde besluitvorming

Disclaimer

Het doel van dit artikel is het uitleggen van het verbod voor een brede doelgroep. Twijfelt u of dit verbod van toepassing is op uw project? Raadpleeg dan altijd een jurist met kennis van privacyrecht voor advies op maat.