In het vorige artikel bespraken we het verbod op misleidende en manipulerende AI-systemen, het verbod op AI-systemen die kwetsbare mensen uitbuiten en het verbod op AI-systemen voor social scoring. Dit artikel bespreekt de drie volgende verboden AI-toepassingen, namelijk het verbod op risicobeoordeling op strafbare feiten uitsluitend op basis van profiling, het verbod op het aanleggen van gezichtsherkenningsdatabases door gezichten van internet te scrapen en het verbod op het gebruik van (biometrische) emotieherkenning op de werkvloer en in het onderwijs.

Risicobeoordeling op het plegen van strafbare feiten uitsluitend op basis van profiling

De AI-verordening verbiedt AI-systemen die uitsluitend op basis van profilering of persoonlijkheidskenmerken beoordelen of voorspellen dat een natuurlijke persoon een strafbaar feit pleegt. Dit roept associaties op met de film Minority Report, waarin toekomstige misdaden worden voorspeld en daders preventief worden aangehouden. Maar dit verbod betekent niet dat predictive profiling volledig verboden is.

Het sleutelwoord hier is "uitsluitend". Het verbod geldt niet voor AI-systemen die menselijke beoordelingen ondersteunen, mits deze gebaseerd zijn op objectieve en verifieerbare feiten die rechtstreeks verband houden met een strafbare handeling.

Aanleggen van databases voor gezichtsherkenning door gezichten te scrapen van internet

Enkele jaren geleden kwam het Amerikaanse bedrijf Clearview AI in opspraak door het scrapen van foto’s van gezichten en bijbehorende andere persoonsgegevens van het internet. De kans is groot dat ook uw gezicht in deze database is opgenomen. Vanwege de grove inbreuk op grondrechten heeft de Europese wetgever deze praktijk expliciet verboden in de AI-verordening.

De Autoriteit Persoonsgegevens (AP) legde Clearview AI al eerder een boete van €30,5 miljoen op wegens schending van de AVG (zie website AP). Het bedrijf stelde echter zich niet op de Europese markt te richten en geen EU-burgers te monitoren, waardoor het niet onder de reikwijdte van de AVG zou vallen. De boetes zijn tot op heden niet betaald. Noyb, een non-profitorganisatie op het gebied van privacy, onderzoekt nu mogelijkheden om bestuurders persoonlijk strafrechtelijk te vervolgen (zie website noyb).

Om dergelijke praktijken tegen te gaan, heeft de EU-wetgever het aanleggen van gezichtsherkenningsdatabases via scraping in de AI-verordening expliciet verboden. Hoewel dit verbod EU-burgers op de Europese markt beschermt, zullen er altijd buitenlandse partijen blijven die zich weinig aantrekken van dit verbod, zoals het zojuist genoemde ClearView AI. Daarnaast vallen militaire AI-systemen niet onder de reikwijdte van de AI-verordening. Het verbod biedt EU-burgers dus enige bescherming, maar het is een illusie om te denken dat uw gezicht niet langer zal voorkomen in databases voor gezichtsherkenning.

Emotieherkenning op de werkplek en in het onderwijs

Het volgende verbod in de AI-verordening betreft het afleiden van emoties door AI-systemen op de werkplek en in het onderwijs, wanneer dit gebeurt op basis van biometrische gegevens. Het vaststellen of scholieren in de klas of medewerkers op de werkvloer zich blij voelen door camerabeelden of spraakfragmenten te analyseren met AI-systemen is dus verboden. Er geldt echter een uitzondering voor emotieherkenning die uitsluitend bedoeld is voor medische overwegingen of veiligheidsoverwegingen.

Een voorbeeld van een medische toepassing is een AI-systeem dat emoties afleidt om studenten of medewerkers met autisme gericht te kunnen ondersteunen. Een voorbeeld van een veiligheidstoepassing is een AI-systeem dat stressniveaus van medewerkers meet in situaties waar een verhoogd stressniveau of een gebrek aan concentratie een concreet en accuut gevaar kan opleveren. Denk hierbij aan situaties waarin medewerkers werken met gevaarlijke machines of omgaan met gevaarlijke chemische stoffen.

Belangrijk is de emotieherkenning in deze uitzonderingssituaties alleen voor deze specifieke doelen mag worden gebruikt en niet voor andere toepassingen. Het veiligheidssysteem dat stressniveaus of gebrek aan concentratie meet, mag bijvoorbeeld niet gebruikt worden voor het beoordelen van de arbeidsprestaties van de medewerkers. In situaties buiten het onderwijs en de werkvloer is emotieherkenning niet verboden. Dit komt nog nader aan de orde bij de bespreking van hoog-risico AI-systemen.

Vooruitblik

Het volgende artikel (deel 3) gaat in op de volgende verboden: het verbod op biometrische categorisatie op basis van bepaalde gevoelige kenmerken en het verbod op real-time biometrie op afstand in de publieke ruimte ten behoeve van rechtshandhaving.