Allereerst de beste wensen voor 2026! In de vorige nieuwsbrief bespraken we de reikwijdte van de AI-verordening (zie https://www.rechtentechniek.nl/wat-is-de-reikwijdte-van-de-ai-verordening). Vanaf vandaag duiken we in de verboden praktijken volgens de AI-verordening: toepassingen waarvan de EU-wetgever het risico als onaanvaardbaar beschouwt, omdat ze fundamentele rechten, veiligheid of democratische waarden kunnen schenden.

Om de verboden helder en overzichtelijk te presenteren, bespreek ik ze in drie nieuwsbrieven. In deze eerste editie staan we stil bij misleidende of manipulerende AI-systemen, AI-systemen die kwetsbare mensen uitbuiten en AI-systemen voor social scoring.

Misleidende of manipulerende AI-systemen

Het eerste verbod richt zich op AI-systemen die subliminale technieken gebruiken of doelbewust manipuleren of misleiden. Dit is verboden als het gedrag van personen of groepen wezenlijk verstoord wordt, door hun vermogen om een geïnformeerd besluit te nemen merkbaar te belemmeren. Er geldt een belangrijke voorwaarde: de manipulatie moet leiden, of redelijkerwijs waarschijnlijk leiden, tot aanzienlijke schade. Deze schade kan financieel zijn (bijv. fraude), maar ook psychologisch of maatschappelijk.

Een voorbeeld is een AI-chatbot die via misleidende technieken personen overhaalt tot beslissingen die ze normaal niet zouden nemen, zoals het afsluiten van een ondoorzichtige lening. Als ik misleid word om een reep chocolade te kopen, hoewel ik eigenlijk goede voornemens voor 2026 heb, dan zal dit verbod niet van toepassing zijn. Het is namelijk niet redelijkerwijs waarschijnlijk dat deze misleiding tot aanzienlijke schade leidt.

Uitbuiten kwetsbare mensen

Het tweede verbod richt zich op AI-systemen die misbruik maken van kwetsbaarheden van specifieke natuurlijk personen of specifieke groepen. Dit kunnen kinderen, ouderen, mensen met een beperking of mensen in een kwetsbare sociale of economische positie zijn. Het doel of gevolg van deze systemen is om het gedrag van deze personen wezenlijk te verstoren, wat leidt, of waarvan redelijkerwijze te verwachten is dat deze leidt, tot aanzienlijke schade. Denk hierbij wederom aan zaken als financieel verlies, psychische problemen, of maatschappelijke nadelen.

Dit verbod sluit aan bij het eerste verbod, maar is specifiek gericht op de bescherming van kwetsbare individuen en groepen. Ook hier geldt de voorwaarde dat de schade 'aanzienlijk' moet zijn. De schade hoeft niet daadwerkelijk op te treden, maar het moet wel redelijkerwijs te verwachten zijn dat er aanzienlijke schade ontstaat. Een voorbeeld is een AI-systeem dat via gerichte advertenties of chatbots mensen met een verstandelijke beperking overtuigt om dure, onnodige medische hulpmiddelen te kopen, terwijl deze producten geen bewezen voordelen bieden.

Social scoring

Het derde verbod, ook wel het verbod op social scoring genoemd, richt zich op AI-systemen die personen of groepen evalueren of classificeren op basis van hun sociale gedrag of persoonlijkheidskenmerken. Deze evaluatie of classificatie is verboden in de volgende twee situaties:

Nadelige behandeling in een ongerelateerde context:
De score wordt gebruikt om iemand ongunstig te behandelen in een situatie die niets te maken heeft met de context waarin de data oorspronkelijk is verzameld. Een voorbeeld hiervan is als volgt. Een gemeente maakt gebruik van een AI-systeem om te beoordelen of burgers in aanmerking komen voor een subsidie voor zonnepanelen. Deze selectie wordt gedaan aan de hand van gegevens over hoe mensen zich in de openbare ruimte gedragen, of zij vaak boetes krijgen en of zij deelnemen aan protesten.

Ongerechtvaardigde of onevenredige behandeling:
De score leidt tot een nadelige behandeling die niet in verhouding staat tot het sociale gedrag of de ernst daarvan. Een voorbeeld hiervan is als volgt. Een overheidsinstelling gebruikt een AI-systeem om gezinnen te beoordelen op basis van sociaal gedrag, zoals het missen van een afspraak bij de arts. Als gevolg daarvan worden kinderen uit huis geplaatst, terwijl deze ingrijpende maatregel niet in verhouding staat tot de lichte overtreding. Dit is een onevenredige en ongerechtvaardigde behandeling.

Volgende nieuwsbrief

De volgende nieuwsbrief zal ingaan op de drie volgende verboden, namelijk het verbod op risicobeoordeling op het plegen van strafbare feiten uitsluitend op basis van profiling, het verbod op aanleggen van databases voor gezichtsherkenning door gezichten te scrapen van internet en het verbod op (biometrische) emotieherkenning op de werkplek en in het onderwijs.