In eerdere artikelen besprak ik de verboden AI-systemen onder de AI-verordening. Komende artikelen richten zich op AI-systemen met een hoog risico. De AI-verordening kent een specifieke betekenis toe aan de term 'hoog risico'. Het is dus niet aan de ontwikkelaar of gebruiksverantwoordelijke zelf om te bepalen of een AI-systeem in deze categorie valt; dat bepaalt de verordening.

Twee routes naar 'hoog risico'

Een AI-systeem kan op twee manieren als hoog-risicosysteem worden aangemerkt.

Ten eerste wanneer het systeem een veiligheidscomponent is van een product, of zelf dat product is, waarvoor op grond van bepaalde Europese wetgeving een conformiteitsbeoordeling door een derde partij verplicht is. Voorbeelden zijn medische hulpmiddelen, liften en pleziervaartuigen. De AI-verordening geeft een overzicht van de betreffende veiligheidswetgeving. Gezien het hele specifieke karakter laten we deze veiligheidswetgeving buiten beschouwing.

Ten tweede kan een AI-systeem als hoog risico worden aangemerkt omdat het type systeem expliciet is opgenomen in de lijst van de AI-verordening zelf. Die lijst is beperkt van omvang, maar divers van aard. De gemene deler: het zijn systemen die een risico kunnen vormen voor de grondrechten van burgers, of voor de veiligheid of gezondheid van mensen. Laten we deze lijst eens nader bekijken.

Biometrische identificatie (wanneer toegestaan)

In een eerder artikel besprak ik al dat realtime biometrische identificatie (bijv. gezichtsherkenning) op afstand in de publieke ruimte ten behoeve van rechtshandhavingsdoeleinden in beginsel verboden is. De Europese wetgever heeft lidstaten wel de ruimte gelaten om voor een beperkt aantal zeer specifieke situaties een uitzondering op te nemen in nationale wetgeving. Een voorbeeld hiervan is het gericht zoeken naar slachtoffers van ontvoering of het voorkomen van een specifieke, substantiële and onmiddellijke dreiging op iemands leven. Wanneer gebruik wordt gemaakt van een dergelijke nationale wettelijke uitzondering, dan betreft het een hoog risico-systeem. Ook wanneer een systeem voor biometrische identificatie gebruikt wordt voor andere doeleinden dan rechtshandhaving, dan is het systeem hoog risico.

Biometrische verificatie valt overigens niet onder de hoog-risicosystemen. Bij verificatie wordt iemands identiteit gecontroleerd aan de hand van vooraf aangeleverde informatie. Hierbij valt bijvoorbeeld te denken aan een vingerafdruk, gezichtsscan of irisscan om ergens toegang te krijgen. Vergeet hierbij niet dat de AVG van toepassing blijft, zodat biometrische verificatie niet zonder meer overal ingezet mag worden. Dat iets toegestaan is volgens de AI-verordening maakt nog niet dat het toegestaan is volgens de AVG.

Biometrische categorisatie op gevoelige kenmerken

Biometrische categorisatie houdt in dat personen op basis van biometrische gegevens in categorieën worden ingedeeld. Zoals eerder besproken is dit verboden als het gaat om categorieën als ras, politieke opvattingen, vakbondslidmaatschap, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele gerichtheid. Gaat het om een ander soort gevoelige of beschermde categorie, zoals gezondheidsgegevens, dan kent het AI-systeem volgens de AI-verordening een hoog risico.

De termen 'gevoelig' en 'beschermd' zijn overigens niet gedefinieerd in de AI-verordening. Hoewel de term ‘gevoelig' in de praktijk vaak als synoniem voor 'bijzonder' in de zin van de AVG wordt gebruikt, lijkt de wetgever mogelijk ook andere gegevens met een gevoelige aard onder deze noemer te willen scharen, zoals strafrechtelijke gegevens. Meer duidelijkheid wordt verwacht in de guidelines van de Europese Commissie over hoog-risicosystemen. Die hadden er eigenlijk al moeten zijn, maar de Commissie heeft de deadline niet gehaald. We wachten even af.

Emotieherkenningssystemen (wanneer toegestaan)

In de bespreking van de verboden kwam al aan bod dat emotieherkenningssystemen op basis van biometrische gegevens verboden zijn op de werkplek en in het onderwijs. Buiten die contexten zijn zulke systemen niet verboden, maar worden ze wel aangemerkt als hoog risico-systeem. Een voorbeeld: een emotieherkenningssysteem op een dancefeest dat in de gaten houdt of bezoekers het naar hun zin hebben en of de muziek bijgesteld moet worden.

Kritieke infrastructuur

AI-systemen die worden ingezet als veiligheidscomponent bij het beheer of de exploitatie van kritieke digitale infrastructuur, wegverkeer, of bij de levering van water, gas, verwarming of elektriciteit, vallen eveneens in de categorie hoog risico.

Deze categorie is in de eerste plaats relevant voor de (semi-)overheid, maar raakt ook private partijen zoals IT-leveranciers die systemen beheren waarvan de maatschappij structureel afhankelijk is.

Volgende artikelen

In de volgende artikelen gaan we verder met het overzicht van hoog risico-systemen. Hierbij komen ook twee soorten hoog risico-systemen aan bod, die op veel organisaties van toepassing zijn en waarmee het naar verwachting in de praktijk vaak mis zal gaan, namelijk AI voor sommige doeleinden in het onderwijs en op het gebied van HR.