In het vorige artikel kwamen AI-systemen in het onderwijs en op de werkvloer aan bod. Vandaag gaan we in op de laatste vier categorieën AI-systemen met een hoog risico. Deze categorieën zijn: essentiële diensten en uitkeringen, rechtshandhaving, migratie/asiel/grenstoezicht en rechtspraak/democratie.

De eerste categorie betreft de toegang tot en het gebruik van essentiële particuliere en publieke diensten en uitkeringen. Hieronder vallen AI-systemen die door of namens overheidsinstanties worden gebruikt om te beoordelen of natuurlijke personen in aanmerking komen voor essentiële overheidsuitkeringen en overheidsdiensten (waaronder gezondheidsdiensten) of om dergelijke uitkeringen en diensten te verlenen, te beperken, in te trekken of terug te vorderen. Daarnaast behoren hiertoe AI-systemen die de kredietwaardigheid van natuurlijke personen beoordelen of hun kredietscore vaststellen, tenzij ze bedoeld zijn voor het opsporen van financiële fraude. Verder vallen hieronder AI-systemen die worden gebruikt voor risicobeoordeling en prijsstelling van levens- en ziektekostenverzekeringen voor natuurlijke personen, en systemen die noodoproepen classificeren, prioriteiten voor de inzet van hulpdiensten (bijvoorbeeld politie, brandweer en ambulance) bepalen of triage toepassen op patiënten die dringende zorg nodig hebben. Let er wel op dat de categorie zich niet alleen richt op overheidsinstanties. Ook commerciële bedrijven, zoals verzekeraars en banken, kunnen AI-systemen inzetten die tot deze categorie behoren.

Onder de volgende categorie vallen AI-systemen voor rechtshandhaving. Deze categorie richt zich op specifieke partijen, namelijk rechtshandhavingsinstanties, partijen die namens hen optreden, of instellingen, organen of instanties van de EU ter ondersteuning van rechtshandhavingsinstanties. Voorbeelden zijn AI-systemen die worden gebruikt om de betrouwbaarheid van bewijs te beoordelen of om in te schatten hoe groot het risico is dat een persoon (opnieuw) een strafbaar feit zal plegen. Houd hierbij wel rekening met het verbod op het inschatten van de kans dat iemand een strafbaar feit pleegt als dit uitsluitend op basis van profilering of op basis van de beoordeling van persoonlijkheidskenmerken gebeurt (zie ook dit eerdere artikel).

De derde categorie bevat AI-systemen die worden gebruikt door of namens bevoegde overheidsinstanties of door instellingen, organen of instanties van de EU op het gebied van migratie, asiel en grenstoezicht. Denk hierbij bijvoorbeeld aan systemen die risico's op illegale migratie inschatten of die worden gebruikt bij de behandeling van aanvragen voor asiel of visa.

In de laatste categorie vinden we AI-systemen op het gebied van rechtspraak en democratie. Hieronder vallen systemen die worden gebruikt door of namens een gerechtelijke instantie om de gerechtelijke instantie te ondersteunen bij het onderzoeken en interpreteren van feiten en het recht en bij het toepassen van het recht op concrete feiten. Dit geldt eveneens voor alternatieve geschilbeslechting, zoals arbitrage. Verder vallen hieronder systemen die bedoeld zijn om de uitslag van een verkiezing dan wel referendum of het stemgedrag van personen te beïnvloeden. Systemen waarvan de output niet rechtstreeks bij personen terechtkomt, zijn hiervan uitgezonderd. Denk aan tools om politieke campagnes administratief of logistiek te organiseren of te structureren.

Ook wanneer een AI-systeem onder een van de zojuist besproken categorieën of een categorie uit de vorige twee artikelen valt, betekent dat nog niet automatisch dat het een AI-systeem met een hoog risico is. De AI-verordening maakt namelijk een uitzondering die in het volgende artikel aan bod komt.