De eerste week na de zomervakantie zit er alweer op. Nu de scholen weer begonnen zijn en menig docent ChatGPT weer volop gebruikt, is dit een goed moment om verder in te gaan op AI in het onderwijs. In het vorige artikel kwam al een aantal AI-systemen met een hoog risico aan bod: biometrische identificatie (wanneer toegestaan), biometrische categorisatie op gevoelige kenmerken, emotieherkenningssystemen (wanneer toegestaan) en kritieke infrastructuur. Naast het onderwijs komt vandaag de werkvloer aan bod.

Een AI-systeem in het onderwijs is in een aantal situaties een hoog-risicosysteem. Ten eerste wanneer het systeem bepaalt of iemand toegang of toelating krijgt tot onderwijs. Ten tweede wanneer het bedoeld is om leerresultaten te evalueren. Ten derde wanneer het wordt gebruikt om te bepalen wat een passend onderwijsniveau voor iemand is. Ten vierde wanneer het ongeoorloofd gedrag tijdens toetsen detecteert.

Dit betekent bijvoorbeeld dat een docent ChatGPT niet zomaar mag inzetten om toetsen te becijferen (evaluatie van leerresultaten) zonder aan de eisen voor hoog-risicosystemen te voldoen. Hetzelfde geldt voor AI-gebaseerde proctoring bij thuistentamens (detectie van ongeoorloofd gedrag) en voor agents die geautomatiseerd beslissen over de toelating tot een universitaire opleiding (toegang of toelating).

En dan nu de werkvloer. Waar veel mensen zich niet van bewust zijn: ook AI-systemen die bedoeld zijn voor het werven of selecteren van nieuwe medewerkers vallen onder de hoog-risicocategorie. Denk aan het analyseren en filteren van sollicitaties, en het beoordelen van kandidaten.

Ook wanneer er al een arbeidsrelatie bestaat, kan een AI-systeem in deze categorie vallen. Het gaat dan om beslissingen die van invloed zijn op de arbeidsvoorwaarden, de bevordering of beëindiging van de arbeidsrelatie, het toewijzen van taken op basis van individueel gedrag of persoonlijke eigenschappen, en het monitoren en evalueren van prestaties en gedrag.

De term arbeidsrelatie moet overigens ruim worden opgevat. Afhankelijk van de situatie kan ook een opdracht aan een zelfstandige hieronder vallen.

Vergeet niet dat in sommige situaties, zowel in het onderwijs als op de werkvloer, ook artikel 22 AVG (het verbod op geautomatiseerde besluitvorming) een rol kan spelen. Zie voor meer uitleg dit artikel, waarin het verbod in een flowchart is uitgewerkt.

Volgende keer komen essentiële diensten en uitkeringen, rechtshandhaving, migratie/asiel/grenstoezicht en rechtspraak/democratie aan bod.