Een student is erin geslaagd voldoende feiten aan te dragen voor een vermoeden van algoritmische discriminatie. De vrouw klaagt dat de Vrije Universiteit haar discrimineerde door antispieksoftware in te zetten. Deze software maakt gebruik van gezichtsdetectiealgoritmes. De software detecteerde haar niet als ze moest inloggen voor tentamens. De vrouw vermoedt dat dit komt door haar donkere huidskleur. De universiteit krijgt tien weken de tijd om aan te tonen dat de software niet heeft gediscrimineerd. Dat blijkt uit het tussenoordeel dat het College vandaag publiceerde.  

In het kort: 

• De Vrije Universiteit zette software in om te voorkomen dat studenten zouden frauderen tijdens tentamens, als ze die thuis moesten maken tijdens corona. Een student met een donkere huidskleur had meerdere keren problemen met inloggen. Ook maakte zij het een paar keer mee dat ze niet meer bij de vragen mocht komen. Dan moest ze steeds opnieuw inloggen.  De vrouw vermoedt dat deze problemen samenhangen met haar huidskleur. 

• Het College vindt dat de vrouw erin geslaagd is voldoende feiten aan te dragen voor een vermoeden van discriminatie. Zowel de universiteit als de vrouw zijn het erover eens dat de vrouw meerdere keren hinder van de software ondervond. Academisch onderzoek laat daarnaast zien dat gezichtsdetectiealgoritmes minder goed presteren bij mensen met een donkere huidskleur. Tegelijkertijd heeft de Vrije Universiteit te weinig controleerbare gegevens laten zien waaruit blijkt dat de software niet discrimineerde.   

• Dit is voor het eerst dat iemand erin is geslaagd algoritmische discriminatie aannemelijk te maken. De universiteit krijgt nu tien weken de tijd om te bewijzen dat de software niet gediscrimineerd heeft.