Rot op met je foutmarge

Op conferenties spreek ik nogal vaak met computerwetenschappers. Misschien is het een combinatie van slecht eten en slappe koffie, maar wanneer ik eenmaal in een discussie verwikkeld ben word ik geconfronteerd met het feit dat ik noch computerwetenschapper noch filosoof ben. Ik spreek als de één, maar denk als de ander. En veelal wekt dat ergernis bij mij op. Hier een kleine selectie:

Een AI systeem heeft misschien biases, maar mensen ook. We kunnen dus beter een systeem gebruiken, dat is eerlijker.

De spreker refereert naar het feit dat wij als mensen bevooroordeeld zijn. We hebben cognitieve defecten en/of voorkeuren die niet eerlijk zijn. Ik heb al eerder uitgelegd waarom biases in systemen problematisch zijn, en hier is de spreker (en met hem veel vakidioten binnen AI) ervan overtuigd dat een AI-systeem hier geen of minder last van heeft.

Helaas vergeet men dat ik als individu met mijn bias misschien wel een aantal mensen kan beïnvloeden (en als ik Trump heet of Wilders is dat aantal misschien wat hoger), maar dat staat niet in vergelijking met de miljarden mensen die Google met een eventuele bias bereikt. Zo'n bias is een fout op mondiale schaal. Dus om die reden alleen al wil je fokking voorzichtig zijn. Daarbij komt nog dat mensen inconsistent zijn. Mijn fout van vandaag is niet mijn fout van morgen. En ook dat is niet het geval bij een AI-systeem. Consistentie is niet een voordeel als je het consistent fout hebt.

Dus waar de menselijke bias lokaal en willekeurig is en bovendien ook nog beter aan is te pakken - je kunt tenslotte iemand ontslaan of voor de rechter slepen - is het bij een computer van een heel andere orde. Computers dreunen gewoon door. Of ze nu stelselmatig minderheden onderdrukken of niet.

Het is maar één foutje joh, dat kan toch gewoon toevallig zijn?

Als iets het bloed onder mijn nagels vandaan haalt in discussies met collega's, dan is het dit het wel. Want dit argument - als je dat al zo kunt noemen - hangt houtje-touwtje aan elkaar.

Wat is hier mis mee? Het hangt samen met het punt dat ik hiervoor maakte: de gevolgen van zo'n fout kunnen groot zijn (ach, het is maar één auto-ongeluk, ach, het is maar één ouder die onrechtvaardig bestempeld is als fraudeur), en als het een systeemfout is blijft het niet bij die ene fout. Men heeft geen acht voor de serieuze consequenties van fouten van systemen en de langetermijneffecten die dit kan hebben voor de samenleving. Zo kan een fout een groot gedeelte van de publieke opinie beïnvloeden of ervoor zorgen dat we misschien sommige technologie of algoritmes niet meer willen gebruiken.

Ook moet je je afvragen waarom die fout gemaakt is. Als iets puur door kans fout gaat kan het dus kansmatig herhaaldelijk blijven gebeuren. Als het deterministisch fout gaat, dus steeds bij dezelfde gevallen, dan kun je je afvragen wie er de dupe van gaan zijn. Is het te verantwoorden om 1% van je bevolking structureel te naaien zodat iedereen beter af is? Als dat niet zo is: Wie is dan de volgende die genaaid gaat worden?

Maar als je weet waarvoor het systeem dient, dan is het toch nuttig?

Dit is een listige kwestie, want hoe weet je waar het systeem voor dient? De toeslagenaffaire was bedoeld om fraudeurs op te sporen. In werkelijkheid bleek het een manier om grootschalig te discrimineren. Nu kun je zeggen dat sommigen vast niet zulke domme fouten maken, maar kan je er echt zeker van zijn dat je systeem niet op een andere manier uitpakt of op een andere manier gebruikt gaat worden? Het probleem is dat we systemen maken waarvan we denken dat we weten hoe ze werken en hoe het gebruikt gaat worden. Het punt aan systemen die op de computer zijn gebouwd is dat ze serieuze neveneffecten hebben en kunnen hebben die eigenlijk niet te overzien zijn. In de filosofie heet dit het Collingridge Dilemma.

Mijn interpretatie van het dilemma is simpel. We bouwen technologie, maar we kunnen eigenlijk niet overzien hoe die in de werkelijkheid gebruikt gaat worden en wat voor effecten die gaat hebben. Dus waar een systeem werkelijk voor dient weet je niet, je weet het hoogstens in theorie, maar zelfs dat is gelimiteerd.

Het is onvermijdbaar. De technologie gaat er toch wel komen.

Verdomme! Wie heeft ooit gezegd dat het onvermijdbaar is? AI-algoritmes en computers worden gebouwd door mensen en bedacht door mensen. We doen dit zelf. De technologie hoeft er niet te komen. Het klinkt mij in de oren als predestinatie, het idee dat voor je geboorte al bepaald is of je naar de hemel gaat of niet. Als dat het geval is inspireert het ons in ieder geval niet om de zaken te verbeteren. Met technologie is het net zo. Het is niet onvermijdelijk en het betekent ook niet automatisch vooruitgang. We hebben er iets over te zeggen en we kunnen er voor kiezen het niet te ondernemen.

Om een analogie te maken: Is het vooruitgang dat we tegenwoordig allemaal plastic in ons lichaam hebben? En dat PFAS haast onvermijdbaar is? Hadden we daar niet hard tegen moeten strijden?

Begrip/referentie/betekenis is niets anders dan X.

Met X doel ik op een simpel reductionistisch begrip zoals: een setje regels. Computerwetenschappers hebben een neiging om ingewikkelde discussies te reduceren tot een setje regels of de inductie van een functie. Ze doen dit in een dusdanig mate dat de inhoud van het begrip vaak verloren gaat. Ze staren je dan aan met glinsterende oogjes, alsof hun primatenhersentjes het universum hebben ontleed en doorgrond. Want ze geloven of willen graag geloven dat zulke ingewikkelde concepten gereduceerd kunnen worden tot makkelijk hanteerbare begrippen. Begrip, betekenis, en referentie, zijn slechts een aantal van de concepten die ik vaker aan bod heb zien komen. Het gaat vaak om zo'n grove oversimplificatie waarbij men nul acht heeft voor de werkelijke concepten die er achter liggen, dat het soms moeilijk is om überhaupt een gesprek te beginnen.

Hier heb ik dan ook geen (kort) antwoord op omdat mijn antwoord regelrecht tegen de grondbeginselen van de gemiddelde computerwetenschapper in gaat. De hele methodiek van computerwetenschap vergruist in mijn optiek als we het hebben over semantiek of begrip. Dat vergt meer tijd dan ik hier heb. Dus hierop zeg ik dan maar: hoogmoed komt voor de val, en ik zal met popcorn op de voorste rij zitten wanneer al die wetenschappers uit de lucht komen donderen zoals Icarus dat deed.