---
title: "Wetenschappers zijn te slordig met ‘machine learning’"
canonical: "https://www.1truth.nl/space/1TRUT/blog/9323642885/Wetenschappers%20zijn%20te%20slordig%20met%20%E2%80%98machine%20learning%E2%80%99"
format: markdown
---
Kunstmatige intelligentie Wetenschappers maken volop gebruik van AI om voorspellingen te doen op tal van gebieden. Daar sluipen makkelijk fouten in.

Of het nu gaat om het voorspellen van verkeersongelukken, de verspreiding van ziektes of de kans op conflicten of een burgeroorlog, de methode lijkt zo aanlokkelijk. Stop genoeg relevante data in een computer, laat er solide algoritmes op los, en er rolt een voorspelling uit.

Twee Amerikaanse wetenschappers waarschuwen nu dat het gebruik van kunstmatige intelligentie om voorspellingen te doen ten koste kan gaan van de betrouwbaarheid. Ze voorzien zelfs een „dreigende crisis” in de herhaalbaarheid van onderzoek omdat te veel wordt vertrouwd op kunstmatige intelligentie die niet waterdicht is of slecht wordt toegepast.

Computerwetenschappers Sayash Kapoor en Arvind Narayanan van de universiteit van Princeton deden een literatuurstudie in zeventien disciplines, van geneeskunde tot politicologie. In twintig reviews, de meeste recent maar ook een aantal oudere, telden ze 329 publicaties waarvan de resultaten niet of maar deels herhaalbaar waren, door manco’s in het gebruik van AI-modellen. Dat kan leiden tot „bizar overoptimistische conclusies”. De twee gebruiken een ruime definitie van ‘reproduceerbaar’: niet alleen moeten de data en algoritmische codes traceerbaar zijn, de data moeten ook correct zijn geanalyseerd.

Ondeugdelijke voorspellingen  
Belangrijkste valkuil bij het gebruik van machine learning is volgens Kapoor en Narayanan het lekken van data, waardoor de uitkomsten van een onderzoek vervuild kunnen raken. De twee identificeren acht soorten data leaking, zoals het onbedoeld opnemen van niet-relevante data of verschillende datasets niet goed uit elkaar houden. Als testdata vermengd raken met data uit de evaluatieset, leidt dat tot ‘betere’ maar bij nader inzien ondeugdelijke voorspellingen. De computer heeft de uitkomst dan al verwerkt in zijn voorspellingen.

Het gaat niet om fraude of opzettelijke fouten, maar om een overdreven geloof in AI-modellen en een gebrek aan deskundigheid. Fouten die de twee signaleren vallen doorgaans niet op bij het lezen van de artikelen in het academische beoordelingsproces, maar pas bij grondige analyse van de achterliggende data en gehanteerde methode. De twee pleiten voor een drastische herziening van bestaande AI-protocollen om de gaten te dichten. Bij concept-publicaties moet een checklist komen om na te gaan of alle acht types datalek zijn uitgesloten.

Het onderzoek van de Princeton-wetenschappers is een preprint: nog niet getoetst voor publicatie in een wetenschappelijk tijdschrift. Niettemin heeft hun waarschuwing veel losgemaakt bij wetenschappers die zich zorgen maken over AI-methodes voor kwantitatief voorspellend onderzoek. Aan een online workshop van Kapoor over het onderwerp namen meer dan 1.600 academici deel.

Niet alle reacties zijn positief. De Amerikaanse politicoloog David Muchlinski, van wie een artikel over de voorspelbaarheid van burgeroorlogen door het duo wordt bekritiseerd, verdedigt in Nature zijn onderzoek. Volgens Kapoor en Narayanan voegt het gebruik van AI in conflictstudies niets toe aan standaard statistische methodes. Muchlinski vindt dat zijn vakgebied onrecht wordt gedaan.

![image](media://dcb3a78d-c7a0-4204-bfd3-b724ca720078)