Het idee dat je wetenschappelijke kennis kan oogsten door feiten uit teksten te schrapen, is een fundamentele misvatting van de wetenschappelijke literatuur, vindt columnist Willem Halffman.

De Groene Amsterdammer schrijft deze week over een studie naar spookreferenties in Nederlandse wetenschappelijke publicaties. Dat zijn verwijzingen naar onbestaande bronnen in artikelen die daarmee verzonnen bewijs aanvoeren. De meeste docenten in het hoger onderwijs herkennen het meteen: naast eenvoudig slordige bronvermeldingen, zijn spookreferenties een teken van generatieve AI. Deze geautomatiseerde papegaaien praten wetenschappelijke teksten na en imiteren daarbij ook bronnen.

Het onderzoek miste een primeur. Recent verscheen een studie naar 2,5 miljoen biomedische publicaties met zulke ‘gehallucineerde’ referenties. Beide studies schatten het probleem op een halve procent van de nieuwste artikelen, maar zien een sterke toename over het afgelopen jaar. De spreiding over vakgebieden van dit soort problemen is echter zeer ongelijk, zoals Nature al in april rapporteerde.

Het is dom en opportunistisch gebruik van artificiële intelligentie. Wie voor een bewering even een bronnetje nodig heeft, kan daarvoor altijd wel wat krijgen van de chatbot. Dat komt in de eerste plaats omdat de modellen kennis imiteren door taal na te praten. De techbedrijven hebben handig gebruik gemaakt van ons nobel streven om alle kennis vrij toegankelijk te maken middels ‘open access’-publicaties. Zo hadden ze een enorme berg tekst om hun modellen op te trainen. De wetenschappelijke uitgevers zijn daar overigens niet zo blij mee, getuige een recente rechtszaak van Elsevier tegen Meta.

‘De wetenschappelijke literatuur is niet zomaar een database waar je feiten uit kan trekken’

Maar er is een fundamenteler probleem. Het idee dat je wetenschappelijke kennis kan oogsten door feiten uit teksten te schrapen, is een fundamentele misvatting van de wetenschappelijke literatuur. Ten eerste zijn publicaties kleine argumentatieve bouwwerkjes, met afgewogen beweringen en hoofdpunten, maar ook bijkomstigheden. De kern is allicht goed onderbouwd, maar daarom niet alle nevenargumenten en zijdelings aangedragen bewijs. De feiten staan niet voor niets in tekst: in con-text. Ten tweede worden wetenschappelijke artikelen vooral gecorrigeerd door latere publicaties. Veel fouten uit oudere literatuur blijven daar gewoon staan, omdat het domweg te veel moeite kost om ze te corrigeren. De wetenschappelijke literatuur is niet zomaar een database waar je feiten uit kan trekken, maar ook een lopende discussie die je in samenhang moet begrijpen.

Ondanks een golf aan richtlijnen voor AI-gebruik in de wetenschap, zal de verleiding echter groot blijven voor onderzoekers die menen zoveel mogelijk te moeten publiceren.

Onder publicatiedruk wordt alle wetenschappelijke kennis vloeibaar.

Lees alle columns van Willem Halffman