40 procent van de dierexperimentele studies naar hersenbloedingen bevat afbeeldingen die niet kloppen, ontdekten onderzoekers van het Radboudumc. Een deel van deze publicaties is mogelijk geheel of deels verzonnen.

Het begon met een opvallende paradox in hun onderzoeksveld, vertellen Radboudumc-onderzoekers René Aquarius (afdeling Neurochirurgie) en Kim Wever (methodoloog bij de afdeling Anesthesiologie) in de kantine van het academisch ziekenhuis. Hoe komt het toch dat er honderden studies met proefdieren zijn gedaan naar behandelingen voor een bepaald type bloedingen in het hoofd, maar dat dat nog nooit een medicijn voor mensen heeft opgeleverd?

In de hoop nieuwe aanknopingspunten te vinden, zetten ze 608 dierexperimentele studies op een rij. Specifiek ging het om onderzoek naar zogeheten subarachnoïdale laesies, bloedingen tussen de hersenen en een van de hersenvliezen. Bij mensen lopen die in een derde van de gevallen dodelijk af.

De analyse van Wever, Aquarius en drie van hun collega’s leidde tot een onverwacht resultaat. 243 van alle publicaties die ze bekeken (40 procent) bleken afbeeldingen te bevatten waar iets mee mis was, beschrijven ze in de jongste editie van biologenvakblad PLoS Biology. De fouten kwamen zelfs voor in toptijdschriften als Stroke.

Dubbele plaatjes

‘Je moet dan denken aan plaatjes die twee keer voorkomen in dezelfde publicatie’, licht Wever toe, ‘of die in meerdere verschillende artikelen staan.’ De afbeeldingen waar zij en haar collega’s naar keken waren microscopiefoto’s van dierlijk weefsel en visualisaties van eiwitten, zogeheten Western blots.

Aanvankelijk lieten ze hun stagiaires de figuren uit een paar tiental artikelen handmatig bij elkaar zetten, waarna ze die op het oog met elkaar vergeleken. Aquarius: ‘Toen bleken er al zoveel dubbele plaatjes tussen te zitten, dat we besloten alle artikelen ook systematisch te onderzoeken met Imagetwin (een softwareprogramma, SP).’

Bij een deel van de probleemgevallen die ze ontdekten gaat het om opzet, denken Aquarius en Wever. Daarvoor is de omvang van de problemen te groot, schrijven ze ook in hun artikel. Aquarius: ‘Sommige auteurs hadden tientallen publicaties op hun naam staan met afbeeldingen die niet klopten.’ Wever vult aan: ‘Afbeeldingen die meermaals voorkwamen, waren soms gedraaid, gespiegeld of op een andere manier bewerkt.’ Dat gebeurt niet per ongeluk, wil ze maar zeggen. Ondertussen leidde het aankaarten van deze problemen maar in een tiende van de gevallen tot een waarschuwingslabel (een expression of concern) of intrekking van het artikel.

China

De bevindingen van de Radboudumc-onderzoekers staan niet op zichzelf. De hoeveelheid wetenschappelijke artikelen die deels of geheel verzonnen zijn neemt toe. Deels komt dat doordat bedrijven in landen als Iran en China dit als commercieel model gebruiken, zogeheten paper mills. Zij schrijven op bestelling artikelen of verkopen auteurschappen, bijvoorbeeld via Telegram.

Of de 243 probleemstudies uit de Nijmeegse analyse ook producten van paper mills zijn, is onduidelijk. Wel is opvallend dat vijf op de zes ervan afkomstig zijn uit China. Nederlandse publicaties kwamen Aquarius en Wever niet tegen. In China staan onderzoekers onder druk om hun onderzoeksoutput te verhogen om hoger te komen in internationale universiteitslijstjes, zo geven de Nijmegenaren in hun PLoS-artikel als mogelijke verklaring. En in een vragenlijstonderzoek onder ziekenhuisonderzoekers in Zuid-West China vorig jaar gaf de helft aan dat ze wel eens onderzoeksgegevens vervalsten.

‘De eerste vraag die je je zou moeten stellen bij een publicatie is of de studie wel echt plaats heeft gevonden’

Het schadelijke van zulke onbetrouwbare studies, zegt Aquarius, is dat het onderzoekers die erop voortbouwen op een doodlopend spoor zet. ‘Je loopt daardoor de kans dat behandelingen voor ziektes daardoor pas later ontdekt worden dan misschien had gekund.’ Wever: ‘En denk ook aan het onnodige proefdiergebruik hierdoor.’

Topje van de ijsberg

‘Dit artikel laat een ernstig probleem zien binnen het biomedische onderzoek’, reageert microbioloog Elisabeth Bik desgevraagd. Bik staat wereldwijd bekend om haar expertise om problemen met afbeeldingen als die in de PLoS-studie te identificeren. ‘Waarschijnlijk is die 40 procent slechts het topje van de ijsberg. Er kunnen ook fouten staan in grafieken en tabellen, en die zijn nog lastiger te detecteren. Het is teleurstellend dat de last om dit soort problemen aan te kaarten vooral rust op de schouders van lezers. Wetenschappelijke uitgeverijen moeten meer hun best doen om dit te voorkomen.’

Aquarius wil wel waken voor het beeld dat wetenschap onbetrouwbaar zou zijn. ‘Het is vooral belangrijk dat wetenschappers zich meer realiseren dat dit speelt. De eerste vraag die je je zou moeten stellen als je een artikel leest is of de studie wel echt plaats heeft gevonden. Zeker als resultaten veel mooier en netter zijn dan je zelf gewend bent van je eigen onderzoek of uit vergelijkbare literatuur.’ Het kan daarbij al veel helpen om een plugin te installeren van PubPeer, een website waarop kritische analyses over publicaties verschijnen.

Maar de academische wereld zou over de hele linie kritischer moeten zijn, benadrukt hij. ‘Denk aan wetenschappelijke tijdschriften en hun editors, maar ook onderzoeksfinanciers, die moeten hier meer geld beschikbaar voor gaan stellen.’ Zelf gaan Wever en Aquarius verder met vergelijkbare ‘forensische’ analyses, mede dankzij een subsidie van ZonMW.