Nijmeegse wetenschappers ontdekten een fout in een van de meest geciteerde artikelen uit de Sociale Wetenschappen: dat van de Amerikaanse statisticus William S. Robinson uit 1950. Robinson heeft in zijn berekeningen een groep van anderhalf miljoen mensen over het hoofd gezien, zo blijkt uit de herberekeningen van Manfred te Grotenhuis en Rob Eisinga in de online versie van International Journal for Epidemiology.

Auteur Manfred te Grotenhuis heeft een aantal spannende dagen achter de rug. Voor bepaalde analyses hadden de Nijmeegse statistici de gegevens nodig van de Amerikaanse volkstelling uit 1930. Dat waren de gegevens die W.S. Robinson gebruikte in zijn artikel Ecological Correlations and the Behaviors of Individuals (1950), een van de meest geciteerde methodologische artikelen in de Sociale Wetenschappen. Robinson laat daar zien dat macrorelaties vaak geen goede graadmeter zijn van de onderliggende individuele processen. Dit wordt in de wetenschap de ‘ecologische fout’ genoemd en is een eerste les voor studenten in de Sociale Wetenschappen.

Migranten en analfabeten
Robinson gebruikte een tabel uit 1930 waarin voor elk van de dan 49 staten het aantal migranten en het aantal analfabeten is weergegeven. Uit deze gegevens blijkt dat naarmate het percentage migranten in een Amerikaanse staat hoger is, het percentage analfabeten juist lager is. Te Grotenhuis: ‘De les van Robinson is dat je daaruit niet mag concluderen dat er naar verhouding weinig migranten zijn die niet kunnen lezen en schrijven. Je gaat dan met macrogegevens uitspraken doen over individuen en dat mag niet zomaar. Robinson laat in het artikel juist zien dat juist onder migranten bovengemiddeld veel analfabeten zijn en die trokken naar staten met weinig analfabetisme.

Replicatie
Bij narekening constateerden Te Grotenhuis en Eisinga dat Robinson anderhalf miljoen mensen over het hoofd heeft gezien.Te Grotenhuis: ‘Belangrijk zijn vooral de één miljoen Mexicanen in Arizona en New Mexico, waarvan maar liefst een kwart  analfabeet is. Dat is een veel hoger percentage dan onder de blanke en zwarte bevolking. In de tellingsregisters is deze bevolkingsgroep niet als aparte groep vermeld, maar de gegevens zijn wel meegenomen in de totalen per staat. Dat heeft Robinson op het verkeerde been gezet. Hij ging er bij de berekeningen vanuit dat het totaal per staat gelijk zou zijn aan de optelsom van de vermelde bevolkingsgroepen. Eigenlijk een fout van het bureau voor de volkstellingen dus’.

Rekenfout
Gelukkig gaat het om een rekenfout en blijft de theorie van de grote Robinson overeind. Te Grotenhuis : ‘Jaja, anders was het wereldnieuws geweest en hadden we de kranten in de USA gehaald. Wij hebben uiteindelijk onze resultaten voorgelegd aan Subu Subramanian van Harvard University, een Robinsonkenner. Die beaamde de rekenfout en onderschreef volmondig onze constateringen en werkte graag mee aan de rectificatie.’
American Sociological Review, het tijdschrift dat het artikel van Robinson in 1950 publiceerde, wilde de rectificatie niet afdrukken, maar de auteurs zijn ook zeer content met hun publicatie in de International Journal for Epidemiology, een tijdschrift met een nog hogere impactfactor. / Bets Berntsen