Het is niet erg als wetenschappelijk onderzoek bij herhaling niet tot hetzelfde resultaat leidt. Dat betekent geen crisis in de wetenschap. Het leert ons ten minste dat wetenschap niet op een voetstuk hoort.

hand-1106934_1280

“Maar vergeet niet dat wetenschap gewoon mensenwerk is, met al zijn mooie en minder fraaie aspecten. Als onderzoeker bij de farmaceutische industrie heb ik ook ervaren dat 10 à 20 procent van de academische publicaties op het gebied van biomedische en neurowetenschappen gewoon niet te reproduceren is.”

Een aantal weken geleden stond in de NRC (9/10 april) een verhaal met een nogal dramatisch titel: Onderzoekscrisis. Het ging over een aantal problematische aspecten van wetenschappelijke onderzoek. Het blijkt namelijk dat in een aantal vakgebieden, zoals de psychologie, de sociologie en ook in het biomedische onderzoek, het nogal eens voorkomt dat onderzoeksresultaten niet gereproduceerd kunnen worden. Onderzoeken die dus gepubliceerd worden, terwijl bij herhaling blijkt dat niet dezelfde uitkomsten worden verkregen. Soms zelfs niet na het tientallen keren geprobeerd te hebben. Ondertussen liggen de resultaten wel ‘op straat’ en wordt er vrolijk mee verder gewerkt en worden de effecten als vaststaande feiten gepresenteerd. Voor veel wetenschappers is het not done om resultaten van collega’s op herhaalbaarheid te onderzoeken; bovendien wordt dit soort werk door de wetenschappelijke bladen niet geaccepteerd. Deze vakbladen brengen liever spectaculair nieuws dan veel saaier ogend reproductiewerk. Om te voldoen aan de publicatiedruk blijken sommige wetenschappers hun resultaten rooskleuriger voor te stellen dan ze in werkelijkheid zijn. Als een experiment een resultaat geeft dat de onderzoekshypothese niet ondersteunt, wordt dit genegeerd. Ten slotte wordt beschreven, dat de meer exacte natuurwetenschappen zoals de natuurkunde (en vermoedelijk ook de scheikunde) van dit soort problemen veel minder last zouden hebben.

Onthullingen

Nadat ik alle deze ‘onthullingen’ op me heb laten inwerken, zou ik de conclusie willen trekken dat er geen reden is voor paniek, als zou er een heuse crisis plaatsvinden in de (minder exacte) wetenschappen. Voor mensen die de wetenschap als hun hedendaagse afgod vereren is het wellicht wel even schrikken. Maar vergeet niet dat wetenschap gewoon mensenwerk is, met al zijn mooie en minder fraaie aspecten. Als onderzoeker bij de farmaceutische industrie heb ik ook ervaren dat 10 à 20 procent van de academische publicaties op het gebied van biomedische en neurowetenschappen gewoon niet te reproduceren is.

pillory-1126124_1280

“Ook al wordt daar zo veel mogelijk getracht dezelfde selectiecriteria toe te passen; de individuele variatie en de omstandigheden waaronder gewerkt wordt, zijn afhankelijk van te veel factoren. Dit probleem is er altijd al geweest en is geen reden om deze wetenschappen nu aan de schandpaal te nagelen.”

Het ligt voor de hand om aan te nemen dat er een statistisch relevante correlatie bestaat tussen de mate van exactheid van wetenschappelijke disciplines en het percentage ‘dubieuze’ publicaties. De reden daarvoor is dat in de minder exacte wetenschappelijke disciplines gewerkt moet worden met het zogenaamde methodisch reductionisme. Dat houdt in: de werkelijkheid is té complex om als geheel te onderzoeken en daarom worden vereenvoudigde en kunstmatige omstandigheden gecreëerd waarbinnen wél eenduidige resultaten kunnen worden verkregen. Maar zelfs in deze situaties blijkt het verrassend moeilijk om precies dezelfde omstandigheden te realiseren en dat is de reden dat resultaten nogal eens niet gereproduceerd kunnen worden. Je ziet dat bijvoorbeeld bij onderzoek met patiënten. Ook al wordt daar zo veel mogelijk getracht dezelfde selectiecriteria toe te passen; de individuele variatie en de omstandigheden waaronder gewerkt wordt, zijn afhankelijk van te veel factoren. Dit probleem is er altijd al geweest en is geen reden om deze wetenschappen nu aan de schandpaal te nagelen. Laten we nuchter blijven en erkennen dat al ons weten beperkt is. Bovendien heeft de wetenschap een sterk zelfreinigend vermogen, hoewel het weleens lang kan duren voordat duidelijk wordt welke resultaten we wel en niet kunnen vertrouwen.

Winst

De winst van dit soort publicaties als in NRC is wel dat we weer herinnerd worden aan het feit dat wetenschappelijke kennis altijd onzeker weten is. In onze cultuur wordt wetenschap te veel op een voetstuk geplaatst en dat kan ertoe leiden dat foutieve resultaten toch een eigen leven gaan leiden. Zeker in het kader van de recent opgelaaide discussie over ‘wetenschappelijk onomstotelijke bewijzen’ voor (ongeleide) evolutie is deze relativering van wetenschappelijke claims zeker op z’n plaats. Theologen die ervan uitgaan dat hun natuurwetenschappelijke collega’s het wel zullen weten (en omgekeerd net zo) en dat het niet respectvol zou zijn daaraan te twijfelen, huldigen een achterhaald, positivistisch wetenschapsbeeld. De prachtige activiteit die wetenschap heet, verdient het dat we met een respectvolle en kritisch opbouwende houding zijn resultaten benaderen.

Dit artikel is met toestemming van de auteur overgenomen uit het Nederlands Dagblad. De volledige bronvermelding luidt: Kruse, C.G., 2016, Wetenschap is te belangrijk, Nederlands Dagblad 72 (19.240): 12-13.

LEUK ARTIKEL?
Bent u blij met dit artikel? Het onderhoud en de ontwikkeling van deze website vragen financiële offers. Zou u ons willen steunen met een maandelijkse bijdrage? Dat kan door ons donatieformulier in te vullen of een bijdrage over te schrijven naar NL53 INGB000 7655373 t.n.v. Logos Instituut. Logos Instituut is een ANBI-stichting en dat wil zeggen dat uw gift fiscaal aftrekbaar is.

Written by

Prof. dr. C.G. Kruse was bijzonder hoogleraar geneesmiddelenonderzoek aan de Universiteit van Amsterdam. Hij is voorzitter van het Curatorium van de Theologische Universiteit te Kampen en lid van de GKV van Amersfoort-Centrum.

2 Comments

peter b

Dat 10-20% van de gepubliceerde onderzoeken (artikelen) niet reproduceerbaar is, is nogal voorzichtig uitgedrukt.

De Nature van deze week meldt dat:

“More than 70% of researchers have tried and failed to reproduce another scientist’s experiments, and more than half have failed to reproduce their own experiments. Those are some of the telling figures that emerged from Nature’s survey of 1,576 researchers who took a brief online questionnaire on reproducibility in research.”

Het is een groot probleem binnen de empirische wetenschappen. Slechts een klein gedeelte van de gepubliceerde onderzoeken is reproduceerbaar. Daarbij komt dat hoe complexer het systeem, hoe moeilijker een experiment kan worden nagedaan.

Reply

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

 tekens over