Bionieuws

Mens & Maatschappij

Een geslaagde dierproef kan ook toeval zijn

Dierexperiment voor preklinisch oncologie-, cardiovasculair of neurologisch onderzoek waarbij een onder narcose gebrachte rat in de U-Spect scanner wordt onderzocht. Foto: Thomas Dobber, UMC Utrecht, Facilitair Bedrijf, Cluster Multimedia

Om de reproduceerbaarheid en betrouwbaarheid van dierproeven te vergroten, zouden experimenten vaker geblindeerd en vooraf geregistreerd moeten worden. Een Nederlands initiatief wil met de eerste site voor preregistratie van dierproeven deze manier van denken en werken stimuleren.

Zeker weten door zuiver meten, luidt een wat belegen gezegde. Helaas werkt de wetenschap niet zo eenvoudig, toont een korte enquête van Nature onder 1.576 wetenschappers naar hun ervaring met het reproduceren van onderzoek. De antwoorden gaven een eerlijk beeld: 70 procent had weleens tevergeefs geprobeerd om andermans experimenten te herhalen, en meer dan de helft van de ondervraagden had zonder succes resultaten van eigen onderzoek geprobeerd te reproduceren (Nature, 2016).

Herhaling
De enquête is geen willekeurige opiniepeiling, want systematische reproductie-pogingen bevestigen dat idee. Vooral farmaceutische bedrijven proberen in eigen lab opvallende bevindingen uit high impact journals te reproduceren. Vaak zien bedrijven in ‘doorbraak’-papers interessante kansen voor nieuwe therapieën. Maar bevestiging slaagt meestal niet, zelfs niet als het bedrijf de auteurs van de oorspronkelijke paper vriendelijk verzoekt om in het lab mee te helpen, zoals biotechreus Amgen heeft gedaan. Herhaling van het resultaat van 53 verschillende papers lukte in zes gevallen (Nature, 2012). Studies naar de mate van herhaalbaarheid van wetenschappelijk onderzoek zijn schaars, en de uitkomsten lopen uiteen van 11 tot 25 procent.

Verdoving van een muis voor onderzoek met humane kankercellen. Foto: Thomas Dobber, UMC Utrecht, Facilitair Bedrijf, Cluster Multimedia

Hetzelfde fenomeen is ook te zien bij dierproeven die voorafgaan aan klinische trials met patiënten. Zo heeft het Amerikaanse ALS Therapy Development Institute (TDI) honderd potentiële geneesmiddelen tegen de verwoestende neuromusculaire ziekte ALS op de korrel genomen. Acht van die stoffen waren zo veelbelovend in dierproeven, dat ze in klinische trials met ALS-patiënten zijn getest – telkens met negatieve uitkomst. Er werd door TDI bij de replicatie poging grondig nagedacht over selectie, behandeling en observatie van de proefdieren. De uitkomst was opvallend: de acht veelbelovende middelen hadden in nieuwe experimenten geen of zelfs een negatief effect op de overleving van ALS-muismodellen (Nature, 2014). Gebrek aan reproduceerbaarheid kan verschillende oorzaken hebben, zegt Kim Wever, onderzoeker bij het Radboud Universitair Medisch Centrum in Nijmegen. Wever ondersteunt daar met het centrum Syrcle onderzoekers bij systematische reviews van proefdieronderzoek. Zulke analyses leren veel over de onderzoekskwaliteit en de betrouwbaarheid van gegevens uit dierexperimenten.

‘Het is alsof je met Yahtzee
toevallig bij de eerste worp vijf
keer zes gooit’

Wever: ‘Herhaling van een experiment is vaak moeilijk, omdat een publicatie te weinig informatie geeft om te achterhalen wat er exact is gedaan. Soms kan statistische kracht en toeval in een eerder experiment een rol spelen. Als je met een klein aantal dieren een proef doet, kan er per toeval een opvallend groot effect uitkomen. Het is alsof je met Yahtzee toevallig bij de eerste worp vijf keer zes gooit. Bij herhaling, met name in een grotere groep, kun je dat effect vervolgens niet meer aantonen.’

Andere factoren zijn onderzoekskwaliteit en de invloed van bias, zegt Wever. ‘Het gaat bij bias om de vraag of je als onderzoeker de uitkomst van je proeven beïnvloedt. Als je bijvoorbeeld niet randomiseert, en je meet alle controledieren altijd in de ochtend, en alle behandelde dieren in de middag, kan het heel goed dat er telkens hetzelfde resultaat uitkomt. Maar mogelijk heb je dan alleen het effect van het tijdstip gemeten en niet dat van je behandeling. In dat geval is een resultaat weliswaar reproduceerbaar, maar niet betrouwbaar. Als je zo’n experiment herhaalt en je randomiseert de dieren, kun je de resultaten niet repliceren.’ Bias is een terugkerend onderwerp in discussies over verbetering van de reproduceerbaarheid van wetenschappelijk onderzoek. Klinisch geneesmiddelenonderzoek met mensen dient daarbij vaak als voorbeeld. Bij geneesmiddelenonderzoek kiest men als het even kan voor een randomized controlled trial. Patiënten worden door het lot (random) in groepen verdeeld en door blindering weet niemand wie het nieuwe middel krijgt of de controlebehandeling. Ook de artsen en degene die de meetgegevens statistisch analyseert is onwetend. Op die manier worden subjectieve invloeden van verwachtingen bij zowel patiënt als onderzoeker buiten de deur gehouden.

Blinderen
Bij dierproeven kan hetzelfde spelen: als iedereen precies weet welk dier welke behandeling krijgt, kunnen verwachtingen de rapportage van symptomen beïnvloeden. ‘Blindering van dierproeven zit nog niet echt in de onderzoekscultuur’, zegt dierenarts en ethicus Frans Stafleu van het Ethiek Instituut in Utrecht. Hij is betrokken bij een NWO-project gericht op verbetering van de vertaalbaarheid van dierproeven naar de mens.
‘Ik denk dat de meeste onderzoekers de discussie over bias inmiddels wel kennen, maar ze moeten zelf nog stappen zetten. Als ik aan 25 deelnemers van de proefdiercursus vraag of ze blinderen, steken twee of drie hun hand op. Wetenschappers moeten zich realiseren dat iedereen gevoelig is voor allerlei vormen van bias, en dat je daar in de wetenschap slimme maatregelen tegen kunt nemen, zoals blinderen, randomiseren en preregistratie van je onderzoek.’


website voor registratie van preklinische dierproeven.

Preregistratie, ofwel het vooraf vastleggen van hypothese en onderzoeksplannen, voorkomt volgens Stafleu dat onderzoekers bewust of onbewust een beetje verschuiven in vraagstelling of uitkomsten. Die verleiding ontstaat als ze tegen onverwachte resultaten aanlopen, die spectaculairder zijn dan beantwoording van de oorspronkelijke vragen. ‘Dat is niet verboden, maar door preregistratie kunnen collega’s achteraf vaststellen in hoeverre dat is gebeurd, en daar ook vragen over stellen.’

Gescoopt
In april werd in Utrecht de eerste site voor preregistratie van dierproeven officieel gelanceerd: preclinicaltrials.eu. Op die site kunnen onderzoekers hypothese, experimentele methode, aantallen dieren, en andere zaken registreren. De kiem voor dit initiatief ontstond enkele jaren geleden vanuit het vakgebied dat onderzoek doet naar stamceltherapie bij hartziekten, vertelt arts-onderzoeker Mira van der Naald van de afdeling cardiologie van het Universitair Medisch Centrum Utrecht. Ze is met haar co-promotor Kim Wever een van de ontwerpers van de site. Van der Naald: ‘Uit reviews van het veld van stamcelonderzoek bij hartziekten kwam duidelijk naar voren dat verbetering van de onderzoekskwaliteit mogelijk is. We leren heel veel van dierproefstudies, maar we denken dat het nog beter kan. Bij klinisch onderzoek met patiënten doen onderzoekers bijvoorbeeld al heel lang preregistratie van trials, en de vraag is waarom doen we dat ook niet doen bij preklinische proefdierstudies.’

‘Wie zegt dat net die ene positieve
parameter van de twintig niet op
toeval berust?’

Preregistratie van dierproeven kan een aantal manieren positieve effecten hebben, zegt Van der Naald. Een daarvan is het verkleinen van de kans op selective outcome reporting. Dat fenomeen is goed bekend van klinische trials. Er wordt bijvoorbeeld bij een experimentele behandeling naar twintig verschillende parameters gekeken – bloedwaarden, spierkracht, cognitieve scores – maar vervolgens worden vooral de parameters die er positief uitspringen gepubliceerd. ‘Selective outcome reporting kan een forse bron zijn van bias, want wie zegt dat net die ene positieve parameter van de twintig niet op toeval berust?’ Een ander doel van preregistratie is het verminderen van publication bias, omdat het register ook niet-gepubliceerde proefdierstudies in beeld brengt. Een flink deel van resultaten uit wetenschappelijk onderzoek wordt namelijk nooit officieel gepubliceerd. ‘Bij klinische trials is dat vermoedelijk zo’n 50 procent. Bij dierproeven mogelijk nog meer. Daardoor gaat veel informatie verloren’, zegt Van der Naald. ‘Bovendien worden vooral positieve studies gepubliceerd, en negatieve of neutrale studies veel minder vaak. Dat is begrijpelijk, maar het heeft wel invloed op de interpretatie van de literatuur.

Beeld uit de spreekbeurtinformatie van de Stichting Informatie Dierproeven. Beeld: SID.

Als alleen positieve resultaten van proefdieren worden gepubliceerd, krijg je een overschatting van het effect van een nieuwe behandeling of een experimenteel medicijn.’ Er zijn op dit moment negen protocollen geregistreerd bij preclinicaltrials.eu, vertelt Van der Naald, waarvan vier afkomstig van haar eigen onderzoeksafdeling, maar ook enkele buitenlandse groepen hebben zich spontaan gemeld. Dat aantal zou snel mogen groeien, maar los van gebrek aan naamsbekendheid, zijn er onderzoekers die het nog een grote stap vinden om hun onderzoeksplannen online te registreren. Sommigen zien nadelen, zegt Van
der Naald, zoals het risico gescoopt te worden, al biedt de site de mogelijkheid voor registratie onder embargo.

Stimulans
Van der Naald merkt veel positieve reacties op de lancering van preclinicaltrials.eu. ‘Maar als iedereen het een goed idee vindt, kun je je afvragen waar de protocollen blijven. Daarom is het belangrijk dat alle betrokkenen – journals, funders, instanties voor dierenwelzijn, en instituten – zich erover uitspreken. Als wetenschapsfinanciers preregistratie als voorwaarde opnemen in hun reglementen, dan levert dat een stevige stimulans. Ik denk wel dat we nog een lange weg te gaan hebben. Dit is echt een cultuurverandering. Ik hoop dat we over tien of twintig jaar kunnen terugkijken en denken: grappig dat we dat vroeger nog niet deden.’

Kader: ‘Replicatie van dierproeven ligt ethisch gevoelig'

‘Preregistratie en blinderen zijn in principe goede maatregelen, maar je moet altijd beoordelen of het haalbaar en wenselijk is’, zegt Martje Fentener van Vlissingen, directeur van het Erasmus Dierexperimenteel Centrum in Rotterdam. In veel academisch onderzoek wordt bijvoorbeeld stapsgewijs gezocht naar moleculaire ziektemechanismen en nieuwe diermodellen voor menselijke ziekten. Zulk exploratief onderzoek is anders van opzet dan een preklinische trial voor het testen van een experimenteel medicijn, omdat hypothese en verwachte uitkomst vooraf minder vastliggen. Het is volgens Fentener van Vlissingen de vraag of het zinvol is om zulk exploratief onderzoek ook te preregistreren.

Weloverwogen
‘Bij een heel formele preklinische studie naar een werkzame stof kan preregistratie wel zinvol zijn. Maar dat bestaat voor een deel al, omdat instanties als EMEA en FDA voorschrijven en meelezen hoe je zulk onderzoek moet doen.’ Randomiseren is nodig om te zorgen dat groepen bij de start vergelijkbaar zijn, maar het moet op een weloverwogen manier gebeuren, zegt Fentener van Vlissingen. Onderling gesocialiseerde dieren die in groepen zijn gehuisvest, hebben de hiërarchie bepaald. ‘Randomiseren van sociale dieren in nieuwe huisvestingsgroepen kan leiden tot conflicten en artefacten in je metingen. In dat geval kun je beter de kooien met groepen dieren randomiseren.’


Bron: VSNU.

Verder heeft de nieuwe Instantie voor Dierenwelzijn (IvD) een belangrijke rol gekregen in het ontwerp van dierexperimenten, stelt Fentener van Vlissingen. Elke instelling moet sinds 2015 een IvD hebben. ‘De IvD adviseert over opzet van het project, het aantal dieren, de statistiek en de juiste controles. Dus naast dierenwelzijn bekijken ze ook het experimental design, zoals blinderen en randomiseren. En er is online hulp voor onderzoekers met tools voor de experimental design. Die wordt gebruikt om onderzoekers te helpen bij een goede proefopzet.’

Ultieme waarheid
Fentener van Vlissingen benadrukt dat er binnen het proefdieronderzoek doorlopend aandacht is voor verbetering van onderzoekskwaliteit, net als in alle andere takken van de wetenschap. ‘Wat sommigen tegenwoordig de crisis in de wetenschap noemen is een breed probleem. De factor toeval bepaalt vrij veel in alle onderzoeksresultaten, dat is op statistische gronden al jaren geleden voorspeld. Het betekent dat een significant resultaat in een enkele proef niet wil
zeggen dat dat de ultieme waarheid is. Je mag hopen dat iedereen zich daarvan bewust is.’ Door aandacht voor herhaalonderzoek ontstaat volgens Fentener van Vlissingen ook een nieuwe discussie over de waarde van replicatie van dierproeven. Terwijl herhaling van dierproeven ethisch gevoelig ligt. ‘Er wordt vaak geredeneerd: we weten het al, dus we zouden er verder geen dieren meer voor moeten gebruiken.
Maar dat is wat naïef in het licht van recente discussies over reproduceerbaarheid.’


Zie ook: 'Vraagtekens rond herziene Wet dierproeven', Bionieuws 5, 15 maart 2014

Dit bericht verscheen in Bionieuws 10 van 2 juni 2018.