Het jaar was nog geen twee weken oud of er was al flinke opschudding in de wetenschappen. Helaas niet omwille van een interessante doorbraak of opwindende ontdekking. De Amerikaans-Indiase voedingsdeskundige Dipak Das, verbonden aan de Universiteit van Connecticut, pleegde bedrog bij minstens 145 onderzoeken. Das is auteur of coauteur van meer dan vijfhonderd wetenschappelijke artikelen. In ruim honderd daarvan wordt onderzocht wat de effecten zijn van Resveratrol, een chemische verbinding die onder meer in de schil van blauwe druiven voorkomt en waarvan men vermoedt dat ze veroudering en kanker tegengaat.

In 2008 werd een anonieme klacht tegen Das ingediend, wat tot een kritische doorlichting van zijn onderzoek leidde. Die doorlichting duurde drie jaar en onderzocht zeven jaar van Das’ wetenschappelijke activiteiten. Daaruit bleek dat hij vele malen had gesjoemeld met de data verkregen door de zogenaamde Western blot, een techniek die men in labs gebruikt om naar bepaalde proteïnen in allerlei stoffen te zoeken. De Amerikaanse overheidsdienst voor onderzoeksintegriteit startte ondertussen ook een doorlichting van zijn onderzoek op. Alvast een elftal wetenschappelijke tijdschriften zijn officieel op de hoogte gebracht van het bedrog van Dipak Das. Dat betekent dat die tijdschriften de artikelen waaraan Das meewerkte van hun websites zullen halen, en hun lezers zullen melden dat de artikelen van Das onbetrouwbaar zijn. Uiteraard is dit alles slecht nieuws voor professor Das. Naar alle waarschijnlijkheid wordt hij ontslagen en zal hij nooit meer wetenschappelijk werk uitvoeren. Maar het is ook slecht nieuws voor heel wat andere wetenschappers. Das heeft zijn afgang natuurlijk zelf gezocht. Dat hij met pek en veren van de universiteit en uit de wetenschappelijke gemeenschap wordt verwijderd is zijn eigen schuld. Maar de tientallen onschuldige wetenschappers die samen met hem publiceerden, kunnen meteen ook een deel van hun publicatielijst naar de prullenmand verwijzen.

De honderden andere wetenschappers die in hun artikelen naar het werk van Das verwijzen boeten ook, al hebben ze met de fraude niets te maken. Onderzoek, en de weergave daarvan in wetenschappelijke artikelen, is steeds gebaseerd op ander, reeds gepubliceerd onderzoek. Dat het al gepubliceerd is, is erg belangrijk: het betekent dat het de ‘collegiale toetsing’ (‘peer review’) doorstond. Dat komt in essentie hierop neer. Stel dat je een studie uitvoert naar het mogelijke effect van agressieve computerspelletjes op het gedrag van tieners. Misschien worden diegenen die meer spelletjes spelen gewelddadiger, maar misschien ook niet. Het kan zijn dat er geen verband is, of dat het in de omgekeerde richting gaat: gewelddadige jongeren voelen zich meer geroepen om agressieve computerspelletjes te spelen. Het is niet zo moeilijk om hypothesen te bedenken, maar men moet ze ook kunnen testen. Hoe moet een onderzoeker daarbij te werk gaan? Welke methodes moet hij gebruiken? Hoe groot moet de groep zijn die hij bestudeert? Hoe moet zijn zogenaamde controlegroep eruitzien? Welke statistische analyses moet hij uitvoeren om betekenisvolle resultaten te bekomen? Er dient zich een hele reeks vragen aan waarmee de onderzoeker rekening moet houden. Als hij volgens de regels van de kunst zijn onderzoek zorgvuldig uitvoert en alles netjes neerpent, dan staat hij voor de volgende uitdaging: zijn artikel publiceren. Onderzoek dat niet gepubliceerd is, is in zekere zin waardeloos. Het heeft een soort zombiebestaan, maar meer ook niet. Om echt tot leven te komen, moet het in een vaktijdschrift zijn opgenomen. En hier speelt die collegiale toetsing een cruciale rol. Dat gaat als volgt. Onze onderzoeker stuurt zijn artikel over het effect van computerspelletjes op gewelddadig gedrag op naar een relevant, gespecialiseerd tijdschrift. Elke wetenschappelijke discipline, en er zijn er honderden, kent meerdere tijdschriften die uitsluitend artikelen publiceren die van belang zijn voor die specifieke discipline. Zo zijn er bijvoorbeeld zeer veel medische tijdschriften, waarvan een groot deel is gewijd aan kankeronderzoek. Meerdere van die tijdschriften zijn hypergespecialiseerd, en publiceren enkel artikelen over een specifieke vorm van kanker. Wie erin slaagt om in zo’n tijdschrift te publiceren, bewijst daarmee meteen dat hij een expert is binnen dit specifieke vakgebied.

Maar terug naar onze onderzoeker: hij stuurt zijn artikel over computerspelletjes en gedrag op naar een gespecialiseerd tijdschrift. Wat gebeurt er dan? De hoofdredacteur van het tijdschrift leest de bijgevoegde samenvatting (het abstract) van het artikel, misschien zelfs het volledige artikel als hij er tijd voor vindt. Het klinkt misschien merkwaardig dat hoofdredacteurs de aangeboden artikelen niet zelf lezen, maar sommigen krijgen er jaarlijks vele honderden toegestuurd. Hoe dan ook, de hoofdredacteur stuurt het artikel op naar enkele onderzoekers die zelf gespecialiseerd zijn in het soort onderzoek waarvan het artikel verslag doet. Dat is vanzelfsprekend: een artikel over een bepaald type leukemie wordt opgestuurd naar oncologen die gespecialiseerd zijn in dat type leukemie; een artikel over de opera’s van Monteverdi stuurt de hoofdredacteur van het musicologisch tijdschrift naar een aantal specialisten in zeventiende-eeuwse muziek, enzovoort. De hoofdredacteur doet dat evenwel niet zomaar. Hij zorgt ervoor dat de specialisten waar hij het artikel naar stuurt, de reviewers, de naam van de auteur van het artikel niet zien. Hij of zij blijft dus anoniem. De reviewers lezen het artikel, gaan na of alles methodologisch goed is uitgevoerd, of de bronnen kloppen, of alles logisch in elkaar zit, helder is uiteengezet, enzovoort, en sturen hun rapport erover naar de hoofdredacteur. De conclusies van hun rapporten houden een advies in naar de redacteur, en eventueel ook naar de auteur van het artikel. Zo kan men adviseren om het artikel niet te publiceren omdat het domweg geen interessante gegevens bevat. Het onderzoek kan best goed zijn uitgevoerd, maar het vindt het warm water niet uit, en is daarom niet belangrijk genoeg om te worden opgenomen in het tijdschrift. Een ander advies kan zijn om het artikel te weigeren, en dus niet op te nemen, omdat het onderzoek niet goed genoeg is: het rammelt methodologisch, de conclusies deugen niet, sommige belangrijke bronnen zijn niet geraadpleegd, enzovoort. Nog een ander advies kan luiden dat het artikel vatbaar is voor publicatie, maar dat de auteur het moet herwerken en opnieuw indienen. Slechts zelden is er unaniem advies om een artikel zonder meer te publiceren. De reviewers, zij die de collegiale toetsing uitvoeren, zijn over het algemeen streng. Ze moeten streng zijn, want hun verantwoordelijkheid is groot. Zij bepalen wat er wel en niet in tijdschriften terechtkomt, en eens een artikel is gepubliceerd, behoort het tot de algemene wetenschappelijke kennis, waarop anderen verder bouwen. Om alles zo eerlijk mogelijk te laten verlopen, bezorgt de hoofdredacteur de adviezen aan de auteur, maar eveneens anoniem. De reviewers weten dus niet wie het artikel schreef en de auteur weet niet wie het evalueerde.

Het is pas nadat het artikel van onze onderzoeker over computerspelletjes en gedrag anoniem is goedgekeurd door pakweg drie tot zes experts, dat het kan gepubliceerd worden. Een berichtje krijgen van de hoofdredacteur van het tijdschrift waarin hij je feliciteert met de beslissing van de redactie om, op basis van de reviews, het artikel op te nemen, behoort tot de grootste genoegens die een onderzoeker kan ervaren. Daar staat tegenover dat een negatief bericht, in het bijzonder als er geen kans meer op herwerken en opnieuw indienen is, bijzonder kan frustreren en demotiveren. Het onderzoek voor een artikel kan gemakkelijk een halfjaar tot een jaar duren. Het schrijven van het artikel neemt ook al snel enkele weken in beslag, en op het resultaat van de collegiale toetsing moet men soms meerdere maanden wachten. Een artikel dat aanvaard of geweigerd wordt, kan het verschil betekenen tussen het al dan niet verkrijgen van een beurs, van een verlenging van een contract of van een vaste aanstelling. Natuurlijk is er ook geld mee gemoeid: een studie die niet resulteert in een publicatie houdt in zekere mate verspilling van onderzoeksgeld in. Dit alles in acht genomen, is het niet zo verwonderlijk dat een kleine minderheid van onderzoekers bedrog pleegt. Dat houdt uiteraard geen goedkeuring in. Wie fraudeert in wetenschappelijk onderzoek hoort in Dantes achtste cirkel van de hel thuis.

Zoals ik al aanstipte: de onderzoekers die in hun eigen artikelen verwijzen naar een artikel van een bedrieger zoals Dipak Das raken ook besmet. Niet in hun persoon, want men weet dat zij onschuldig zijn, maar op zijn minst wordt de betrouwbaarheid van hun onderzoek aangetast. Wie zal hun teksten nog lezen en ernaar verwijzen? Ze zijn immers gebaseerd op frauduleuze gegevens. Een kok die zonder het te weten een bedorven ingrediënt gebruikt, kan zelf volkomen integer zijn, maar zijn gerechten verliezen onmiddellijk hun smaak zodra men weet dat er een slecht ingrediënt in zit, en zijn restaurant loopt leeg. Bovendien ontstaat onvermijdelijk ook een beeld bij het grote publiek dat wetenschap in het algemeen niet te vertrouwen is, aangezien wetenschappers knoeien met hun data of plagiaat plegen (wellicht de meest voorkomende vorm van bedrog). Zo zijn ook wielrenners die nooit doping nemen evenzeer het slachtoffer van een dopingzondaar. De onschuldige wordt mee in het bad getrokken van de zondaar.

Het is cruciaal dat een wetenschappelijk artikel wordt gepubliceerd, maar zelfs dan zijn de zorgen van de auteur nog niet voorbij. Echt gelukkig wordt men maar als het artikel ook wordt opgepikt door de wetenschappelijke gemeenschap van de eigen discipline. Andere onderzoekers moeten in hun werk gebruikmaken van je artikel; ze moeten ernaar verwijzen en eruit citeren, anders lijkt het alsof je werk allemaal voor niets was, ook al staat het in een tijdschrift. Daarom bevatten de dossiers van wetenschappers niet enkel een lijst met hun publicaties, maar ook gegevens over het belang van de tijdschriften waarin ze publiceren (de ‘impactfactor’) en over het aantal keren dat naar hun artikelen verwezen is door andere experts (de citation index). Zo kan één artikel dat is opgenomen in een toptijdschrift als Nature en waar gaandeweg tientallen keren naar verwezen werd in andere artikelen, veel belangrijker zijn dan twintig artikelen in obscure tijdschriften waar vrijwel niemand naar verwijst. Iets vergelijkbaars geldt overigens ook voor boeken. Een dik boek dat iemand in eigen beheer uitgeeft, is veel minder zwaarwegend dan een uitgave van een dun boek door een academische uitgeverij met een internationale uitstraling. Gereputeerde academische uitgeverijen werken ook met het anonieme systeem van collegiale toetsing. De experts lezen dan boeken in plaats van artikelen, maar het systeem is vergelijkbaar.

Het controlesysteem in de wetenschappen is overwegend streng. Toch zijn er fraudeurs, die erin slagen om meerdere artikelen te publiceren vóór ze ontmaskerd worden. Hoe kan dat? Er zijn diverse mogelijke redenen. Misschien doen sommige reviewers hun werk niet goed. Vrijwel iedereen heeft tijd tekort, en het anoniem evalueren van een anoniem artikel levert je niets rechtstreeks op. Ook is de anonimiteit niet steeds gegarandeerd. Sommige vakgebieden zijn zo sterk gespecialiseerd, dat er slechts weinig experts in staat zijn het werk van hun collega’s te beoordelen. Dat houdt het gevaar in dat de reviewers weten wie het artikel dat ze lezen schreef, en dat andere criteria dan de wetenschappelijke kwaliteit gaan meespelen bij de beoordeling. Misschien beslissen sommige hoofdredacteurs te snel om een artikel op te nemen, en moeten ze meer aandringen op het herwerken van de tekst, op bijkomend onderzoek, op meer data. Maar de voornaamste reden, vermoed ik, is de onmogelijkheid om alles in een artikel uitputtend te controleren. Het systeem van collegiale toetsing, zoals zoveel zaken in de menselijke omgang, gaat uit van de eerlijkheid van mensen. Men kan nagaan of een statistische analyse van de data goed is uitgevoerd, maar de juistheid van de data op zich controleren is heel wat lastiger. Om een eenvoudig voorbeeld te geven: als de fraudeur schrijft dat hij een enquête afnam bij honderd mensen, terwijl het er in werkelijkheid slechts vijftig waren, dan is het lastig om zoiets vast te stellen. Het is dan ook niet zo verwonderlijk dat sommige fraudegevallen, zoals vorig jaar de geruchtmakende zaak van de Nederlandse sociaalpsycholoog Diederik Stapel, aan het licht komen dankzij klokkenluiders. Insiders, zoals een assistent, een coauteur of een laborant krijgen in de smiezen dat er iets niet klopt en gaan zelf een en ander controleren. Het moet erg lastig zijn om vast te stellen dat bijvoorbeeld de promotor van je onderzoek, of het hoofd van het lab waar je werkt, fraudeert. Vaak zijn de klokkenluiders zelf ook slachtoffer. Zo zijn onderzoekers die onder leiding van Diederik Stapel aan hun doctoraat werkten moeten stoppen, omdat ze hun werk, zonder het te beseffen, baseerden op valse gegevens.

Hoe wijdverspreid is wetenschappelijke fraude? Het is onmogelijk om hierover met absolute zekerheid iets te zeggen, maar ik denk dat het al bij al wel meevalt, zoals ook blijkt uit een (beperkt) onderzoek in Nederland (NRC, 14/1/2012). Zoals gezegd, het systeem is wel degelijk streng. Dat Diederik Stapel en Dipak Das tegen de lamp liepen, geeft aan dat het moeilijk is om de fraude blijvend te maskeren. Natuurlijk is het niet omdat de controleurs een paar dopinggebruikers betrappen dat er dan niemand meer is in het hele peloton die nog doping gebruikt. Maar op de lange termijn is de pakkans in de wetenschap veel groter. Vroeg of laat botst men op een anomalie in een onderzoek dat op fraude berust, men merkt inconsistenties, ontdekt plagiaat, men slaagt er niet in om in een vergelijkbaar onderzoek tot dezelfde resultaten te komen, de onderzoeker in kwestie vindt smoezen uit wanneer men hem vragen stelt over details van zijn onderzoek, enzovoort.

Ondanks competitie, publicatiedruk, financiële belangen, werkzekerheid en eerzucht blijft het toch erg mysterieus dat sommigen bereid zijn om het risico te lopen. De pakkans is groot, de reputatieschade is onherstelbaar. Maar het allerbelangrijkste: de fraudeur weet natuurlijk dat hij fraude pleegt. Hij weet dat zijn onderzoek en zijn publicaties, al staan ze in toptijdschriften, al worden ze door tal van collega’s geciteerd en geroemd, in wezen waardeloos zijn. Welke vreugde of fierheid kan iemand voelen als hij weet dat het allemaal op een leugen berust? Hoe smaakt de ritoverwinning voor de dopingzondaar? Enkel een verregaande vorm van zelfbedrog kan hier voor een vreemde soort genoegdoening zorgen. (Tenzij iemand kickt op het succesvol frauderen op zich.) Sophocles zei dat hij verkoos om eervol te falen, in plaats van te winnen door bedrog. Het is een wijsheid die in veel domeinen van toepassing is, niet het minst in wetenschappelijk onderzoek.