Dat iets gepubliceerd staat in een wetenschappelijk tijdschrift betekent niet zonder meer dat het volledig betrouwbaar is. Verkeerde aannames of bevooroordeelde onderzoeksmethoden zijn altijd een risico in de wetenschap, maar ook onbewuste rekenfoutjes en opzettelijke fraude komen helaas voor. Zelfs gerenommeerde wetenschappelijke tijdschriften zijn zeker niet altijd veilig, omdat hun focus vaak meer ligt bij de nieuwswaarde en originaliteit van een onderzoek dan bij de wetenschappelijke zorgvuldigheid.
Voor een wetenschapper vallen overal sceptisch naar kijken en alles in twijfel trekken onder de belangrijkste functie-eisen, maar dat niet echt een optie als je op zoek bent naar antwoorden. Aan de andere kant: hoewel wetenschappelijk artikelen onder de meest betrouwbare bronnen vallen, is blind vertrouwen duidelijk ook geen goede aanpak. Daarom in dit stuk wat praktische tips om de literatuur zelf kritisch te kunnen lezen.
Dit artikel is vooral geschreven voor de medische professional. Mocht je echt helemaal vanaf nul beginnen, lees dat deze veel uitgebreidere handleiding: Hoe vind en lees je een wetenschappelijk artikel?
De minimale eisen
Een artikel wordt over het algemeen meer betrouwbaar door peer-review: het artikel is dan namelijk kritisch nagekeken is door onafhankelijke vakexperts. Wetenschappelijke zoekmachines als PubMed of Google Scholar geven in principe alleen zoekresultaten van tijdschriften die aan peer-review doen. Vooraanstaande bladen hebben echter ook artikelrubrieken die niet peer-reviewed zijn, zoals 'editorials'.Daarnaast moet het onderzoek onafhankelijk en zonder belangenverstrengeling zijn uitgevoerd. In principe kun je altijd terugvinden in het artikel wie de auteurs zijn, waar ze werkzaam zijn, wie het onderzoek gefinancierd heeft en of er mogelijk sprake is van belangenverstrengeling. Dat er geen belangenverstrengeling wordt gemeld, betekent overigens niet dat dit echt zo is. Hier staat namelijk gewoon wat de auteurs zelf hebben opgegeven en belangenverstrengeling kan dus ook verzwegen worden door de auteurs. Dat blijkt ook wel uit het recente onderzoek naar verzwegen commerciële belangen van de hoogleraar achter het Diassay bevolkingsonderzoek naar baarmoederhalskanker. Daarom is het altijd goed om zelf even te controleren of een wetenschappelijk onderzoek betaald of uitgevoerd is door een bedrijf, organisatie of onderzoeker die bepaalde belangen heeft in de resultaten van het onderzoek. Zelfs een korte internetzoektocht, een LinkedIn profiel of profielpagina op de universiteitswebsite kan al erg veel vertellen.
Een ander belangrijk punt is dat de conclusies moeten worden ondersteund door andere onafhankelijke peer reviewed artikelen. “Eén resultaat is geen resultaat” is een gevleugelde uitspraak in de wetenschap. Een (goede) wetenschapper zal zijn mening dan ook nooit baseren op één enkel artikel en dat zou niemand moeten doen. Als een andere, onafhankelijke onderzoeksgroep in een onderzoek tot soortgelijke resultaten gekomen is, geeft dat al meteen veel meer zekerheid in de betrouwbaarheid van de conclusies. Je kunt simpelweg zelf verder zoeken naar andere artikelen en het kijken bij de referenties in het artikel zelf. Bij PubMed kun je bovendien op een eenvoudige manier nieuwere artikelen vinden die naar het artikel dat je open hebt hebben verwezen en vergelijkbare artikelen vinden. Een (systematisch) review artikel is in dit opzicht het meest waardevol: het geeft een goed overzicht van de dan beschikbare literatuur, waar de auteurs bovendien al een kritische analyse over hebben gedaan.
Online hulpmiddelen
Zelfs als een artikel aan deze eisen voldoet, kun je er nog steeds niet blind op vertrouwen. Peer-review is bijvoorbeeld niet geschikt om fraude te herkennen en als een auteur echt zijn belangenverstrengeling wil verbergen lukt dat wel. Gelukkig wordt de wetenschap steeds actiever op het internet en zijn er sinds kort een aantal online hulpmiddelen die erg kunnen helpen in het kritisch lezen van onderzoeksartikelen. Hoewel veel van deze hulpmiddelen nog in de kinderschoenen staan, worden ze steeds uitgebreider en completer.Zo zijn er websites die doen aan 'post-publication peer-review', zoals PubPeer en verschillende "Journal Clubs" (waaronder een van Wikipedia). Hierop worden artikelen die al zijn gepubliceerd publiekelijk door andere wetenschappers kritisch beoordeeld en worden dus openbaar mogelijke twijfels en bedenkingen geuit. Ook op academische social media websites als ResearchGate wordt de literatuur kritisch besproken. Bovendien kun je hier vragen stellen aan experts en kun je vaak gratis toegang krijgen tot wetenschappelijke artikelen die je anders alleen tegen betaling op kunt vragen.
Er zijn ook tijdschriften die claimen peer-reviewed te zijn, maar dat in werkelijkheid niet of nauwelijks doen om snel geld te verdienen. Als deze onbetrouwbare ‘predatory’ tijdschriften bekend of verdacht zijn, worden ze genoemd op de zogenaamde Beall's List. Het is ook nuttig de website Retraction Watch te bekijken: hier worden titels, auteurs en onderzoeksgroepen genoemd van artikelen die zijn teruggetrokken vanwege ernstige fouten of fraude.
Toegankelijkheid
Helaas is een groot deel van de wetenschappelijke artikelen niet voor iedereen vrij toegankelijk (Open Access) en moet je betalen om deze te kunnen lezen. Ook al kun je het hele artikel niet gratis openen, gebruik nooit alleen de titel en samenvatting ('abstract') om conclusies te trekken en je mening op te baseren. Hierin wordt namelijk vrijwel nooit geschreven wat de beperkingen zijn van het onderzoek en staat nooit genoeg detail om te bepalen hoe sterk de resultaten zijn. Ook als je geen wetenschapper bent, kun je met gezond verstand goed zelf beoordelen of de experimenten en resultaten in het artikel wel echt een antwoord geven op de vraag die gesteld wordt. Zijn er bijvoorbeeld niet te veel aannames gedaan die misschien niet helemaal kloppen met de realiteit? Probeer daarom dus altijd het hele artikel te krijgen, bijvoorbeeld via een universitair netwerk, Open Access repository, ResearchGate of via de auteur van het artikel.Veroudering
Houd ook rekening met de leeftijd van een artikel. Hoewel artikelen zelf niet zullen veranderen, is de wetenschap eromheen voortdurend in beweging. Bovendien geeft de wetenschap nooit definitief bewijs, in tegenstelling tot wat veel gedacht wordt; er is altijd onzekerheid. Dit is de reden dat artikelen elkaar compleet kunnen tegenspreken. Over het algemeen genomen kun je dan beter van de recentere artikelen uitgaan, waarin vaak de oudere artikelen ook worden besproken. Maar wat is "recent"? Zeker in de medische wereld kan de literatuur snel verouderen door nieuwe ontwikkelingen en inzichten. Uit een onderzoek is gebleken dat systematische reviews gemiddeld al na 5-6 jaar hun waarde verliezen. Belangrijker nog: bijna een tiende is al verouderd op het moment van publiceren en ongeveer een kwart moet nodig worden geactualiseerd na 2 jaar.Correlaties en statistiek
Het is belangrijk om in de gaten te houden of een artikel een correlatief of causaal effect beschrijft. Correlatieve studies (waaronder ook observationeel onderzoek en patiëntenseries) geven namelijk alleen aan dat iets een effect op iets anders lijkt te hebben, gebaseerd op statistiek. Hoe goed en sterk de statistische verbanden (correlaties) er ook uit zien; ze hoeven in realiteit niets te betekenen.Zoals je hier kunt lezen, accepteren we in de medische wetenschap een kans van ten hoogste 5% dat een gevonden effect niet komt door de behandeling, maar door puur toeval. Dat betekent dus ook dat wanneer je 100 tests uitvoert, er 5 zullen zijn waar toevallig een effect lijkt te zijn. Wetenschappelijke tijdschriften publiceren echter veel liever onderzoeken waar een positief effect wordt beschreven dan waarin een behandeling geen effect heeft ('publicatiebias'). De kans is dus groot dat elk van die 5 'vals-positieve' tests wordt gepubliceerd, terwijl vrijwel geen van de 95 echt negatieve test in de literatuur zal komen. De literatuur geeft daarom dus een sterk vertekend beeld van de realiteit, wat wel iets is om in je achterhoofd te houden.
Hoewel dat bij causaal onderzoek (zoals RCT: Randomized Controlled Trial) ook zo is, is het daarin veel moeilijker om toevallig een effect te vinden. Bij causaal onderzoek veroorzaak je namelijk als onderzoeker zelf de verschillen door patiënten over een testgroep en controlegroep te verdelen. Vervolgens bekijk je alleen het verschil in uitkomst tussen die groepen, wat je veel meer controle geeft over het uitsluiten van toevalligheid. In elk geval is het goed om te bedenken dat als iets statistisch significant is, dat niet meteen betekent dat het ook (medisch) relevant is. Oftewel: kijk kritisch naar wat het onderzoeksresultaat zal betekenen voor de patiënt, ook al ziet de statistiek er heel overtuigend uit.
Geen opmerkingen:
Een reactie posten