vrijdag 26 oktober 2012

Vijf extra redenen waarom alle wetenschappelijke publicaties Open Access zouden moeten zijn

Als je er niet mee bezig bent komt de term maar af en toe eens naar boven: Open Access. Ontstaan vanuit de wetenschap en voor de wetenschap, maar met voordelen ver daarbuiten. Toch is er erg veel discussie over Open Access. Deze week was het Open Access week: goede reden dus om ons er eens wat in te verdiepen.  

Open Access komt kort gezegd neer op het voor iedereen gratis (online) beschikbaar maken van informatie en deze informatie ook vrij laten hergebruiken (geen strenge copyright dus). Ik weet dat er veel meer onder Open Access valt, maar ik zal me hier vooral richten op het Open Access delen van wetenschappelijke artikelen. Wetenschappelijke artikelen schrijven en verpreiden is de manier waarop wetenschappers de resultaten van hun onderzoek delen aan de rest van de wereld. Open Access betekent hier dus dat wetenschappelijke artikelen gratis te lezen zijn door iedereen  en dat de informatie in deze artikelen vrij verspreid en gekopiëerd mogen worden. Voorwaarde hiervoor is alleen dat je de bron (de wetenschappers die het geschreven hebben) van het artikel noemt (geen copyright, maar CC-BY licentie). Dit is erg mooi, maar niet de standaard.

Voor het grootste deel worden wetenschappelijke artikelen niet Open Access gedeeld, maar in wetenschappelijke tijdschriften gezet en daar vastgehouden door (meestal commerciële) uitgevers. Deze uitgevers vragen geld als je de artikelen wilt lezen en zorgen er met een copyright voor dat je deze artikelen alleen bij hen kunt krijgen. Probleem is dat de prijs van wetenschappelijke artikelen in de afgelopen 30 jaar met
ruim 250% harder is gegroeid dan de inflatie (ook wel de "serials crisis" genoemd). Voor het lezen van één wetenschappelijk artikel betaal je al gauw 30 euro en voor abonnementen op wetenschappelijke tijdschriften worden astronomische bedragen gevraagd.

Wetenschappers moeten deze artikelen toch lezen, dus wordt er 'gewoon' voor betaald, (vooral) met belastinggeld. Het onderzoek dat in zo'n artikel staat wordt echter ook (bijna altijd) betaald met belastinggeld. Bovendien worden de wetenschappers die het onderzoek hebben gedaan en het artikel hebben geschreven ook betaald met (voornamelijk) belastinggeld. Daar komt bij dat er elk jaar steeds minder geld is voor onderzoek en voor bibliotheken, terwijl commerciële uitgevers van wetenschappelijke tijdschriften elk jaar
recordwinsten maken. Erg krom dus. Precies dit kromme is het belangrijkste punt dat het meeste naar voren wordt gebracht in discussies over Open Access. Hiermee wordt er naar mijn mening geen recht gedaan aan de andere argumenten en voordelen die Open Access met zich mee brengt. Hieronder 5 extra redenen om volledig over te stappen naar Open Access.



1: Betere informatie op internet

De lage aanwezigheid van gratis toegankelijke wetenschappelijke informatie begint een steeds groter probleem te worden in online discussies. Met de snelle opkomst van de social media worden er steeds meer onderwerpen besproken op het internet. Hoewel zeker alle recente wetenschappelijke artikelen voor iedereen online toegankelijk zijn, wil niemand tientallen euro’s uitgeven om deze te lezen. In plaats daarvan wordt verder gezocht naar informatie die wel gratis is. Gratis informatie die niet gebaseerd is op wetenschappelijk onderzoek. Gratis informatie vol meningen en onwaarheden die niet gecontroleerd wordt (want dan kom je weer bij betaalde artikelen terecht) en die als feiten worden overgenomen. Omdat het internet niets vergeet, blijft de informatie van deze discussies lang hangen op het internet. Deze informatie wordt later in een soortgelijke discussie weer aangehaald. Zo krijg je dat dezelfde ‘foute’ informatie door verschillende bronnen wordt aangegeven en daardoor meer geloofwaardig lijkt. Op deze manier stapelt online de ‘foute’ informatie op en lijkt goede wetenschappelijke informatie afwezig te zijn. Deze ‘foute’ informatie kan in het ergste geval worden overgenomen in de gezondheidszorg of door politici in besluiten.

Een
recent voorbeeld hiervan is het ultrasone geluid dat zogenaamd muggen zou weren. Hoewel al sinds de jaren 70 meerdere keren wetenschappelijk is aangetoond dat muggen zich niets aantrekken van het ultrasone geluid, zijn deze artikelen niet gratis te lezen en vanwege copyright nooit op het internet terecht gekomen. Toevallig vond ik dit Open Access wetenschappelijk review dat een deel van deze onderzoeken samenvat. Ondanks dit overweldigende wetenschappelijke bewijs tegen, worden ultrasone apparaatjes ‘tegen muggen’ nog steeds verkocht. En tegenwoordig staat de Android market (Google Play) en de App store (Apple) ook vol met (betaalde) apps die je smart phone zogenaamd veranderen in een muggen-werend apparaat. Als mensen in malaria- of dengue-gebieden ook echt geloven dat ze hiermee veilig zijn, wordt het natuurlijk een gevaarlijke situatie waardoor mensen onnodig besmet raken.



Met wetenschappelijke artikelen Open Access kan iedereen op het internet bij juiste wetenschappelijk informatie in plaats van alleen bij gekopieerde meningen en halve waarheden.

2: 'Gratis' extra informatie: Text mining

Al sinds de 17e eeuw wisselen wetenschappers informatie uit door het schrijven en lezen van wetenschappelijke artikelen. Deze manier van communiceren heeft de wetenschap (en daarmee de wereld) enorm vooruit geholpen en doet dat nog steeds. Het probleem is dat tegenwoordig dagelijks enorm veel artikelen worden gepubliceerd en dit onmogelijk bij te lezen is. Toch staan deze artikelen vol informatie die erg belangrijk kunnen zijn.

Daarom is
‘text mining’ ontwikkeld. Text mining is een proces waar uit een enorme berg tekst (zoals alle wetenschappelijke artikelen over een onderwerp) door een computer bijvoorbeeld naar nieuwe verbanden wordt gezocht met behulp van een mix van taalkunde, kunstmatige intelligentie en statististiek. Hierdoor kunnen bijvoorbeeld aanwijzingen voor nieuwe medicijnen worden gevonden die onmogelijk gevonden zouden worden door het gewoon lezen van artikelen. Eigenlijk wordt er dus op een geautomatiseerde manier nieuwe informatie gemaakt uit al bestaande informatie, zonder dus nieuwe en dure experimenten te moeten uitvoeren. Ook in andere vakgebieden dan biomedisch onderzoek zijn er enorme mogelijkheden.

Er is alleen een probleem met deze techniek:
het is verboden voor artikelen die niet Open Access zijn (vanwege de copyright). Hierdoor is text mining beperkt tot het kleine percentage artikelen dat nu Open Access wordt aangeboden. Je kunt wel toestemming vragen aan de uitgevers om de niet-Open Access artikelen te mogen gebruiken voor text mining, maar dat vraagt om onderhandelingen en contracten opstellen met elk van deze uitgevers. Daardoor wordt text mining alsnog tijdrovend en duur. We laten hier dus een enorme mogelijkheid laten liggen.



Nieuwe informatie halen uit oude informatie! Het is mogelijk, maar alleen met Open Access.
 

3: Gezonde marktwerking op publiceren

Je kunt je afvragen of het überhaubt wel zou mogen om winst te maken op wetenschappelijke publiceren, terwijl het onderzoek voor deze artikelen vooral betaald wordt met belastinggeld. Buiten dat is met het huidige publicatiesysteem het een groot probleem dat er eigenlijk geen marktwerking is. Elk wetenschappelijk artikel is uniek en is daarom van 'onschatbare' waarde. Informatie in een artikel is alleen in dat artikel te lezen: er wordt hooguit kort verwezen naar die informatie in andere artikelen of op een website (vanwege de copyright). Maar zo'n korte verwijzing is niet genoeg om zelf de informatie te beoordelen en te gebruiken. Iemand (zoals een wetenschapper) die geïnteresseerd is in die informatie moet het originele artikel dus lezen. Door simpel te kijken naar vraag en aanbod, maakt dit een wetenschappelijk artikel dus erg duur: het aanbod is de informatie in één uniek artikel, de vraag is zo groot als alle geïnteresseerden in die informatie. Vandaar dat er zulke astronomische bedragen gevraagd kunnen worden voor abonnementen op wetenschappelijke tijdschriften.

Hoe zal Open Access dat kunnen veranderen? Door het gratis aanbieden van de wetenschappelijke artikelen (en het beperken van de copyright) vang je al meteen weg dat je betaald voor een uniek artikel. Bij publiceren in
Open Access tijdschriften (ook wel de "gouden weg naar Open Access" genoemd) zou je als schrijver van het artikel moeten betalen om het artikel te laten publiceren ("Article Processing Charges/Fee". De kosten variëren van nauwelijks 10 tot ruim 4000 euro per artikel, maar het ligt meestal tussen de 1000 en 2000 euro. Hiervoor worden dus ook hoge bedragen gevraagd: als wetenschapper is je carrière immers afhankelijk van publiceren (je publicaties zijn je CV), maar hier is veel meer marktwerking. Een hoog aangeschreven tijdschrift heeft een hoge 'impact' (bereikt dus meer mensen) en is daardoor voor een wetenschapper erg goed voor je CV. Maar als je daarvoor 4000 euro moet betalen, zal je je als wetenschapper kunnen gaan afvragen of je dat geld niet beter kunt besteden aan nieuwe onderzoeken. Je kunt dan dus kiezen voor een goedkoper alternatief: het aanbod uitgevers is namelijk erg groot. Juist dat kunnen kiezen voor een goedkoper alternatief zorgt voor een gezonde marktwerking met een balans in vraag en aanbod. Die balans is afwezig bij het huidige publicatiesysteem waar geen goedkoper alternatief bestaat voor het unieke artikel waar je voor betaald. Dat maakt het huidige abonnementensysteem dus een ongezond en onbetaalbaar systeem.



Open Access vervangt de monopolie op wetenschappelijk artikelen met een gezonde marktwerking.

4: Voordelig voor economie en maatschappij

Onderzoeken naar de kosten van Open Access voorspellen dat het de meest kosteneffectieve manier van publiceren is en dat het in Nederland goedkoper zal zijn dan het huidige abonnementensysteem. Hoewel het internationaal nog onduidelijk is of Open Access publiceren uiteindelijk ook goedkoper zal zijn, zijn er duidelijk indirecte economische voordelen van Open Access publiceren.

Uit onderzoeken in onder andere
Denemarken en het Verenigd Koninkrijk blijkt dat Open Access vooral een enorm economisch voordeel kan leveren voor Midden- en Kleinbedrijven. Omdat zulke bedrijven een belangrijk deel uitmaken van de economie van een land, zal Open Access dus ook een groot voordeel leveren voor de nationale economie.

Daarnaast kan openbare informatie zorgen voor het opstarten van nieuwe bedrijven en daarmee banen creëren. Een extreem voorbeeld dat hier wel eens voor gegeven wordt is het
Menselijk Genoom Project (HGP). Dit project heeft het volledige DNA van de mens in kaart gebracht voor medisch onderzoek en dit vervolgens Open Access aangeboden. Door die gratis informatie zijn nieuwe bedrijven ontstaan (zoals in de biotechnologie) en vooruitgangen geboekt in zelfs verdere vakgebieden als landbouw, duurzame energie en forensisch onderzoek. Het heeft daardoor economisch al ruim 200 keer (!) zoveel opgeleverd dan het gekost heeft. Ik ben ervan overtuigd dat wanneer het Menselijk Genoom Project niet Open Access was aangeboden, deze verdere vakgebieden de informatie waarschijnlijk nooit gekocht zouden hebben, omdat het niet direct relevant zou zijn voor ze. En de bedrijven zouden nooit opgestart zijn omdat ze deze informatie nooit bekeken zouden hebben of dit te duur zou zijn geweest om in te kopen. Dit soort Open Access pojecten zijn helaas nog de uitzondering: we lopen dus ook een hoop nieuwe banen mis. Misschien ook niet onbelangrijk: de Europese Commissie heeft nog geen bewijzen gevonden dat er banen verloren zullen gaan bij de uitgevers als er overgeschakeld wordt naar Open Access. Dus dat moet het probleem niet zijn.

Ook in de publieke sector blijkt Open Access grote voordelen te hebben, zoals
vrijwilligersorganisaties en liefdadigheidsinstellingen, maar zeker ook het onderwijs. De kwaliteit van onderwijs is namelijk afhankelijk van de toegang tot informatie. Docenten kunnen alleen lesgeven met de informatie waar ze zelf bij kunnen. Zeker op hogescholen en universiteiten is dit erg belangrijk en je ziet ook dat deze instellingen een enorm deel van hun budget uitgeven aan abonnementen op wetenschappelijke tijdschriften: ze hebben geen keuze. Armere universiteiten en hogescholen moeten vaak de keuze maken om te besparen op abonnementen, maar daarmee ook op de kwaliteit van hun onderwijs. Bij een volledig Open Access publicatiesysteem kunnen alle docenten bij alle informatie en wordt onderwijs goedkoper: goed voor de kenniseconomie dus.

Bovendien kwam in
een onderzoek naar voren dat doordat artikelen niet vrij toegankelijk waren, informatie te laat kwam voor besluit- en beleidsvorming of zelfs nooit gebruikt werd. Daardoor zouden bedrijven beslissingen moeten maken met te weinig informatie, terwijl die informatie wel bestaat. Dat kan erg duur uitpakken. Maar het zelfde geldt natuurlijk voor acute beslissingen die door politici gemaakt moeten worden, of door epidemiologen over volksgezondheid. In dat geval wordt het gevaarlijk en raakt zoiets het hele land.



De voordelen van Open Access publiceren gaan verder dan alleen de wetenschap: ook economie, onderwijs en beleidsmakers zullen ervan profiteren. Goed nieuws voor de hele maatschappij dus!

5: Essentieel voor ontwikkelingslanden

Niet alleen in het ‘Westen’ is Open Access een goed idee voor wetenschappers, bedrijfsleven en samenleving, maar zeker ook in ontwikkelingslanden. Zelfs voor universiteiten en instituten in deze landen is vrijwel alle wetenschappelijke literatuur onbetaalbaar, tenzij deze literatuur natuurlijk Open Access is. Deze afwezigheid van informatie heeft grote nadelige gevolgen voor de kwaliteit van gezonheidszorg, onderwijs en economische groei. En als zelfs de meest basale en essentiele informatie niet toegankelijk is, kun je nooit verwachten dat in deze ontwikkelingslanden ooit onderzoek gedaan kan worden van hoge kwaliteit. Dat terwijl lokaal onderzoek van kwaliteit cruciaal is voor de ontwikkeling van het land en de regio.

Dit is een belangrijk punt wat maar in weinig discussies over Open Access naar voren komt. Om die reden organiseerde UNESCO vorig jaar een bijeenkomst om dit te bespreken (zie hier de conclusies:
“A Global Perspective on Open Access”). Sinds dit rapport is het enige wat ik online gezien heb over dit onderwerp het symposium “Participation in Research: Open Access Crucial for Scientists in the Global South” waar ik deze week bij was. Voor mijn gevoel heeft Open Access als ontwikkelingsdoel dus nog steeds te weinig aandacht gekregen en ik denk dat het tijd wordt om ontwikkelingslanden meer te betrekken in de discussies hierover. Wij zullen namelijk profiteren van Open Access, maar zij nog veel meer.



Een eerlijke verdeling van kennis door het vrij te verspreiden en te laten gebruiken. Open Access heeft wereldwijde voordelen: zeker in ontwikkelingslanden.

Wat houdt ons tegen?

Ok, voldoende redenen dus om naar Open Access over te stappen. Waarom doen we het dan nog niet allemaal? Een argument dat vaak wordt aangevoerd door de (commerciële) uitgevers is dat de kwaliteit niet gewaarborgd zou kunnen worden in een Open Access systeem en dat dat wetenschappers ‘terecht’ tegenhoudt. Dit is een non-argument, want publicaties die Open Access worden aangeboden gaan door dezelfde kwaliteitscontrole als bij hun abonnementensysteem. De meeste wetenschappers weten dat, dus dat kan nooit de echte reden zijn. Volgens mij moeten we het meer zoeken in de manier waarop wetenschappers beoordeeld worden.

Diegenen die het meeste invloed hebben op het overstappen naar Open Access zijn namelijk de wetenschappers. Zij kunnen immers kiezen om hun artikelen uit te laten geven in een tijdschrift dat abonnementsgeld vraagt of om het Open Access aan te laten bieden. In het laatste geval kun je zelfs denken dat een wetenschapper het artikel net zo goed op een website of blog zet. In principe klopt dat, maar een wetenschapper staat onder grote druk om dat niet te doen. Zoals eerder gezegd, hangt de carrière van een wetenschapper af van zijn/haar publicaties. Met goede publicaties heb je namelijk een grotere kans om geld te krijgen voor verder onderzoek. Fondsen en investeerders kijken namelijk naar het 'publicatie-CV' van de wetenschapper die een nieuw projectvoorstel doet. Maar ook bij het bepalen of je een nieuwe baan krijgt of hoogleraar kan worden is je 'publicatie-CV' een van de belangrijkste beoordelingspunten. Er wordt gekeken of er voldoende publicaties gedaan zijn in de afgelopen tijd, maar zeker ook hoe hoog de
'impact' van die publicaties waren. Helaas wordt dan niet gekeken naar de echte impact (dus belang, relevantie en bereik) van de artikelen, maar naar het aanzien van het tijdschrift waar de artikelen in gepubliceerd zijn. Dat deze 'impact' verkeerd gebruikt wordt is al jaren bekend, maar wordt nog steeds op grote schaal gedaan.

Wat het probleem hiervan is voor Open Access, is dat veel tijdschriften die Open Access zijn nog vrij jong zijn. Een nieuw tijdschrift begint natuurlijk met een impact factor van nul. Om die reden zijn wetenschappers terughoudend met het publiceren in deze nieuwe tijdschriften, want de impact van het tijdschrift is nog erg laag en dat werkt niet echt mee voor je carrière. Daarom komen er ook maar weinig artikelen met hoge impact in deze Open Access tijdschriften en blijft de impact van deze tijdschriften erg laag. Je ziet wel dat de impact factor van Open Access tijdschriften stijgt, maar dit gaat nog erg langzaam.

De oplossing?

Het probleem is duidelijk: nu de oplossing. Het is moeilijk om de druk op wetenschappers, om met zo hoog mogelijke impact te publiceren weg te halen (en waarschijnlijk ook niet helemaal wenselijk). Een oplossing zou kunnen zijn dat fondsen, investeerders en sollicitatiecommissies (van onderzoeksinstituten en universiteiten) in hun beleid opnemen dat wetenschappers een impact-‘bonus’ krijgen voor elk artikel dat Open Access wordt aangeboden. Of uiteindelijk zelfs dat ze alleen Open Access artikelen in beschouwing nemen. Maar ik denk dat dit een idee is voor de langere termijn. Deze fondsen, investeerders en sollicitatiecommissies zullen in eerste instantie toch blijven kiezen voor de meest 'impact-volle' kandidaat volgens het traditionele systeem, want dat is een manier om moeilijke keuzes te versimpelen met een meetbaar en 'objectief' getal. Door dit systeem hebben echter wel de uitgevers de macht: uitgevers die vaak dus commerciële bedrijven zijn en dus winst (en niet ‘onderzoek verder helpen’) als prioriteit hebben.

Wat direct zou kunnen helpen is wetenschappers verplichten om Open Access te publiceren. Op die manier heeft een wetenschapper geen keuze en worden ze dus ook niet afgerekend op de (nog) lagere impact van de Open Access tijdschriften waarin ze gepubliceerd hebben. Op hetzelfde moment krijgen de belangrijkste Open Access tijdschriften meer hoge impact artikelen en zal zo hun eigen impact factor stijgen. Zo kunnen de fondsen, investeerders en sollicitatiecommissies ‘gewoon’ verder kunnen gaan met het verkeerd gebruiken van de impact factor, maar dan is alles wel gratis toegankelijk en vrij te hergebruiken. Om dit voor elkaar te krijgen moeten overheden en fondsen in hun beleid opnemen dat de resultaten van al het onderzoek dat met hun geld betaald is Open Access moet worden aangeboden.

Dit is door het Verenigd Koninkrijk
recent gedaan en enkele fondsen (zoals de European Research Council, World Bank en NIH) hebben al zo'n beleid, maar deze worden nog niet hard nageleefd. Het wordt dus tijd dat meer landen en fondsen dit voorbeeld volgen en bovendien hun beleid strikter gaan handhaven. De Europese Commissie heeft al uitgesproken deze richting in te willen gaan in de toekomst. Nu zorgen dat dat doorgezet wordt.

6 opmerkingen:

  1. Mooi overzicht van de stand van zaken over OpenAccess. Vooral erg plezierig dat de blog is geschreven vanuit het perspectief van een wetenschapper.
    Eén opmerking: de kosten voor de auteur om een artikel gepubliceerd te krijgen lijken misschien hoog, maar niet als je ze in perspectief van de totale onderzoekskosten plaats. Als fondsverstrekkers (NWO, KNAW, FP7, ERC) een verplichting opnemen om in OA te publiceren, dan kan binnen de subsidie ook een post worden opgenomen om een aantal plaatsingen te vergoeden.

    BeantwoordenVerwijderen
    Reacties
    1. Michel, bedankt voor je comment!

      Wat betreft je opmerking: je hebt helemaal gelijk. Die 1000-4000 euro is inderdaad relatief weinig gezien de kosten van het hele onderzoek. Toch kun je van dat geld wel wat experimentjes doen. In mijn geval scheelt het een collectant voor kankeronderzoek bovendien flink wat huizen om aan te bellen.

      Als fondsenverstrekkers het inderdaad gaan verplichten en vergoeden, zou dat een geweldige boost zijn voor Open Access en daarmee de wetenschap als geheel. Hier moet alleen wel opgepast worden dat de marktwerking niet alsnog weg valt omdat de kosten voor publiceren hoe dan ook betaald worden, ongeacht hoe hoog die kosten zijn. Hoe zie jij dat?

      En voor onderzoekers in ontwikkelingslanden is het natuurlijk nog steeds een hele hoop geld. De kosten moeten dus of echt naar beneden, of er moet een andere oplossing komen voor ontwikkelingslanden. Anders wordt het voor hen onmogelijk om hun onderzoeken te publiceren. Kennis uit wetenschappelijk onderzoek dat gedaan is in ontwikkelingslanden is vooral essentieel voor andere ontwikkelingslanden in de wereld, dus dat moet goedkoop (liefst gratis) gedeeld kunnen worden.

      Verwijderen
    2. Gerjon,
      Wat betreft je opmerking dat de "marktwerking" wel in stand zou moeten worden gehouden: daarmee is de hele serials crisis natuurlijk eigenlijk begonnen. Wetenschappelijke tijdschriften zijn monopolisten: een wetenschapper wil graag / is verplicht in het meest vooraanstaande tijdschrift (te) publiceren en tegelijk verschijnt iedere artikel slechts in één tijdschrift waardoor bibliotheken en onderzoeksinstellingen verplicht zijn zich op heel veel tijdschriften te abonneren en niet of nauwelijks de mogelijkheid hebben om een abonnement te stoppen. Uitgevers kunnen zodoende de prijzen zonder problemen laten stijgen. Dat hadden ze in de 90er jaren door en lieten dat dus niet achterwege.

      Idealiter zou de wetenschapper helemaal "in control" moeten zijn. Een goed initiatief vind ik in deze: http://f1000research.com/ Opgezet vanuit wetenschappers die het hele publicatieproces, inclusief de peer review in eigen beheer hebben genomen. Het is open zowel wat betreft de toegang als het review proces.

      Wat betreft je opmerking over onderzoekers in ontwikkelingslanden: helemaal eens. Uitgevers zouden voor hen een strategie kunnen volgen die ook wel voor abonnementen geldt: differentiatie van tarief op basis van bijvoorbeeld de UNDP ranking http://hdrstats.undp.org/en/indicators/20206.html
      waarbij de armste landen uiteraard gratis zouden moeten zijn.

      Verwijderen
    3. Bedankt voor deze nuttige bijdragen, Michel. Zeker dat F1000Research is erg interessant: had ik zelf nog nooit van gehoord. Inderdaad een geweldig initiatief: jammer dat het nog niet erg bekend/populair is onder de wetenschappers. Mogelijk heeft dat ermee te maken dat ze nog geen hoge impact-factor hebben? Ik hoop dat dit soort initiatieven beter van de grond gaan komen! ik ben in ieder geval erg geïnteresseerd als wetenschapper!

      Verwijderen
  2. Bedankt voor de tip! Inderdaad een interessant artikel die ook een aantal problemen aankaart die ik hierboven beschrijf (en in het stuk over wetenschappelijke fraude).
    De Correspondent heeft trouwens ook een goed stuk over
    de problemen met universiteits rankings: ook een aanrader!

    BeantwoordenVerwijderen