De A1-cultuur

Vlaanderen wil internationaal kunnen meespelen, en dat heeft zijn gevolgen. Weg is de tijd dat iemand professor kon worden door handig te netwerken of op basis van één of twee goede onderzoeksartikels. Kwaliteitsmaten zijn al wat de klok slaat in de “outputfinanciering” van minister Vandenbroucke. “Output” betekent dan publicaties in gerenommeerde wetenschappelijke tijdschriften: de zogenaamde “A1”-artikels. De categorisering is gebaseerd op informatie van Thomson Scientific (nota bene een commercieel bedrijf) in de vorm van het online raadpleegbare Web of Science. De belangrijkste informatie die ze bezorgen is de citation index: door te kijken wie vaak wordt geciteerd en in welke tijdschriften, kan je zien wie belangrijke onderzoekers zijn en wie daarentegen nog veel te bewijzen heeft.

Volgens de plannen die op tafel liggen wordt die maatstaf enkel gehanteerd om de verschillende universiteiten geld bij te geven of af te nemen, niet om individuele onderzoekers en professoren te beoordelen. Het kon evenwel niet uitblijven dat de universiteiten zelf de druk op hun vorsers opvoeren om meer en beter te publiceren, en intern ook financiering laten afhangen van de onderzoeksoutput.

De invoer van deze kwantitatieve maat brengt een aantal voordelen met zich mee. Het stimuleert onderzoekers om internationaal mee te spelen eerder dan in de eigen beperkte kring te publiceren en in principe selecteert het systeem zuiver op merite: wie het beter doet, krijgt meer. Bovendien is de maat minder hersenloos dan ze lijkt: het is weliswaar een eenvoudig tellen van publicaties, maar om in een gerenommeerd tijdschrift te raken moet elk artikel een strenge peer review doorlopen. De tijdschriften op hun beurt worden ook nauwlettend geëvalueerd voor ze ‘gelabeld’ worden. Achter de nummers schuilt dus een sterke kwaliteitsanalyse.

Miserie, miserie

Wat Pruisische wijsgeren ook mogen beweren, tussen theorie en praktijk durft al eens een kloof te zitten. Om te beginnen zijn er eenvoudige manieren om het systeem om de tuin te leiden. Bevriende onderzoekers kunnen elkaar onaflatend citeren en de lucht in prijzen, om zo hun “belang” kunstmatig de hoogte in te duwen. Maar zelfs zonder kwade wil kan een en ander foutlopen. Professor Johan Braeckman zegt op zijn blog dat “een artikel vaak geciteerd kan worden, niet omdat het goed is, maar omdat het een blunder bevat”.

De grootste kritieken zijn echter fundamenteler van aard. Onderzoekers worden onder druk gezet om sneller en meer artikels te publiceren. Behalve een stijgende werkdruk heeft dat als gevolg dat onderzoekers — fysici tot filologen — vaker kiezen voor onderzoek dat snel publiceerbaar is. “Soms splitst men artikels op of kiest men voor minder risicovolle onderwerpen.” zegt professor Ignace Lemahieu (directeur onderzoeksaangelegenheden aan de UGent), die daaraan wel toevoegt dat de universiteit ook kredieten verstrekt voor langetermijnonderzoek. Professor Philip Van Loocke is niet overtuigd. “Voor vernieuwend fundamenteel onderzoek is het tweejaarlijkse venster waarmee men evalueert in ieder geval te beperkt.” Bovendien ontmoedigt “publicatie-tellerij” onderzoek dat meer algemeen-beschouwend is of van belang voor het maatschappelijke debat — pakweg een opinie schrijven in een krant telt immers niet mee.

Het is ook niet zonder gevaren om interuniversitaire prestatiematen toe te passen op individuele onderzoekers. Lemahieu waarschuwt dat hoe kleiner de schaal van de evaluatie is, hoe voorzichtiger de conclusies moeten zijn. “Voor benoemingen tot professor en ook bij de evaluatie van projectaanvragen is het onzin om het palmares van een onderzoeker te reduceren tot zijn of haar publicaties. Maar het kan inderdaad verleidelijk zijn.”

Studenten vrezen dat het onderwijs lijdt onder deze onderzoeksmanie. Professoren en assistenten klagen over tijdsdruk, en het uitwerken van syllabi en voorbereiden van colleges zijn de eerste offers. Onderwijs verstrekken is immers tijdrovend, zonder dat er veel tegenover staat als goed docent. Allemaal tijd die men verliest, en die prestigieuze artikels schrijven zichzelf niet. De felste criticus vinden we in professor rechtsgeschiedenis Dirk Heirbaut. “Onderwijs is misschien niet zo prestigieus, maar het is wel de reden dat belastingbetalers niet protesteren dat er zo’n grote sommen geld naar de universiteiten vloeien. Nochtans gaat steeds meer geld naar onderzoek, en richtingen met veel studenten maar weinig professoren, zoals de rechten, zijn daarvan de dupe. Goede onderzoekers kunnen zeker en vast ook goede lesgevers zijn, maar je mag er echt niet van uitgaan dat dat de facto altijd zo is.”

Ook Lemahieu ziet problemen voor het onderwijs. “Het zou niet mogen, natuurlijk. De kern van het probleem is evenwel dat het tertiaire onderwijs in Vlaanderen ondergefinancierd wordt, met als gevolg dat onze bestaffing eigenlijk te laag is.” Met andere woorden: al de aandacht die naar onderzoek gaat hoeft helemaal geen probleem te zijn voor het onderwijs, maar met de huidige gelden is het moeilijk roeien.

Letteren en Rechten ontevreden

Het meeste gezeur over de groeiende A1-cultuur horen we aan de faculteit Rechtsgeleerdheid en aan de Letteren & Wijsbegeerte. Zij zijn immers niet goed vertegenwoordigd in de publicatielijsten die men bij de evaluaties raadpleegt, en bovendien worden boeken niet meegerekend in die lijsten, terwijl dat voor humane wetenschappers vaak de meest prestigieuze publicaties zijn. “Die lijst dekt niet alle vakgebieden van de Arts and Humanities en als ze vertegenwoordigd zijn, is dat heel onvolledig. Bovendien komen de boeken hier slechts onrechtstreeks in aan bod, via recensies.” zo Demoor. Bovendien zegt Thomson/ISI zèlf dat ze op dit moment geen gepast meetinstrument bieden voor de humanities. “Commercieel is dat een stuk minder interessant. De publicatiecultuur in de humanities is diverser dan die in de natuurwetenschappen. Recht is bovendien zo’n nationaal gebonden onderwerp dat ‘internationale impact’ als criterium geen steek houdt, tenzij we ons allemaal plots op het Amerikaanse recht zouden storten.” zegt Heirbaut.

Demoor merkt op dat binnen de universiteit boeken wél tellen, zij het op een andere manier: “Bij de beoordeling van de onderzoeksoutput blijft men kijken naar boeken — uiteraard. Maar wel voornamelijk boeken die uitgegeven worden door uitgeverijen met internationale renommee en die uitgegeven worden op basis van peer review. Willen we een universiteit zijn die wil meespelen op wereldniveau, dan moeten we publiceren op het niveau van de beste buitenlandse universiteiten.” En dat hoeft niet problematisch te zijn voor de Letteren of Rechten. “Ik ben ervan overtuigd dat we daartoe in staat zijn. We hebben heel veel goede, gedreven onderzoekers.”

De minister schuift de bal door naar de faculteiten: ze moeten zelf een ander meetsysteem uitwerken. Humane wetenschappen zijn ten dele geholpen door rankings die de European Science Foundation (ESF) heeft opgesteld, al staan veel onderzoekers sceptisch tegenover de daar gemaakte evaluaties. In de rechten wil men graag het voorbeeld van Nederland volgen en tijdschriften categoriseren op basis van objectieve criteria (peer review, doctores in de redactie en zo verder). Zo probeert men te vermijden dat het evaluatieproces een mysterie blijft, een kritiek die het ESF plaagt. Het zorgt er ook voor dat nieuwe tijdschriften een kans hebben om zichzelf te bewijzen. De lijsten van Thomson en ESF daarentegen ontmoedigen onderzoekers om te publiceren in nieuwe publicaties omdat die normaliter nog niet eens in de rangschikking aanwezig zijn.

Het vermelden waard is dat de UGent de logica van Vandenbroucke intern niet volledig volgt: de alfawetenschappen krijgen in de verdeelsleutel tussen de faculteiten meer geld dan hen volgens de “rankings” zou toekomen, maar wel minder dan vroeger. Het is een lapmiddel en geen oplossing, maar op korte termijn verzacht dat ‘extra’ budget wel het leed.

Alles kan beter

Enfin, niet alles is rozengeur en maneschijn, met andere woorden. Alle mensen die reeds aan bod gekomen zijn stellen zich vragen bij het nieuwe systeem. De vraag is hoe het dan wel moet. Vroeger was het alleszins niet beter: “Ik ga uiteraard akkoord met de ‘cynische’ opmerking dat het oude systeem heel wat incompetentie toeliet.” zegt Van Loocke.

Lemahieu oppert dat de verantwoordelijkheid niet volledig bij het systeem ligt maar ook bij de verantwoordelijken die het aanwenden bij aanwervingsprocedures en dergelijke. “Bibliometrische parameters kunnen handig zijn om sollicitanten te evalueren, maar weinigen halen het in hun hoofd om enkel daar naar te kijken.”

Zoals we vermeldden wordt er op verschillende niveaus reeds gewerkt aan correcties. De hoop is dat de situatie voor de Letteren en de Rechten zal verbeteren. De meting zèlf is niet ideaal, maar na alle gesprekken kregen we het gevoel dat de voornaamste ergernissen betrekking houden op de implementatie ervan. Hoe die zal evolueren kan enkel de toekomst uitwijzen. Grote wijzigingen zijn alvast niet te verwachten.

Laat ons na alle kritiek eindigen op een positieve noot. “Wat ik merk is dat er nu meer kansen zijn dan ooit voor jonge mensen om te doctoreren en dat ze dat kunnen doen in betere omstandigheden dan ooit te voren. Meer en meer collega’s trekken projectgelden aan en zien hun onderzoeksgroepen groeien. Natuurlijk betekent dat dat er meer werk is nu dan vroeger, 15 jaar geleden, en de logistieke steun schiet soms wel serieus tekort, maar het werk is zo veel boeiender geworden. En de resultaten mogen er zijn. Ik denk dat het aantrekken van sterke onderzoekers niet alleen de onderzoeksoutput heeft vergroot maar ook het niveau van het onderwijs heeft verbeterd.” Wijze woorden van Marysa Demoor.