Don't do plagiarism, kids

De eerste wet van de UGent luidt: 'De universiteit gebruikt altijd meer computerprogramma's dan je denkt.' In het licht van deze wet verbaast het waarschijnlijk weinigen dat de universiteit sinds enkele jaren gebruik maakt van de externe plagiaatdetectiesoftware Ephorus. Het gebruik van Ephorus is wijdverspreid over de meeste faculteiten, maar toch lijken de studenten niet echt op de hoogte te zijn van deze digitale speurhond.

Recentelijk zijn enkele van Ephorus' gebreken echter boven water gekomen, en dat roept vragen op. Wat houden die gebreken precies in? Toon Van Hoecke en Patrick Cool van de ICT-afdeling van de UGent geven graag antwoord op deze vraag.

"Ik weet dat ik niks weet" ~Ik

Aangezien de meesten wellicht niet vertrouwd zijn met de software, is het nuttig om eerst eens uit te leggen wat Ephorus precies inhoudt. Ephorus is een voorbeeld van plagiaatdetectiesoftware, een computerprogramma dat speciaal ontworpen is om de meeste vormen van plagiaat te kunnen herkennen. Als je een document naar de site zendt, zal hij dat via een algoritme vergelijken met een database van allerlei verschillende teksten. Uiteindelijk stuurt hij je een bepaalde score van je document terug waarop verwezen wordt naar bepaalde problematische passages en de bronnen die worden geplagieerd.

"Van de exacte foutenmarge van het systeem hebben wij ook niet echt een goed idee" - Cool

"Wat er precies gebeurt wanneer we het document hebben opgestuurd, weten we niet goed", vertelt Patrick Cool, verantwoordelijke voor de technische aspecten van Ephorus aan de UGent. "Het algoritme dat gebruikt wordt, is een publiek geheim. Vandaar dat we ook weleens spreken van een black box. Dat is niet ongebruikelijk in de ICT-wereld, want als het algoritme algemeen bekend was, zouden andere bedrijven hen uiteraard zelf kunnen plagiëren. Coca-Cola staat ook niet te wapperen met het geheime recept. We kunnen dus enkel raden naar de manier waarop het systeem werkt. Van de exacte foutenmarge van het systeem hebben wij dus zelf geen goed idee, maar het is zeker niet zo dat het programma twee teksten letterlijk met elkaar vergelijkt. Waarschijnlijk heeft het meer te maken met de aanwezigheid van verschillende opvallende woorden die dicht bij elkaar worden geplaatst. Een lichte variatie op eenzelfde zin zal de software waarschijnlijk ontdekken."

"Ken jezelf" ~Ikzelf

Hoewel de specifieke werking van het systeem verhuld is in een black box, zijn we wel in staat naar een deel van de werking te raden door middel van de fouten die in het systeem ontdekt worden. Zo is recentelijk nog eens gebleken dat - in tegenstelling tot Ephorus van Cyme, naar wie het programma vernoemd is - de software niet beschikt over een indrukwekkende talenkennis. Een student aan de Faculteit Recht en Criminologie was er immers in geslaagd een paper in te dienen die een vrijwel letterlijke vertaling bleek te zijn van een hoofdstuk in een boek. Een duidelijk geval van plagiaat dat kennelijk niet werd opgepikt door het systeem. Naar verluidt is dit geen alleenstaand geval.

"Het is geen magie, hè", lacht Van Hoecke ons toe. "We hebben hier niet te maken met artificiële intelligentie die leert uit eerder gemaakte fouten, maar met een klassiek programma. We verwachten te veel als we ervan uitgaan dat zo'n programma kan omgaan met de complexiteit van vertaalopdrachten. Als een student de schrijfstijl van de originele tekst sterk zou veranderen of een obscure tekst zou plagiëren die niet aanwezig is in Ephorus' database, zou dit aan het programma kunnen ontsnappen. De software is zichzelf wel continu aan het verbeteren. Als een lesgever een vorm van plagiaat ontdekt die onder de radar geglipt was, zal die meestal een signaal zenden naar Ephorus die dit geval dan zal opnemen in de database. Op die manier wordt plagiaat steeds moeilijker. Vertaalfouten mogen dan wel moeilijk zijn voor Ephorus, maar uit ervaring blijkt dat deze meestal snel opgepikt worden door de lesgevers zelf."

"Het is geen magie, hè" - Van Hoecke

De vraag is natuurlijk of Ephorus plannen maakt om de stap te zetten naar artificiële intelligentie, een beslissing die de slagkracht van het programma sterk zou doen toenemen. Hiermee zouden beperkingen met betrekking tot vertaalfouten en wisselende schrijfstijlen kunnen worden opgelost. Er zijn echter twee factoren die dit afremmen, zoals Cool aangeeft. "Ephorus heeft in het verleden waarschijnlijk al vaak zijn algoritme aangepast, maar wij hebben geen zicht op de fouten die zij proberen weg te werken. Een softwarebedrijf maakt natuurlijk geen reclame met een waslijst aan fouten. 'Kijk eens: deze fout zat in ons systeem, maar nu is die weg, hoor!' Dat klinkt uiteraard niet goed."

"Ephorus is voor de universiteit eerder een noodzakelijk kwaad" - Van Hoecke

Ephorus mist vooral de economische aansporing om zich te gaan verbeteren. "Vroeger waren er drie grote spelers op de markt en was Ephorus daar één van", legt Van Hoecke uit. "Nu zijn er nog maar twee. De marktleider Turnitin heeft enkele jaren geleden Ephorus opgeslokt en nu hebben zij tot op zekere hoogte een monopolie over de hele markt. Er zijn een paar kleinere uitdagers, maar uiteraard beschikt niemand over een database aan teksten die kan concurreren met die van Turnitin en Ephorus."

"I'm only human after all" ~I

Na de analyse van onze speurhond wordt het toch eens tijd om onze metafoor een beetje bij te schaven. "Ephorus is eerder te vergelijken met een flitspaal. Een hele hoop wegpiraten worden gevat door de technologie, maar net als de agenten zijn ook de proffen ervan op de hoogte dat het grootste deel van de plagieerders een weg omheen het systeem kan vinden. Belangrijk is dat Ephorus nooit als meer dan een tool gebruikt mag worden. Het is een handig middeltje om documenten snel eens na te kijken, maar op het einde van de dag vertrouwen we vooral op de expertise van de professoren zelf om alle papers en essays na te kijken. Plagiaatdetectiesoftware is voor een universiteit eerder een soort noodzakelijk kwaad. Het werkt helemaal niet zo goed als we zouden willen en in feite is het nog steeds de lesgever die zelf het meeste werk moet verrichten. En toch is het iets wat iedere universiteit moet hebben. De UGent zou er ongetwijfeld op worden aangesproken mocht er geen dergelijke software worden gebruikt."

"Ik was aangenaam verrast dat er zo weinig gevallen van plagiaat waren" - Cool

"Die boodschap geven we ook altijd mee aan de lesgevers", vult Cool aan. "Het is niet omdat iemand een score van twintig behaalt op Ephorus, dat het werk meteen moet worden afgedaan als plagiaat. Bij een score van één hebben we niet zonder twijfel te maken met een originele tekst. Het kan zijn dat de eerste student meer citaten heeft gebruikt of vaker naar zichzelf verwezen heeft, terwijl de tweede misschien een hele passage gekopieerd heeft die slechts één keer geregistreerd werd door het systeem. Elk jaar nemen de gevallen van plagiaat af; recentelijk heb ik de cijfers nog eens te zien gekregen en was ik aangenaam verrast dat er zo weinig gevallen van plagiaat waren." Hoe die cijfers eruitzien? Dat wou Cool niet meegeven.

Misschien hebben we dan toch niet te maken met een digitale speurhond, maar met een erg handige flitspaal. Eén ding is echter zeker: het kat-en-muisspel tussen Ephorus en de plagieerders is nog lang niet ten einde.