Interview met Tom Heyman over hergebruik van onderzoeksdata

Door /

In mijn werk als datasteward, bespreek ik regelmatig datamanagementplannen. Tijdens die bespreking komt ook de vraag naar het hergebruik aan de orde. Onderzoekers geven dan vaak aan dat hij/zij geen data gaat hergebruiken, maar dat zijn/haar data wel hergebruikt kan worden. Als iedereen dit zegt, dan komen er steeds meer data en datasets beschikbaar voor hergebruik, maar maakt niemand er gebruik van. Het meest gehoorde argument voor het niet hergebruiken van data is de uniciteit van data: ieder onderzoek is uniek en de onderzoeker kan niets met bestaande data. Het gaat namelijk om het inzetten van bestaande data voor nieuwe doeleinden en nieuwe analyses.

Tijdens de workshop “Reusing data: Bridging the distance between data consumers and producers” op 5 november 2024 gaf Tom Heyman een presentatie over publiceren en  hergebruiken van onderzoeksdata. Hij stelde daarbij de vraag centraal welke data er op een bepaald onderwerp beschikbaar is, en waarmee andere onderzoeksvragen beantwoord kunnen worden. Hij drukte daar onder andere de zorg uit dat veel onderzoekers hun data niet durven te publiceren, omdat andere onderzoekers fouten kunnen ontdekken in hun datasets.

Geïnspireerd door deze vraag heb ik Tom Heyman benaderd en de volgende vragen voorgelegd. De basisvraag was hoe een datasteward, die vooral faciliteert bij het opslaan van onderzoeksdata en bespreken van datamanagementplannen, het hergebruik van onderzoeksdata stimuleren bij onderzoekers?

Tom Heyman is Universitair Docent bij de sectie Methodologie & Statistiek van de Faculteit Sociale Wetenschappen Universiteit Leiden. In 2016 promoveerde hij aan de faculteit psychologie en pedagogische wetenschappen aan de KU Leuven Hij houdt zich vooral bezig met verantwoorde onderzoekspraktijken zoals pre-registratie, data delen en open science.

Kunnen data uit eerder sociaalwetenschappelijk echt op geen enkele manier hergebruikt worden? En indien dit niet waar is, hoe kunnen bestaande data van eerder sociaalwetenschappelijk onderzoek toch hergebruikt worden?

In het zogenaamde Bachelorproject begeleidt Tom studenten in hun zoektocht op internet naar herbruikbare, kwantitiatieve data voor psychologisch onderzoek. In eerste instantie wordt gekeken of het onderzoek kan worden gereproduceerd en daarmee de onderzoeksresultaten kunnen worden geverifieerd. Met andere woorden: is de data van zodanige kwaliteit dat het onderzoek een-op-een herhaald kan worden, waarbij het erom gaat of exact dezelfde resultaten, dezelfde getallen, worden gevonden wanneer we de dataverwerking en analysestappen herhalen. Het gaat er dus niet om de data opnieuw te verzamelen.

Daarna wordt gekeken of er met dezelfde dataset andere vragen beantwoord kunnen worden. De voornaamste vraag is dan of de data zo robuust zijn dat een andere benadering van de data toch min of meer tot dezelfde uitkomsten leidt, zoals die zijn gepubliceerd in een wetenschappelijk artikel; zo’n aanpak wordt ook wel een multiverse analyse genoemd. Door deze exercitie van het onderzoeken van bestaande data, kan een onderzoeker inspiratie vinden de eigen studie aan te passen en scherper te maken. Hiermee wordt een beeld gegeven welke soort data er beschikbaar zijn op het gebied waar men zelf onderzoek wilt doen, wordt een voeling ontwikkeld met het veld, en wordt een beeld verkregen welke effecten verwacht kunnen worden. Op deze manier kan de eigen onderzoeksvraag worden aangescherpt.

Uit eerder gepubliceerd onderzoek blijkt dat na het invoeren van een verplicht open data beleid bij een vooraanstaand wetenschappelijk tijdschrift, ongeveer een derde van de artikelen effectief herbruikbare data deelden. Bij een derde van deze artikelen waren de resultaten ook onafhankelijk reproduceerbaar,  terwijl voor een ander derde toelichting moest gevraagd worden bij de onderzoekers die de data verzameld hebben. De overige artikelen bleken resultaten te bevatten die zelfs na hulp van de originele onderzoekers niet te reproduceren vielen. (Data availability, reusability, and analytic reproducibility: evaluating the impact of a mandatory open data policy at the journal Cognition / Tom E. Hardwicke… [et al.]. – In: Royal Society Open Science vol.5 (2018, iss.8, pag.1-18: https://doi.org/10.1098/rsos.180448).

Het is dus belangrijk om onderscheid te maken tussen herbruikbaar en reproduceerbaar. Herbruikbaar wil zeggen: kunnen we het databestand openen, is het duidelijk wat de verschillende variabelen betekenen. Reproduceerbaar wil zeggen kan ik de resultaten gerapporteerd in een paper terugvinden als ik gebruik maak van dezelfde data en dezelfde analyses. Herbruikbare data is een noodzakelijke voorwaarde om reproduceerbaarheid na te gaan, maar geen voldoende voorwaarde. Je kan je natuurlijk afvragen of je data wel wil hergebruiken als blijkt dat resultaten niet reproduceerbaar zijn, maar dat is een andere kwestie.

Op welke andere manieren kunnen data uit eerder sociaalwetenschappelijk worden hergebruikt?

Data kunnen onder andere dienen als inspiratiebron en om de eigen onderzoeksvraag verder aan te scherpen. Daarnaast kan worden gedacht aan een aantal andere toepassingen, zoals bijvoorbeeld:

  • Inbedding in de context van software pakketten.
  • Het testen/illustreren van bepaalde technieken en analyses
  • Sensitiveitschecks zoals multiverse analyses
  • Sommige studies zijn ook specifiek gericht op het verzamelen van zogenaamde normeringsdata die wel erg vaak gebruikt worden (zie bvb. het tijdschrift Behavior Research Methods).
  • Ook in het kader van het onderwijs worden datasets opnieuw gebruikt, zoals bijvoorbeeld in Methodologie & Statistiek vakken waar gebruik gemaakt wordt van echte data om mee te oefenen/ concepten te introduceren/illustreren.

Kunnen data bijvoorbeeld ook vergeleken worden met nieuw te verzamelen data? En gebeurt dit ook in de praktijk?

Ja, bestaande data kunnen worden vergeleken bijvoorbeeld in het kader van replicatieonderzoek. Hierbij is het expliciet de bedoeling om, ook al is er bestaande data beschikbaar, een studie te gaan herhalen om te kijken of resultaten generaliseerbaar zijn.

Tijdens je presentatie op 5 november 2024 liet je al weten dat onderzoekers bang zijn dat er fouten in hun data kunnen worden gevonden. Hierboven laat je weten dat veel data niet bruikbaar zijn omdat ze niet meer beschikbaar zijn of omdat ze onoverzichtelijk zijn weergegeven. Zijn er nog andere redenen dat data niet herbruikt kan worden?

Je kan het van een aantal perspectieven bekijken. Enerzijds heb je de onderzoekers die de primaire data hebben verzameld. Er zijn uiteenlopende redenen waarom ze hun data niet altijd delen. Dan kan het gaan om ethische overwegingen, gebrek aan tijd, gebrek aan kennis, gebrek aan standaarden binnen een veld. (zie hiervoor ook: Data Sharing in Psychology: A Survey on Barriers and Preconditions / Bobby Lee Houtkoop. – In: Advances in Methods and Practices in Psychological Science Vol.1 (2018), iss.1, pag.70-85: http://doi.org/10.1177/2515245917751886). Daarbij hoort mogelijk ook de (niet-uitgesproken) overweging dat anderen fouten zouden kunnen ontdekken.

Anderzijds heb je het perspectief van de “hergebruikers”. Belemmering voor hergebruik kunnen van praktische aard zijn: data wordt onoverzichtelijk weergegeven, het kost te veel tijd om dit uit te zoeken, communicatie met de onderzoekers die de data hebben verzameld loopt niet soepel, Daarnaast zijn er ook fundamentele struikelblokken: hergebruik je data als resultaten niet reproduceerbaar blijken te zijn (zie eerder), of als je twijfelt aan de gebruikte procedure en/of zelfs de eerlijkheid van de onderzoekers (wat als ze gebruik maakten van twijfelachtige of frauduleuze onderzoekspraktijken). Ten slotte, maar dit is speculatief, bestaat er ook wel het idee dat nieuwe baanbrekende ideeën altijd ook nieuwe data vergen. Dat het als het ware dient om je onderzoek te legitimeren.

Als datasteward ben ik uiteindelijk heel nieuwsgierig naar het antwoord op deze twee vragen:

1) wat zou er nodig zijn om onderzoekers aan te moedigen om bestaande onderzoeksdata te hergebruiken?

Opnieuw is het een verhaal van twee kanten, waar hierboven al een antwoord op gegeven is:

  • Onderzoekers die data verzamelen zoveel mogelijk stimuleren om hun data te delen. Dit betekent het wegnemen van barrières, training voorzien, en deze activiteit erkennen en waarderen.
  • Onderzoekers die potentieel data zouden kunnen hergebruiken daarin stimuleren (o.a. angst wegnemen dat hergebruik niet naar waarde zou worden geschat, en dat betekent dus ook specifiek deze activiteit, inclusief het nagaan van de reproduceerbaarheid van bevindingen, erkennen en waarderen).

2) Hoe kan een datasteward, die vooral faciliteert bij het opslaan van onderzoeksdata en bespreken van datamanagementplannen, het hergebruik van onderzoeksdata stimuleren?

Lastige vraag. Ik denk vooral de optie bespreken, en vragen naar de manier waarop onderzoekers gezocht hebben naar literatuur en data. Welke databanken of repositories gebruik je bij je zoektocht naar bestaande data? Zelf raad ik onderzoekers aan deze databanken te gebruiken:

Het hangt een beetje af van de insteek. Open Science Framework wordt binnen psychologie vaak gebruikt. En binnen de context van het Bachelorproject zeg ik tegen studenten dat ze ook op tijdschriftniveau kunnen zoeken. Er zijn namelijk een aantal tijdschriften die werken met open science badges, waaronder een open data badge. Op die manier kan je bij een bepaald tijdschrift die deze badges gebruikt, makkelijk achterhalen welk artikel open data zou moeten hebben. Als je natuurlijk naar een specifieke soort dataset op zoek bent, is dit allicht niet zo efficiënt.

Samenvattend

Hergebruik van data is een veeltoegepast gebruik binnen de sociale wetenschappen. Hierbij is het zeker in eerste instantie vooral de vraag of dezelfde onderzoeksresultaten worden bereikt.

Data kunnen een inspiratiebron zijn voor nieuw onderzoek en kunnen aanleiding geven om de eigen onderzoeksvraag aan te scherpen. Daarnaast kunnen onder andere door middel van bestaande data bepaalde technieken en analyses worden getest en geïllustreerd, kan het dienen voor sensitiveitschecks zoals multiverse analyses en heeft het ook een doel voor het onderwijs in Methodologie & Statistiek en daarbuiten.

Vanuit het perspectief van de producenten van data zijn er verschillende redenen waarom onderzoekers hun data niet delen, zoals ethische overwegingen, gebrek aan tijd, gebrek aan kennis, gebrek aan standaarden binnen een veld en de zorg dat andere onderzoekers fouten ontdekken. Vanuit het perspectief van de onderzoekers die bestaande data willen hergebruiken zijn er praktische bezwaren om niet met bestaande data aan de slag te gaan, zoals de onoverzichtelijke presentatie van de data, en de tijdsinvestering om het uit te zoeken, waarbij de communicatie met andere onderzoekers niet altijd soepel verloopt. Principiële redenen kunnen zijn dat het niet mogelijk blijkt om bepaalde resultaten te reproduceren, twijfel aan de gebruikte procedure en/of zelfs de eerlijkheid van de onderzoekers en het idee dat nieuwe baanbrekende ideeën altijd ook nieuwe data vergen, om zo het eigen onderzoek te legitimeren.

Voor datastewards is het belangrijk dat ze vooral de optie van hergebruik aankaarten en vragen naar de manier waarop onderzoekers gezocht hebben naar literatuur en data.

Bronnen van onderzoeksdata zijn, naast de traditionele bronnen zoals Re3data.org, FAIRsharing, Google Dataset Search en DataverseNL, ook Open Science Framework en gewoon zoeken naar publicaties, waarvan de onderzoeksdata zijn gepubliceerd.

Scroll naar boven