Reproducible Research (Part II/II): an ECR perspective
[ENG] Towards an open and reproducible research culture: an ECR perspective
This blog is the second part to Jacque Deere’s piece
Is science research in crisis?
Both #spidergate and the public retraction of Nobel Laurette Professor Frances Arnold’s paper on enzymes at the start of this year has reignited fresh concern over the “reproducibility crisis”. This so-called “crisis” stems from the results of an online survey by Nature in 2016 where more than 70% of the 1576 researchers surveyed were unable to reproduce another scientist’s experiment. Academic Twitter inevitably exploded with a mix of worry and denial.
As an early career researcher (ECR), just starting out in the field of ecology it made me question the role of science in society and my own scientific journey and daily practices. After some reflection I realised that I had never received formal training in reproducible and Open Science until I started my PhD. Throughout my undergraduate and masters degrees, I was taught programming or different lab/fieldwork techniques but almost always in the context of a particular research module and not how these skills fit into the wider science framework.
Open Science is a steadily growing movement which strives to create a research environment where openness, integrity, and reproducibility are at the forefront when conducting science. Open Science is facilitated through conducting research in a FAIR way by ensuring Findability, Accessibility, Interoperability, and Reusability in all project elements, from the project inception to the final dissemination of research outputs. Examples of some of these practices would be pre-registered reports, reproduceable workflows, data documentation, Open Access publishing.
Fast forward to early 2019, and the importance of reproducible and Open Science was made clear to me when I started to conduct my own meta-analysis. Meta analyses rely on extracting and combining data from other people’s studies which asks a similar question to find broad patterns. I noticed quite a few papers lacked a detailed meta-data table or had not reported a full species list, which meant I either had to exclude their study or write an email to the authors asking for the data, which had mixed success. Through extensive reading on the meta-analysis process, attending a meta-analysis course in Sweden, and lab group discussions it made me question what is the point of science? Why do we scientists often conduct complex lab experiments or field campaigns, but we don’t always openly share our data? Doing a bit of digging into the why of these questions uncovered a lot more than just openness and reproducibility in science, but also the culture in which the science takes place.
Publish or perish is paramount
My perception from entering the world of academia is that things beginning with P are paramount: from the “publish or perish” culture or obsession with P values and mostly showing positive results. In addition, the strive for research novelty over replication has further put into question the role of science for some researchers. It feels almost like I’ve entered into a marathon but sprinting the whole way to the finish line – tenure? I pursued a life of studying science out of curiosity of the natural world and wanting to make a difference to society, (I suspect that is the case for many scientists if you ask them). It seems as we climb up the tree of academia towards the canopy, you enter this cycle of pressure to publish impactful science in order to get grant money to carry out more science, all this in order to remain in a job. This model of doing science is impacting our wellbeing (and our science)
ECRs rock!
At the Reproducibility Research Oxford (RROx) launch event in January this year, there was collective desire for change towards a more positive research culture. The event brought together a diverse group of researchers at varying career stages across the University. From the numerous presentations and group discussions throughout the day, it was evident that the movement for change was energised by early career researchers. Initiatives such as “Reproducibiltea” Journal Club, which involves critiquing journal articles whilst drinking a hot beverage of choice was set up by graduate students at Oxford. The final speaker of the event was given by Brian Nosek, director of the Center for Open Science who summarised how Open Science practices are intertwined with the research culture at institutions and the value we place on them. To ensure we have an open and reproducible science, means we have to change the conditions around which that science takes place. Nosek advocates for a research model that places a higher value on collaborative and higher-quality science over individual success (quantity of publications). Change, he highlights, will come top down (e.g. publishers requiring original data and code to be published with manuscript) and from grassroots (e.g. increased uptake of pre-registered reports).
Opportunities for ECRs to engage with Open Science practices
In March this year I was fortunate enough to be a participant on the Plant Functional Trait Course (PFTC) in Wayqecha, in the Peruvian Andes to learn about trait-based plant ecology (Figure 1). I imagine you may be wondering what a field course has to do with Open Science. This course was designed to teach ECRs the skills of field-based trait measurements and analysis in a systematic and reproducible way (e.g. following protocols, data documentation, well documented reproducible code, etc) - all of which are elements of Open Science. The course began online in late January with weekly lectures where we were introduced to key topics in trait-based ecology, FAIR research practices and our research teams. Each of the research groups focused on different questions and hypotheses related to plant traits along an elevational gradient from individual trait variability, ecophysiological traits to the remote sensing traits. As a team, working remotely, we set out a clear approach to test our hypotheses before we all met to collect data in Peru in March. Our team was investigating the thermal responses of a grass and forb species with increasing elevation. Collectively, all the teams managed to gather some useable data before the course abruptly ended due to COVID-19. Whilst navigating COVID travel bans to return back to our home countries and some us remaining in lockdown in Peru, over the coming weeks we managed to finish the course online and meet the course objectives.
Figure 1. Location of the course in Wayqecha in the Peruvian Andes and a close up of a LICOR machine that measures lots of different plant ecophysiological parameters | Figura 1. Ubicazione del percorso a Wayqecha nelle Ande peruviane e primo piano di una macchina LICOR che misura molti parametri ecofisiologici delle piante.
The course fostered a strong sense of community from our shared interests in plant trait ecology and Open Science, but also the shared experience we faced with the COVID disruption. In the coming months, we came to appreciate that the course design of having pre and post online elements conferred a level resilience against the pandemic when teaching became remote. Some of us took the opportunity to share our experiences of this course in the form of a paper. In our article: Next‐generation field courses: Integrating Open Science and online learning, we make the case that incorporating Open Science and online elements into field courses can greatly enhance ECR learning outcomes (Figure 2). Field courses are a staple in the fields of ecology and evolution for ECRs which creates an excellent opportunity to learn and implement Open Science practices.
Figure 2. A figure taken from our article (Geange et al 2020) which outlines the Open Science and online elements to the PFTC field course | ITA: Una figura tratta dal nostro articolo (Geange et al 2020) che delinea la scienza aperta e gli elementi online per il corso sul campo PFTC.
Open Science open doors
These past two years have opened my view of research culture and practice from my experiences in researching, attending courses and events and writing about Open Science. Despite wishing I had been taught these practices earlier in my science career, I remain grateful for the opportunities I have had to engage with Open Science. I urge other ECRs to actively engage and implement these research practices and for lecturers/PIs to teach Open Science - opening the door for the next generation of researchers to expand their skills sets in open and reproducible research.
Written by Sara Middleton
[ITA] Verso una cultura della ricerca aperta e riproducibile: una prospettiva ECR
Questo blog è la seconda parte dell’articolo di Jacque Deere.
La ricerca scientifica è in crisi?
Sia #spidergate che la ritrattazione pubblica dell’articolo della professoressa Nobel Laurette Frances Arnold sugli enzimi all'inizio di quest'anno hanno riacceso nuove preoccupazioni sulla "crisi della riproducibilità". Questa cosiddetta "crisi" deriva dai risultati di un sondaggio online di Nature del 2016 in cui oltre il 70% dei 1576 ricercatori intervistati non era in grado di riprodurre l'esperimento di un altro scienziato. Il Twitter accademico è inevitabilmente esploso con un misto di preoccupazione e rifiuto.
Come ricercatrice all'inizio della carriera (ECR) nel campo dell'ecologia, questa crisi mi ha fatto mettere in discussione il ruolo della scienza nella società e il mio percorso scientifico oltre alle pratiche quotidiane. Dopo qualche riflessione mi sono resa conto che non avevo mai ricevuto una formazione formale in Scienze riproducibili e aperte fino a quando non ho iniziato il mio dottorato di ricerca. Durante il mio corso di laurea e il Master, l’insegnamento ricevuto si è basato sulla programmazione informatica e sulle diverse tecniche di laboratorio / lavoro sul campo, ma quasi sempre nel contesto di un particolare modulo di ricerca e non come queste abilità si inseriscono nel quadro scientifico più ampio.
La scienza aperta (Open Science) è un movimento in costante crescita che si sforza di creare un ambiente di ricerca in cui l'apertura, l'integrità e la riproducibilità siano in prima linea quando ci si occupa della scienza. La scienza aperta è facilitata quando si fa la ricerca in modo equo (FAIR= Findability, Accessibility, Interoperability, and Reusability) garantendo la reperibilità, l'accessibilità, l'interoperabilità e la riusabilità in tutti gli elementi del progetto, dall'avvio del progetto fino alla disseminazione finale dei risultati della ricerca. Esempi di alcune di queste pratiche sono resoconti preregistrati, flussi di lavoro riproducibili, documentazione dei dati, pubblicazione ad accesso aperto.
Ritornando agli inizi del 2019, l'importanza della scienza aperta e riproducibile mi è stata chiarita quando ho iniziato a condurre la mia meta-analisi. Le meta-analisi si basano sull'estrazione e la combinazione di dati da studi di altre persone che pongono una domanda simile per trovare schemi generali. Ho notato che parecchi articoli mancavano di una tabella metadati dettagliata o non avevano riportato un elenco completo delle specie, il che significava escludere il loro studio o scrivere un'e-mail agli autori chiedendo i dati, il che ha avuto un successo misto. Le ampie letture sul processo di meta-analisi, la frequentazione di un corso di meta-analisi in Svezia e le discussioni di gruppo in laboratorio mi hanno fatto mettere in dubbio i fini della scienza. Perché noi scienziati spesso conduciamo complessi esperimenti di laboratorio o campagne sul campo, ma non condividiamo sempre apertamente i nostri dati? Scavando un po’ nel perché di queste domande, è emerso molto di più della semplice apertura e riproducibilità nella scienza, ma anche della cultura in cui si svolge la scienza.
Pubblicare o morire è fondamentale
La mia impressione all'ingresso nel mondo accademico è che le cose che iniziano con P sono fondamentali: dalla cultura "pubblica o muori" o dall'ossessione per i valori di P e per lo più mostrando risultati positivi. Inoltre, il continuo sforzo verso le novità nella ricerca rispetto alla replicazione ha ulteriormente messo in discussione il ruolo della scienza per alcuni ricercatori. Mi sembra quasi di partecipare ad una maratona in cui sto correndo per tutto il percorso fino al traguardo - la cattedra? Ho intrapreso lo studio delle scienze per curiosità del mondo naturale e perché vorrei cambiare la società (sospetto che questo sia il caso di molti scienziati se viene posta loro questa domanda). Mi sembra che mentre ci arrampichiamo sull'albero del mondo accademico verso l’ambito baldacchino, entriamo in questo ciclo di pressioni per pubblicare una scienza di grande impatto al fine di ottenere fondi per svolgere più scienza, tutto questo per avere uno stipendio! Questo modello di fare scienza sta influenzando il nostro benessere (e il modus operandi della nostra scienza).
ECR rock!
All'evento di lancio di Reproducibility Research Oxford (RROx) nel gennaio di quest'anno è emerso il desiderio collettivo di un cambiamento verso una cultura della ricerca più positiva. L'evento ha riunito un gruppo eterogeneo di ricercatori in diversi stadi della loro carriera in tutta l'Università. Dalle numerose presentazioni e discussioni di gruppo durante la giornata, era evidente che il movimento per il cambiamento è stato stimolato dai ricercatori agli inizi della loro carriera. Iniziative come "Reproducibiltea" Journal Club, che si propone di recensire articoli di riviste mentre si beve inisieme una bevanda calda, sono state promosse dai dottorandi di Oxford. L’ultima relazione dell'evento è stata tenuta da Brian Nosek, direttore del Center for Open Science, che ha riassunto come le pratiche di Open Science siano legate alla cultura della ricerca nelle istituzioni e al valore che attribuiamo loro. Per garantire di avere una scienza aperta e riproducibile dobbiamo cambiare le condizioni attorno alle quali si fa quella scienza. Nosek sostiene un modello di ricerca che attribuisce un valore maggiore alla scienza collaborativa e di qualità superiore rispetto al successo individuale (quantità di pubblicazioni). Il cambiamento, sottolinea, avverrà dall'alto verso il basso (ad esempio, gli editori che richiedono dati e codici originali da pubblicare con il manoscritto) e dal basso (ad esempio, maggiore diffusione di rapporti preregistrati).
Opportunità per gli ECR di impegnarsi con le pratiche di Open Science
A marzo di quest'anno ho avuto la fortuna di partecipare ad un corso sulle caratteristiche funzionali delle piante (PFTC) a Wayqecha, nelle Ande peruviane, per imparare di più sull'ecologia vegetale basata sui tratti (Figura 1). Immagino che vi starete chiedendo che cosa c'entra un corso sul campo con la scienza aperta. Questo corso è stato progettato per insegnare agli ECR le abilità di misurazioni e analisi dei tratti sul campo in modo sistematico e riproducibile (ad esempio, seguendo protocolli, documentazione dei dati, codice riproducibile ben documentato, ecc.) - tutti elementi di Open Science. Il corso è iniziato online alla fine di gennaio con lezioni settimanali aventi lo scopo di introdurre gli argomenti chiave dell'ecologia basata sui tratti, delle pratiche di ricerca FAIR e dei nostri team di ricerca. Ciascuno dei gruppi di ricerca si è concentrato su diverse domande e ipotesi relative ai tratti della pianta lungo un gradiente di elevazione dalla variabilità dei tratti individuali, dai tratti ecofisiologici ai tratti di telerilevamento. Come team, lavorando in remoto, abbiamo definito un approccio chiaro per testare le nostre ipotesi prima che ci incontrassimo tutti per raccogliere dati in Perù a marzo. Il nostro team stava studiando le risposte termiche di un'erba e di specie proibite con elevazione crescente. Collettivamente, tutte le squadre sono riuscite a raccogliere alcuni dati utilizzabili prima che il corso terminasse bruscamente a causa di COVID-19. Nelle settimane successive, mentre navigavamo nei divieti di viaggio COVID-19 per tornare nei nostri paesi d'origine e alcuni di noi rimanevano bloccati in Perù, siamo riusciti a completare il corso online e a raggiungerne gli obiettivi.
ll corso ha promosso un forte senso di comunità fondato sui nostri interessi condivisi nell'ecologia dei tratti vegetali e Open Science, ma anche alimentato dall'esperienza condivisa che abbiamo affrontato con l'interruzione COVID-19. Nei mesi a venire, ci siamo resi conto che il design del corso con elementi pre e post online conferiva un livello di flessibilità contro la pandemia quando l'insegnamento diventava remoto. Alcuni di noi hanno colto l'occasione per condividere le nostre esperienze di questo corso sotto forma di un articolo. Nel nostro articolo, Next‐generation field courses: Integrating Open Science and online learning (Geange et al 2020), dimostriamo che incorporare Open Science e gli elementi online nei corsi sul campo possono migliorare notevolmente i risultati di apprendimento dell'ECR (Figura 2). I corsi sul campo sono un punto fermo nei campi dell'ecologia e dell'evoluzione per gli ECR, il che crea un'eccellente opportunità per apprendere e implementare le pratiche di Open Science.
In questi ultimi due anni, le mie esperienze come ricercatrice, i corsi frequentati, la partecipazione a conferenze e gli articoli scritti su Open Science hanno certamente ampliato la mia visione della cultura e della pratica della ricerca scientifica. Nonostante desiderassi che mi fossero state insegnate queste pratiche all'inizio della mia carriera scientifica, sono riconoscente delle opportunità che ho avuto di impegnarmi con Open Science. Invito dunque i miei colleghi ECR ad impegnarsi ad implementare attivamente queste pratiche di ricerca mentre sollecito i docenti / il ricercatore principale ad insegnare la scienza aperta, aprendo così le porte alla prossima generazione di ricercatori ad espandere le proprie competenze nella ricerca aperta e riproducibile.
