Accepté dans la revue *Fragments : Revue de psychologie*. SVP citer comme :

Thériault (2024). L'importance de la science ouverte en recherche en psychologie. Accepté dans *Fragments : Revue de psychologie*, 1-14. Preprint: https://doi.org/10.31234/osf.io/758dx

# L'importance de la science ouverte en recherche en psychologie

Rémi Thériault (theriault.remi@courrier.uqam.ca)

Département de psychologie, Université du Québec à Montréal

<figure><img src="image_1.png" /></figure>

**Résumé** : La crise de réplication scientifique que le domaine de la psychologie traverse en ce moment remet en question la réputation de notre discipline et notre confiance dans une majorité de recherches passées et présentes. Le présent article couvre les points les plus importants relatif à la crise de réplication et la science ouverte via une brève revue de littérature. Deux causes principales à la crise de réplication en psychologie ressortent en particulier : les pratiques de recherche douteuses et le manque de transparence. Heureusement, la science ouverte, qui met au cœur de sa démarche la transparence, la reproductibilité et les bonnes pratiques de recherche, permet d'adresser ces deux problématiques directement. Celle-ci recommande notamment : (a) le préenregistrement de l'étude; (b) le rapport enregistré; (c) la mise en ligne publique des données désidentifiées; (d) la mise en ligne des matériels et de la syntaxe; (e) l'utilisation de logiciels libres tels que R; (f) la prépublication; et (g) la publication en libre accès. Cet article couvre brièvement ces différentes pratiques.
# L'importance de la science ouverte en recherche en psychologie

Au cours des deux dernières décennies, la communauté scientifique s'est penchée sur des résultats classiques de la littérature scientifique avec l'intention de les répliquer, mais sans grand succès. Il s'agit de la « crise de réplication » en psychologie et dans d'autres domaines scientifiques (Camerer et al., 2018; Ioannidis, 2005; Open Science Collaboration, 2015). Conséquemment, la communauté scientifique a commencé à exiger une plus grande rigueur et transparence. En effet, de nombreuses personnes du milieu de la recherche sont d'avis que l'échec de réplication serait dû notamment à des pratiques de recherche douteuses (c.-à-d., qui réduisent le niveau de confiance dans les résultats) et au manque de transparence. En contrepartie, un nouveau mouvement est né de ce choc : la science ouverte. Celui-ci met au cœur de sa démarche la transparence, la reproductibilité et les bonnes pratiques de recherche<fnref n="1" />.

## La recherche exploratoire vs. confirmatoire

Pour mieux comprendre le débat sur les pratiques douteuses et la science ouverte, il faut comprendre la nuance entre la recherche exploratoire et confirmatoire (Nosek et al., 2018; Wagenmakers et al., 2012). La recherche *exploratoire* vise à identifier de possibles patrons dans les données pour générer de nouvelles hypothèses qui pourront éventuellement être testées (*hypothesis-generating framework*). Ceci est important pour identifier de nouvelles pistes de recherche et de nouvelles idées. La recherche *confirmatoire* quant à elle vient normalement en deuxième et vise à tester les hypothèses formulées basé sur la théorie ou sur des recherches exploratoires précédentes (*hypothesis-testing framework*). Celle-ci est importante pour établir la robustesse des résultats et augmenter notre niveau de confiance en ceux-ci. Les deux approches sont complémentaires et ont leur place, mais celles-ci devraient généralement être équilibrées. En ce moment, la quantité de recherches exploratoires surpasse largement la quantité de recherches confirmatoires. De plus, de nombreuses recherches exploratoires sont rapportées comme étant des recherches confirmatoires—comme si nous avions tout bien prévu depuis le début même lorsque ce n'est pas le cas. Ceci peut induire la communauté scientifique en erreur et artificiellement augmenter notre niveau de confiance dans ces recherches exploratoires. Ainsi, les résultats de recherches exploratoires devraient éventuellement être confirmés via des recherches confirmatoires pour établir un certain degré de certitude en ceux-ci et permettre des

<footnote n="1">¹ Pour la version originale et plus détaillée de ce document, incluant une foule d'outils pratiques, voir : https://remi-theriault.com/files/science_ouverte.pdf.</footnote>
applications éventuelles plus concrètes de ces résultats, notamment cliniques. À ce titre, tant que les résultats de recherches exploratoires ne sont pas confirmés, ils ne devraient pas informer les politiques publiques ou les interventions cliniques (ou si c'est le cas, avec énormément de prudence; Chambers, 2018). En effet, il est préférable de clairement établir l'efficacité d'un nouveau type de thérapie par exemple, au risque autrement de perdre le temps de la clientèle, voire, de sous-évaluer les risques et effets nuisibles associés. La science ouverte est importante car elle permet d'aider à faire la distinction entre la recherche exploratoire et confirmatoire et à réduire la prévalence des pratiques de recherche douteuses.

## Les pratiques de recherche douteuses

Les pratiques de recherche douteuses sont des pratiques qui peuvent miner la validité et l'interprétation des résultats, mais qui ne constituent pas une fraude ou de la méconduite en recherche. À ce titre, même si elles peuvent constituer une zone grise, ces pratiques sont à éviter lorsque possible. En effet, celles-ci peuvent permettre aux équipes de recherche d'en quelque sorte « manipuler » (gamer) le système pour obtenir des résultats significatifs, ce qui a des conséquences indésirables sur la validité scientifique. Ces pratiques incluent par exemple le *p* hacking (orienter les décisions de recherche pour favoriser des valeurs *p* significatives), la formulation d'hypothèses après avoir pris connaissance des résultats (c.-à-d., le « HARKing », Hypothesizing After the Results are Known), l'arrêt arbitraire de la collecte de données, changer dans le modèle le rôle des variables de manière arbitraire, ou bien encore le rapport sélectif des variables, des analyses, ou des études, pour n'en nommer que quelques-unes (p. ex., Schwab et al., 2022; Wicherts et al., 2016).

Par exemple, le *p* hacking consiste à orienter les décision de l'équipe de recherche tout au long du processus d'analyse dans l'intention de favoriser une valeur *p* significative (c.-à-d., de capitaliser sur la chance et les « degrés de liberté », soit la flexibilité de l'équipe de recherche). En effet, l'équipe de recherche doit prendre de nombreuses décisions : comment gérer les inclusions et exclusions, les données manquantes, les données aberrantes, les assomptions statistiques, le fait de standardiser les données (ou pas), le fait de tester différentes stratégies pour quantifier une variable, le choix précis des tests statistiques et de leurs paramètres, le fait de corriger pour de multiple tests (ou pas), le seuil de signification et ainsi de suite. Si l'équipe de recherche fait constamment des choix basés sur l'option qui dans chaque cas favorise une valeur *p* plus significative, il s'agit de *p* hacking. Cela contraste par exemple avec une approche
s'engageant à s'en tenir à un plan expérimental et d'analyse déterminé à l'avance en fonction de
raisons théoriques et méthodologiques (p. ex., une méthode identifiée comme étant la pratique
généralement recommandée). Les autres pratiques douteuses et leurs enjeux respectifs sont
couverts plus en détail dans la version longue de cet article.<fnref n="2" />

Les bonnes pratiques en recherche et la science ouverte

Les pratiques de recherche douteuses sont fréquentes dans le milieu de la recherche, notamment en psychologie. Par exemple, certaines études dans la communauté de recherche rapportent que plus de 90% des participants rapportent s'engager ou s'être engagés dans au moins une de ces pratiques (John, Loewenstein, & Prelec, 2012). Vu l'omniprésence des pratiques douteuses en recherche, de nombreuses équipes de recherche ressentent qu'elles ne peuvent se fier aux résultats des recherches passées et présentes (Haeffel, 2022). En revanche, la science ouverte, un mouvement visant à rendre l'ensemble du processus scientifique transparent et accessible, permet d'adresser directement plusieurs de ces pratiques douteuses (Schwab et al., 2022). À ce titre, elle met au cœur de sa démarche la transparence, la reproductibilité, et les bonnes pratiques de recherche. C'est pourquoi de nombreuses personnes dans le milieu scientifique sont d'avis que la science ouverte est un outil incontournable pour rétablir la confiance en la science (particulièrement en psychologie). Une facette importante de la science ouverte, c'est qu'elle permet de distinguer clairement la recherche exploratoire de la recherche confirmatoire. Comme souligné précédemment, certaines membres de la communauté scientifique croient ainsi qu'une proportion grandissante d'études devraient être confirmatoires plutôt qu'exploratoires (Wagenmakers et al., 2012). Chambers (2018) a, par exemple, proposé une nouvelle pyramide hiérarchique de la preuve scientifique visant à informer les réflexions, perceptions, et discours autour des données probantes (Figures 1 et 2). Somme toute, la science ouverte recommande de nombreuses pratiques, telles que : (a) le préenregistrement de l'étude; (b) le rapport enregistré; (c) la mise en ligne publique des données désidentifiées; (d) la mise en ligne des matériels et de la syntaxe; (e) l'utilisation de logiciels libres tels que R; (f) la prépublication; et (g) la publication en libre accès. Cet article couvre brièvement ces différentes pratiques.

<footnote n="2">² https://remi-theriault.com/files/science_ouverte.pdf.</footnote>
<caption>**Figure 1**</caption>

*La hiérarchie conventionnelle de la preuve scientifique*

<figure><img src="image_2.png" /></figure>

*Note*. Figure adaptée de thelogicofscience.com.

<caption>**Figure 2**</caption>

*La nouvelle hiérarchie de la preuve scientifique*

<figure><img src="image_3.png" /></figure>

*Note*. Figure adaptée de Chambers (2018).
## Le préenregistrement

Le préenregistrement est une étape qui arrive tôt dans le processus de la recherche, soit avant de rendre ses données ou son script d'analyse disponibles en ligne. Il s'agit d'un engagement public à suivre un plan d'analyse spécifique. Il s'agit donc de spécifier : le devis de recherche (p. ex., expérimental, transversal, longitudinal), les variables indépendantes (les prédicteurs ou conditions expérimentales), les variables intermédiaires (modérateurs, médiateurs), si applicable, les variables dépendantes (sur lesquelles il est envisagé d'observer un effet d'intérêt), les hypothèses (donc les liens attendus entre toutes ces variables), la taille d'échantillon et comment celle-ci a été déterminée, ainsi que les stratégies de recrutement, les critères d'inclusion et d'exclusion, toute transformations prévues aux données, et le choix des analyses statistiques en tant que tel. À lui seul, le préenregistrement est le meilleur outil contre les pratiques questionnables, car il enlève beaucoup de « degrés de liberté » aux équipes de recherche en les encourageant à penser à ces éléments à l'avance, ce qui permet de grandement augmenter la confiance dans les résultats des analyses statistiques. Comme le souligne Goldacre (2009) :

> What's truly extraordinary is that almost all of these problems—the suppression of negative results, data dredging, hiding unhelpful data, and more—could largely be solved with one very simple intervention that would cost almost nothing: a clinical trial register, public, open, and properly enforced (...) Before you even start your study, you publish the 'protocol' for it, the methods section of the paper, somewhere public. This means that everyone can see what you're going to do in your trial, what you're going to measure, how, in how many people, and so on, before you start. The problems of publication bias, duplicate publication and hidden data on side-effects—which all cause unnecessary death and suffering—would be eradicated overnight, in one fell swoop. If you registered a trial, and conducted it, but it didn't appear in the literature, it would stick out like a sore thumb. (Goldacre, 2009, pp. 220–221)

Bien que certaines personnes voient le préenregistrement comme du travail additionnel, en réalité, cela ne fait que déplacer le travail dans le temps (Quintana, 2020). Plutôt que de précipiter l'étape de la collecte des données, pour ensuite réfléchir aux analyses et aux hypothèses, il est question de d'abord réfléchir aux analyses et hypothèses, et après passer à la collecte des données. En d'autres termes, cette pratique a un effet neutre ou positif en termes de gain de temps, mais représente un énorme gain pour la science. Enfin, bien que le préenregistrement soit plus commun pour les recherches confirmatoires, elles sont également
encouragées pour les recherches exploratoires et peuvent ainsi contribuer à plus de transparence
(Dirmagl, 2020).

## Le rapport enregistré

Le rapport enregistré (Nosek & Lakens, 2014) est une version plus rigoureuse du préenregistrement. C'est en quelque sorte la bonne pratique la plus valorisée: le « gold standard » de la science ouverte. La différence avec le préenregistrement, c'est que le rapport enregistré demande d'écrire d'abord les sections introduction et méthodologie de votre article et de soumettre ce manuscrit incomplet à une revue scientifique. La revue soumettra donc ce document pour évaluation par les pairs. Par la suite, le manuscrit sera accepté ou rejeté seulement sur la pertinence théorique et la force méthodologique de l'étude, peu importe les résultats, qu'ils soient significatifs ou non. Souvent, le protocole peut être accepté avec promesse de publier l'article finale, à condition d'y apporter les modifications et améliorations demandées. Ceci permet ultimement de conduire une étude qui bénéficie de la révision par les pairs au début du processus, plutôt qu'à la toute fin. Cela est intéressant car en garantissant la publication a priori, le biais des revues scientifiques de ne publier que les résultats significatifs est éliminé à la source (Ferguson & Heene, 2012). Minimiser cet effet tiroir (« file drawer effect » en anglais) est important puisque les résultats non-significatifs sont également d'une importance critique pour faire progresser la théorie. **Le Projet de recherche doctoral (PRD) à l'UQAM est intéressant comme exercice car il agit un peu comme un rapport enregistré.** Comme il faut déjà rédiger les sections introduction et méthodologie dans le contexte du PRD, il n'y a de là qu'un pas pour soumettre un rapport enregistré à une revue—ou du moins, préenregistrer sa recherche, par exemple sur l'Open Science Framework (OSF).

## Les données ouvertes

De nombreuses revues exigent désormais que l'ensemble des données brutes (à l'exception des données sensibles ou identificatoires) soient incluses dans les soumissions de publications, ou bien offrent le badge « Données ouvertes » pour encourager cette pratique. Dans sa *Déclaration de principes des trois organismes sur la gestion des données numériques*, les trois Conseils de recherche du Canada (CRSH, CRSNG, IRSC) indiquent aussi spécifiquement de partager les données de recherche sur un dépôt public, et ce, tôt dans le processus (Gouvernement du Canada, Section 3). Rendre les données de l'étude disponibles en ligne
permet à d'autres équipes de recherche de valider les résultats ou bien de poser de nouvelles
questions de recherche, et donc de contribuer à la confiance dans ces recherches.

## Les matériels ouverts

Les matériels ouverts sont les items et questionnaires utilisés (s'ils ne sont pas déjà fournis dans l'article publié), ou encore le code requis pour certaines tâches cognitives ou expérimentales. Ceci permet à d'autres équipes de recherche de répliquer exactement les résultats en utilisant ce script (et ces données ouvertes). Ceci permet de s'assurer que vos résultats sont réplicables et d'identifier de possibles erreurs d'analyse. Si les résultats sont réplicables à cette étape, cela nous permet d'établir que de possibles difficultés de réplication futures (dans d'autres études) ne seront probablement pas dues à des erreurs dans le script ou dans la manière dont les résultats ont été analysés. Il est recommandé de partager les matériels (script, questionnaires, tâches) sur OSF, directement dans le projet où vous téléverserez également les données.

## L'utilisation de logiciels libres tels que R

Il y a plusieurs bénéfices à utiliser des logiciels libres (« open source » en anglais) en science, par exemple pour l'analyse ou bien la collecte des données. Bien sûr, le plus important est de partager sa syntaxe, peu importe le logiciel utilisé, que cela soit, par exemple SPSS, JASP, SAS, MATLAB, Mplus, AMOS, ou R. Cela étant dit, certains logiciels sont plus compatibles avec les idéaux de la science ouverte, alors que d'autres le sont moins (Quintana, 2020).

Premièrement, les logiciels avec des licences payantes rendent le processus difficile voire impossible pour les personnes n'ayant pas les fonds pour payer ces licences qui sont pour la plupart très onéreuses. Au Québec, la plupart des universités paient les licences de plusieurs logiciels statistiques pour l'ensemble de leur communauté (p. ex., SPSS, SAS, parfois Mplus).

Par contre, ce n'est pas le cas partout dans le monde (p. ex., en Europe et dans les pays en voie de développement). Les personnes sans licences (situées au Québec ou non) pourraient ainsi, malgré toute leur bonne volonté, être incapables de répliquer ou répéter ces analyses. Ainsi, une étudiante qui gradue n'aura plus accès à la licence de l'UQAM. Ainsi, si elle publie son article, il est possible qu'elle ne soit plus en mesure de répéter ses analyses. Par exemple, dans certains cas, une étudiante pourrait publier ses articles de thèse après avoir gradué. Il est possible que les personnes évaluatrices demandent alors d'apporter des modifications aux analyses. Si la licence de l'étudiante est expirée, cette tâche peut rapidement devenir beaucoup plus compliquée que
prévu. Les logiciels libres d'accès comme R (R Core Team, 2022), quant à eux, resteront
toujours gratuits et disponibles partout dans le monde.

Le logiciel R permet également de réduire les erreurs de transcription typiques des autres
logiciels, qui demandent bien souvent de prendre visuellement connaissances des valeurs (p. ex.,
des résultats statistiques) et de les réécrire à la main dans son manuscrit. Les erreurs dans le
rapport des valeurs statistiques sont en effet assez fréquentes en psychologie; selon certaines
estimations, jusqu'à 50% des articles ont au moins une erreur statistique (Nuijten et al., 2016).
Le logiciel R permet ainsi d'exporter les résultats (sous forme de texte (e.g., le package
« [report](https://www.researchgate.net/publication/36345437) » de easystats) ou de tableaux directement dans Microsoft Word ou Microsoft Excel
(e.g., le package [rempsyc](https://www.researchgate.net/publication/36345437)). Il permet également de vérifier s'il existe des erreurs statistiques
évidentes directement dans le PDF de votre article final (via le package [statcheck](https://www.researchgate.net/publication/36345437)). Enfin, il
permet aussi de partager l'ensemble des démarches effectuées lors de l'analyse dans un seul
script, incluant les tests de puissance (qui requiert autrement un autre logiciel, tel que G*Power),
le nettoyage des données, l'exploration et la gestion des données manquantes, le calcul des
moyennes, la vérification des postulats statistiques, la transformation et/ou la standardisation des
données, le rapport des données descriptives ou démographiques, les analyses statistiques en tant
que tel (qui dans certains cas, comme pour les analyses par modélisation d'équations
structurelles, requiert parfois encore d'autres logiciels, tels que Mplus ou AMOS), et même la
production des figures et de tableaux.

La prépublication

La prépublication (anglais : preprint) consiste à rendre la version originale du manuscrit disponible dans une archive publique en ligne, avant la publication dans une revue scientifique, comme pour ses données ou son script d'analyse sur OSF. OSF collabore notamment avec plusieurs plateformes d'archives de prépublications, qui varient en fonction des disciplines. Pour la psychologie, le serveur de prépublication le plus populaire est [PsyArXiv](https://www.psyarxiv.org/) (prononcé en anglais « Psy Archive »), fondé par la Society for the Improvement of Psychological Science, en collaboration avec OSF.

Il y a plusieurs raisons et bénéfices à publier en ligne une version préliminaire d'un
manuscrit, même si celui-ci n'a toujours pas été évalué par des pairs. D'un, cela accélère la
diffusion des résultats de recherche (Hoy, 2020). De deux, même une fois l'article accepté et
publié par un journal, celui-ci n'est peut-être pas disponible en libre accès, ce qui crée de
nouvelles barrières pour l'accès aux résultats de ces recherches. Ce bénéfice d'accessibilité et de
meilleure visibilité se traduit également par un plus grand impact de l'article : plus haut score
Altmetric et plus de citations (Fraser et al., 2020; Fu & Hughey, 2019; Serghiou & Ioannidis,
2018). De trois, si l'article n'est finalement pas publié à cause de résultats non-significatifs,
l'article reste tout de même public et découvrable en ligne, ce qui permet de réduire l'effet tiroir
mentionné plus tôt.

La publication en libre accès

La dernière étape dans le processus de la recherche est typiquement la publication de l'article final évalué par les pairs. C'est à cette étape que la publication *en libre accès* entre en jeu. Historiquement, le grand public devait payer plusieurs dizaines de dollars pour consulter un seul article scientifique, à moins d'avoir une affiliation à une université abonnée à la revue de l'article désiré. Avec la publication en libre accès, il est maintenant possible de publier un article dans une revue scientifique de sorte que le grand public n'ait aucun frais à payer pour pouvoir lire ou télécharger l'article. Comme pour la prépublication, la publication en libre accès augmente l'accessibilité et la découvrabilité de la recherche. Cela peut parfois aussi se traduire en un plus grand nombre de citations et plus de visibilité plus généralement (Holmberg et al., 2020; Langham-Putrow et al., 2021). Les Fonds de recherche du Québec (FRQ) soutiennent aussi la science ouverte. En 2021, ils ont notamment adhéré au Plan S, qui vise à favoriser un accès libre et immédiat des publications scientifiques. Par conséquent, depuis 2021, toute personne recevant une bourse ou une subvention des FRQ doit rendre immédiatement disponible publiquement toute publication révisée par les pairs découlant de ce financement (Fonds de recherche du Québec, 2022).

La raison pourquoi la publication en libre accès n'est pas plus populaire, c'est que si
l'article publié est accessible gratuitement pour le grand public, c'est parce que l'équipe de
recherche doit débourser des frais de traitement d'article à partir de leurs subventions de
recherche auprès de la revue scientifique. Ces frais s'élèvent souvent à plusieurs milliers de
dollars et les équipes de recherches n'ont pas toujours ces fonds disponibles dans leurs budgets
de recherche. Heureusement, de plus en plus d'universités développent des partenariats avec les
maisons d'édition pour subventionner directement ces frais de traitement d'article pour éviter
aux équipes de recherche à avoir à puiser dans leur subventions de recherche individuelles.
L'UQAM possède de tels partenariats avec de nombreuses maisons d'édition, telles que Elsevier, Sage, Taylor & Francis et Wiley<fnref n="3" />.

## Conclusion

Avec une science plus rigoureuse, réplicable, et transparente, tout le monde y gagne. Cela aide à réduire les conclusions scientifiques fautives, à faire progresser la théorie, réduit le risque que d'autres équipes de recherche épuisent leurs ressources de temps et d'argent à tenter de répliquer des études qui rapportent des résultats fautifs, et augmente la productivité des équipes qui aimeraient faire des réplications exactes ou conceptuelles de vos recherches. Opter pour la science ouverte, au final, c'est faire une faveur à la science, à l'UQAM et à vous-mêmes.

<footnote n="3">³ Pour plus d'information sur ces partenariats, voir : https://uqam-ca.libguides.com/libre-acces/financement-et-rabais</footnote>
Références

Camerer, C. F., Dreber, A., Holzmeister, F., Ho, T.-H., Huber, J., Johannesson, M., Kirchler, M., Nave, G., Nosek, B. A., Pfeiffer, T., Altmejd, A., Buttrick, N., Chan, T., Chen, Y., Forsell, E., Gampa, A., Heikensten, E., Hummer, L., Imai, T., Isaksson, S., Manfredi, D., Rose, J., Wagenmakers, E.-J., & Wu, H. (2018). Evaluating the replicability of social science experiments in nature and science between 2010 and 2015. *Nature Human Behaviour, 2*(9), 637-644. https://doi.org/10.1038/s41562-018-0399-z

Chambers, C. (2018). *Strategies for improving study robustness in controversial research*. https://osf.io/v7ndz

Ferguson, C. J., & Heene, M. (2012). A vast graveyard of undead theories: Publication bias and psychological science's aversion to the null. *Perspectives on Psychological Science, 7*(6), 555-561. https://doi.org/10.1177/1745691612459059

Fonds de recherche du Québec. (2022). *Politique de diffusion en libre accès (version révisée)*. https://frq.gouv.qc.ca/app/uploads/2022/06/politique-libre-acces-revisee_vf.pdf

Fraser, N., Momeni, F., Mayr, P., & Peters, I. (2020). The relationship between biorxiv preprints, citations and altmetrics. *Quantitative Science Studies, 1*(2), 618-638. https://doi.org/10.1162/qss_a_00043

Fu, D. Y., & Hughey, J. J. (2019). Releasing a preprint is associated with more attention and citations for the peer-reviewed article. *eLife, 8*, e52646. https://doi.org/10.7554/eLife.52646

Goldacre, B. (2009). *Bad science: Quacks, hacks, and big pharma flacks*. Fourth Estate.

Gouvernement du Canada. *Déclaration de principes des trois organismes sur la gestion des données numériques*. https://science.gc.ca/site/science/fr/financement-interorganismes-recherche/politiques-lignes-directrices/gestion-donnees-recherche/declaration-principes-trois-organismes-gestion-donnees-numeriques

Haeffel, G. J. (2022). Psychology needs to get tired of winning. *Royal Society Open Science*, 9*(6), 220099. https://doi.org/doi:10.1098/rsos.220099

Holmberg, K., Hedman, J., Bowman, T. D., Didegah, F., & Laakso, M. (2020). Do articles in open access journals have more frequent altmetric activity than articles in subscription-based journals? An investigation of the research output of finnish universities. *Scientometrics*, 122(1), 645-659. https://doi.org/10.1007/s11192-019-03301-x
Hoy, M. B. (2020). Rise of the Rxivs: How preprint servers are changing the publishing process.
*Medical Reference Services Quarterly*, 39(1), 84-89.
https://doi.org/10.1080/02763869.2020.1704597

Ioannidis, J. P. A. (2005). Why most published research findings are false. *PLoS Medicine*, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124

Langham-Putrow, A., Bakker, C., & Riegelman, A. (2021). Is the open access citation advantage real? A systematic review of the citation of open access and subscription-based articles.
*PloS One*, 16(6), e0253129. https://doi.org/10.1371/journal.pone.0253129

Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. *Proceedings of the National Academy of Sciences*, 115(11), 2600-2606.
https://doi.org/doi:10.1073/pnas.1708274114

Nosek, B. A., & Lakens, D. (2014). Registered reports: A method to increase the credibility of published results. *Social Psychology*, 45, 137-141. https://doi.org/10.1027/1864-9335/a000192

Nuijten, M. B., Hartgerink, C. H. J., van Assen, M. A. L. M., Epskamp, S., & Wicherts, J. M. (2016). The prevalence of statistical reporting errors in psychology (1985–2013).
*Behavior Research Methods*, 48(4), 1205-1226. https://doi.org/10.3758/s13428-015-0664-2

Open Science Collaboration. (2015). Estimating the reproducibility of psychological science.
*Science*, 349(6251), aac4716. https://doi.org/doi:10.1126/science.aac4716

Quintana, D. S. (2020). *Five things about open and reproducible science that every early career researcher should know*. https://osf.io/2jt9u

R Core Team. (2022). R: A language and environment for statistical computing (version 4.2.1) [Computer software]. *R Foundation for Statistical Computing*, Vienna, Austria.
https://www.R-project.org/

Schwab, S., Janiaud, P., Dayan, M., Amrhein, V., Panczak, R., Palagi, P. M., Hemkens, L. G., Ramon, M., Rothen, N., Senn, S., Furrer, E., & Held, L. (2022). Ten simple rules for good research practice. *PLoS Computational Biology*, 18(6), e1010139.
https://doi.org/10.1371/journal.pcbi.1010139

Serghiou, S., & Ioannidis, J. P. A. (2018). Altmetric scores, citations, and publication of studies posted as preprints. *JAMA*, 319(4), 402-404. https://doi.org/10.1001/jama.2017.21168
Wagenmakers, E.-J., Wetzels, R., Borsboom, D., van der Maas, H. L. J., & Kievit, R. A. (2012).
An agenda for purely confirmatory research. *Perspectives on Psychological Science*,
7(6), 632-638. https://doi.org/10.1177/1745691612463078

Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., van Aert, R. C. M., &
van Assen, M. A. L. M. (2016). Degrees of freedom in planning, running, analyzing, and
reporting psychological studies: A checklist to avoid p-hacking. *Frontiers in Psychology*,
7. https://doi.org/10.3389/fpsyg.2016.01832