# Une nouvelle vision pour l'édition scientifique?

Lonni Besançon, Florian Echtler, Matthew Kay, Chat Wacharamanotham

► To cite this version:

Lonni Besançon, Florian Echtler, Matthew Kay, Chat Wacharamanotham. Une nouvelle vision pour l'édition scientifique?. Journée Visu, Jun 2023, Orsay, France. hal-04133719

HAL Id: hal-04133719

https://hal.science/hal-04133719

Submitted on 20 Jun 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
# Une nouvelle vision pour l'édition scientifique?

## A new vision for scientific publishing?

Lonni Besançon, Florian Echtler, Matthew Kay, Chat Wacharamanotham

**English Abstract**—Although not as old as science itself, the scientific publishing system has barely changed despite numerous calls to adopt new standards. Visualization research is lagging behind on the adoption of transparency and our work is inherently not very well-suited for classical PDF-based manuscripts. It may be time to move forward and jump onboard a fully-transparent and Open Access journal that accepts and encourages interactive submissions and pushes the boundaries of publishing and reviewing.

**French Abstract**—Bien qu'il ne soit pas aussi ancien que la science elle-même, le système de publication scientifique n'a pratiquement pas changé malgré les nombreux appels à l'adoption de nouvelles normes. La recherche en visualisation est en retard sur l'adoption de la transparence et notre travail n'est, par nature, pas très adapté aux manuscrits classiques au format PDF. Il est peut-être temps d'aller de l'avant et de rejoindre une revue entièrement transparente et en libre accès qui accepte et encourage les soumissions interactives et repousse les limites de la publication scientifique et de sa relecture.

## 1 INTRODUCTION

Au cours de la dernière décennie, les principes de la science ouverte (Open Science) ont été défendus avec succès et sont progressivement adoptés dans différents domaines de recherche. Fondamentalement, la science ouverte vise à optimiser et à exposer la pratique et la communication scientifique en révélant l'intégralité des processus scientifiques et de leurs résultats à tous les lecteurs. Malgré des années de communication sur les enjeux des pratiques et publications opaques ainsi que sur la robustesse et la fiabilité des résultats scientifiques dans toutes les disciplines [6], [17], [19], les communautés de l'interaction homme-machine (IHM) et de la visualisation ont à peine commencé à adopter des pratiques scientifiques plus transparentes [1], [4], [13], [14], [22]–[24]. Des conversations récentes (e.g., [3], [12]) dans la communauté de la visualisation ont mis en évidence le fait que les lieux de publication traditionnels pourraient ne pas être adaptés à l'adoption de pratiques transparentes ou même encourager la reproduction de résultats antérieurs puisqu'elles mettent fortement l'accent sur le concept de nouveauté lors de la relecture par les pairs (reviewing). En outre, de nombreuses revues actuelles d'IHM et de visualisation peinent encore à mettre en œuvre le plan S¹ qui vise à rendre tous les documents accessibles en libre accès (Open Access). Pour ces raisons, nous avons décidé de proposer JoVI,

*The Journal of Visualization and Interaction*—une revue “Diamond Open Access” qui est ouverte par défaut et encourage les relecteurs à se concentrer sur la rigueur plutôt que sur la nouveauté. Nous expliquons ci-dessous les principales caractéristiques de cette revue scientifique à comité de lecture qui, nous l'espérons, façonnera une nouvelle norme de publication scientifique dans le domaine de la visualisation et de l'IHM.

## 2 UNE REVUE DIAMOND OPEN ACCESS

Nous croyons sincèrement que l'accès à la connaissance scientifique devrait être universellement possible et que les auteurs ne devraient pas avoir à payer pour publier les résultats de leur travail. Les frais de traitement des articles (Article Processing Charges ou APCs), que les auteurs doivent payer pour que leurs articles soient disponibles gratuitement, sont souvent la source de disparités plus fortes entre scientifiques [18], [27]. Dans de nombreux cas, il est même difficile de savoir ce que les APCs couvrent réellement. C'est pour cela que nous avons voulu que JoVI soit une revue en libre accès dit "diamant". En d'autres termes, les auteurs n'ont pas à payer pour publier (pas d'APCs) et les lecteurs peuvent accéder à tous les articles sans payer.

## 3 TRANSPARENCE PAR DÉFAUT

Pour faciliter l'examen, l'évaluation et la réutilisation des résultats de la recherche, JoVI utilise la transparence comme principe par défaut. Tous les documents, données, scripts, codes, etc. doivent donc être mis à disposition des lecteurs librement afin que les résultats puissent être réutilisés ou évalués par des pairs, ce qui permet d'accroître leur fiabilité et de

* Lonni Besançon: Linköping University
  E-mail: lonni.besancon@gmail.com.

* Florian Echtler: Aalborg University
  E-mail: floech@cs.aau.dk.

* Matthew Kay: Northwestern University
  E-mail: mjskay@northwestern.edu.

* Chat Wacharamanotham: Swansea University
  E-mail: chat@acm.org.
limiter le gaspillage scientifique [6], [8], [15]. Pour citer directement la mission de la revue :

Pour toute contribution empirique, les manuscrits doivent mettre à disposition toutes les données et tous les raisonnements d'une manière qui invite à les examiner, afin que les chercheurs puissent évaluer les affirmations, réutiliser les méthodes et les matériaux, et s'appuyer sur les résultats. Pour toute contribution computationnelle, l'ensemble du code doit être reproductible moyennant un effort raisonnable.

Lorsque des préoccupations éthiques empêchent les auteurs de soumettre l'un de ces matériaux avec leur manuscrit, ils doivent clairement décrire les caractéristiques de ces matériaux et fournir des informations précises sur la manière dont ils ont été utilisés d'une part, et d'autre part justifier de manière adéquate le compromis entre la transparence et l'éthique, en utilisant, par exemple, l'évaluation de leur comité d'examen institutionnel (Institutional Review Board, ou IRB)

# 4 RELECTURE PAR LES PAIRS OUVERTE ET PLUS HUMAINE

Les discussions importantes et les points de modulation soulevés au cours du processus de relecture par les pairs ne sont, dans la plupart des revues, pas mis à la disposition des autres chercheurs et lecteurs [21]. Les exceptions dans la recherche en IHM sont alt.chi et alt.VIS, bien qu'il soit peu probable que cette pratique s'étende à d'autres domaines [7]. Nous pensons toutefois que les discussions et les rapports de relecture par les pairs sont des contributions précieuses qui devraient être mises à la disposition de tous. Les chercheurs en début de carrière bénéficieraient même de l'accès à de bons exemples de rapports de relecture [16]. Nous pensons également que les scientifiques reçoivent rarement un crédit approprié pour leur travail de relecture dans des revues scientifiques [25], et c'est pour cette raison que nous offrons la possibilité aux relecteurs de signer leurs rapports.

Au-delà du manque d'adoption de cette transparence pendant le processus de relecture par les pairs (Open Review), les domaines de l'IHM et de la visualisation sont traditionnellement très axés sur la nouveauté lors de l'évaluation par les pairs. Notre objectif est de nous écarter de cette approche et de favoriser l'apport de connaissances plutôt qu'une nouveauté "superficielle". En d'autres termes, nous pensons qu'un article proposant de nouvelles connaissances sur des techniques déjà développées, par exemple par le biais d'évaluations empiriques, ne devrait pas être difficile à publier. L'effort de relecture par les pairs devrait se concentrer sur la rigueur de l'évaluation plutôt que sur la nouveauté de la ou des techniques.

# 5 NOUVEAUX FORMATS DE PUBLICATION

Outre la transparence par défaut, la revue encourage également de nouveaux formats de soumission qui n'ont que peu de chances de trouver leur place dans les revues traditionnelles. Tout d'abord, la revue accepte les commentaires post-publication sur les articles. Ces commentaires sont une façon d'évaluer et discuter les articles après leur publication, un peu comme sur les plateformes *PubPeer* [2] ou *hypothes.is*. Cela nous permet de continuer dans notre démarche de relecture par les pairs faite de façon continue et différente des revues traditionnelles.

Deuxièmement, pour accroître la robustesse et la fiabilité des travaux empiriques, JoVI encourage les rapports enregistrés (Registered Reports) [10], [26]. Les rapports enregistrés - également appelés protocoles d'étude évalués par les pairs (peer-reviewed study protocols) - sont une forme de publication empirique dans laquelle les propositions d'étude sont évaluées par les pairs et pré-acceptées avant que la recherche ne soit entreprise, et l'évaluation se fait en deux étapes [9], [11]. La première étape consiste en une soumission fournissant des détails sur la question de recherche, les hypothèses, la méthodologie, les analyses statistiques et la stratégie de reporting. Les évaluateurs sont invités à donner leur avis sur la question de recherche et la méthodologie, leur pertinence et leur solidité. À l'issue de ce cycle d'évaluation et si les évaluateurs l'approuvent, le manuscrit obtient une forme d'acceptation conditionnelle et les auteurs peuvent alors commencer à collecter des données et à effectuer leurs analyses comme prévu. La deuxième étape de relecture évalue si le plan a été suivi (ou la gravité des écarts) et fournit un commentaire sur les conclusions et les interprétations des résultats. Ce processus d'examen en deux étapes permet de réduire le gaspillage des ressources de recherche en détectant les failles dans la conception de l'étude avant la collecte des données. Malgré l'enthousiasme suscité par ce format, il est peu probable qu'un tel changement de paradigme pour les travaux empiriques soit soutenu par les principales revues scientifique de visualisation et d'IHM en raison de leurs délais, échéances, et fonctionnements [3], [12].

# 6 PERSPECTIVES

En plus de toutes ces caractéristiques, JoVI permet également d'imaginer ce que pourrait être l'avenir de l'édition scientifique. Dans un volet expérimental optionnel (experimental track), nous testerons continuellement de nouveaux formats de publication pour permettre, par exemple, des types de soumission inhabituels (e.g., des articles interactifs pour mieux présenter vos visualisations interactives), de nouveaux processus de révision, ou des documents vivotants qui pourraient être écrits de manière incrémen-tale (par exemple, à la *Octopus* [20]), revus et même
corrigés. Pour plus de détails sur JoVI, voir sa déclaration de mission [5] et son site web journalovi.org. Nous attendons avec impatience vos contributions.

# 7 CONTRIBUTIONS

Tous les auteurs ont contribué à la rédaction de ce manuscrit.

Rédaction du brouillon: LB

Rédaction finale: LB, FE, MK, CW

# 8 REMERCIEMENTS

Les auteurs souhaitent remercier le comité éditorial et le comité de conseil de JoVI pour leurs précieux commentaires et le soutien qu'ils ont apporté à la création de JoVI. Ils remercient également les relectrices de ce manuscrit: Ludivine Bertoia Itier et Béatrice Fortin.

# REFERENCES

[1] L. F. Aeschbach, S. A. Perrig, L. Weder, K. Opwis, and F. Brühlmann. Transparency in measurement reporting: A systematic literature review of chi play. *Proc. ACM Hum.-Comput. Interact.*, 5(CHI PLAY), oct 2021. doi: 10.1145/3474660

[2] B. Barbour and B. M. Stell. Pubpeer: Scientific assessment without metrics. *Gaming the metrics: Misconduct and manipulation in academic research*, pp. 149–155, 2020.

[3] L. Besançon, A. Bezerianos, P. Dragicevic, P. Isenberg, and Y. Jansen. Publishing visualization studies as registered reports: Expected benefits and researchers' attitudes. In *alt.VIS 2021 workshop at IEEE VIS*, 2021. doi: 10.31219/osf.io/3z7kx

[4] L. Besançon and P. Dragicevic. The Continued Prevalence of Dichotomous Inferences at CHI. In *CHI 2019 - Proceedings of CHI Conference on Human Factors in Computing Systems Extended Abstracts*. Glasgow, United Kingdom, May 2019. doi: 10.1145/3290607.3310432

[5] L. Besançon, F. Echtler, M. Kay, and C. Wacharamanotham. The journal of visualization and interaction: A diamond open-access journal for the infovis and hci communities. *Journal of Visualization and Interaction*, 2023. doi: 10.54337/jovi.v1i1.7782

[6] L. Besançon, N. Peiffer-Smadja, C. Segalas, H. Jiang, P. Masuzzo, C. Smout, E. Billy, M. Deforet, and C. Leyrat. Open science saves lives: lessons from the covid-19 pandemic. *BMC Medical Research Methodology*, 21(1):1–18, 2021. doi: 10.1186/s12874-021-01304-y

[7] L. Besançon, N. Rönnberg, J. Löwgren, J. P. Tennant, and M. Cooper. Open up: a survey on open and non-anonymized peer reviewing. *Research Integrity and Peer Review*, 5(1):1–11, 2020. doi: 10.1186/s41073-020-00094-z

[8] I. Chalmers and P. Glasziou. Avoidable waste in the production and reporting of research evidence. *The Lancet*, 374(9683):86–89, 2009. doi: 10.1016/S0140-6736(09)60329-9

[9] C. D. Chambers. Registered reports: a new publishing initiative at cortex. *Cortex*, 49(3):609–610, 2013. doi: 10.1016/j.cortex.2012.12.016

[10] C. D. Chambers, E. Feredoes, S. D. Muthukumaraswamy, and P. Etchells. Instead of "playing the game" it is time to change the rules: Registered reports at aims neuroscience and beyond. *AIMS Neuroscience*, 1(1):4–17, 2014. doi: 10.3934/Neuroscience2014.14

[11] C. D. Chambers and L. Tzavella. The past, present and future of registered reports. *Nature human behaviour*, 6(1):29–42, 2022. doi: 10.1038/s41562-021-01193-7

[12] A. Cockburn, P. Dragicevic, L. Besançon, and C. Gutwin. Threats of a replication crisis in empirical computer science. *Commun. ACM*, 63(8):70–79, jul 2020. doi: 10.1145/3360311

[13] A. Cockburn, C. Gutwin, and A. Dix. Hark no more: On the preregistration of chi experiments. In *Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems*, CHI '18, p. 1–12. Association for Computing Machinery, New York, NY, USA, 2018. doi: 10.1145/3173574.3173715

[14] F. Echtler and M. Häußler. Open source, open science, and the replication crisis in hci. In *Proceedings of the 2018 CHI Conference Extended Abstracts on Human Factors in Computing Systems*, CHI EA '18. ACM, New York, NY, USA, 2018. doi: 10.1145/3170427.3188395

[15] P. P. Glasziou, S. Sanders, and T. Hoffmann. Waste in covid-19 research. *BMJ*, 369, 2020. doi: 10.1136/bmj.m1847

[16] Y. Jansen, K. Hornbaek, and P. Dragicevic. What Did Authors Value in the CHI'16 Reviews They Received? In *Proceedings of the 2016 CHI Conference Extended Abstracts on Human Factors in Computing Systems*, pp. 596 – 608, May 2016. doi: 10.1145/2851581.2892576

[17] E. C. McKiernan, P. E. Bourne, C. T. Brown, S. Buck, A. Kenall, J. Lin, D. McDougall, B. A. Nosek, K. Ram, C. K. Soderberg, J. R. Spies, K. Thaney, A. Updegrove, K. H. Woo, and T. Yarkoni. Point of view: How open science helps researchers succeed. *eLife*, 5:e16800, jul 2016. doi: 10.7554/eLife.16800

[18] A. Mekonnen, C. Downs, E. O. Effiom, M. Kibaja, M. J. Lawes, P. Omeja, F. M. Ratsoavina, O. Razafindratsima, D. Sarkar, N. C. Stenseth, et al. Can i afford to publish? a dilemma for african scholars. *Ecology letters*, 25(4):711–715, 2022. doi: 10.1111/ele.13949

[19] T. Miyakawa. No raw data, no science: another possible source of the reproducibility crisis. *Molecular brain*, 13:1–6, 2020. doi: 10.1186/s13041-020-0552-2

[20] E. Pain. Meet octopus, a new vision for scientific publishing. https://www.sciencemag.org/careers/2018/11/meet-octopus-new-vision-scientific-publishing. doi: 10.1126/science.caredit.aav9309

[21] T. Ross-Hellauer. What is open peer review? a systematic review [version 2; peer review: 4 approved]. *F1000Research*, 6(588), 2017. doi: 10.12688/f1000research.11369.2

[22] K. Salehzadeh Niksirat, L. Goswami, P. S. B. Rao, J. Tyler, A. Silacci, S. Aliyu, A. Aebl, C. Wacharamanotham, and M. Cherubini. Changes in research ethics, openness, and transparency in empirical studies between chi 2017 and chi 2022. In *Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems*, CHI '23. Association for Computing Machinery, New York, NY, USA, 2023. doi: 10.1145/3544548.3580848

[23] J. B. Vornhagen, A. Tyack, and E. D. Mekler. Statistical significance testing at chi play: Challenges and opportunities for more transparency. In *Proceedings of the Annual Symposium on Computer-Human Interaction in Play*, CHI PLAY '20, p. 4–18. Association for Computing Machinery, New York, NY, USA, 2020. doi: 10.1145/3410404.3414229

[24] C. Wacharamanotham, L. Eisenring, S. Haroz, and F. Echtler. Transparency of chi research artifacts: Results of a self-reported survey. In *Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems*, CHI '20, p. 1–14. Association for Computing Machinery, New York, NY, USA, 2020. doi: 10.1145/3313831.3376448

[25] R. Walker and P. Rocha da Silva. Emerging trends in peer review—a survey. *Frontiers in neuroscience*, 9:169, 2015.

[26] R. Wiseman, C. Watt, and D. Kornbrot. Registered reports: an early example and analysis. *PeerJ*, 7:e6232, Jan. 2019. doi: 10.7717/peerj.6232

[27] L. Zhang, Y. Wei, Y. Huang, and G. Sivertsen. Should open access lead to closed research? the trends towards paying to perform research. *Scientometrics*, 127(12):7653–7679, 2022. doi: 10.1007/s11192-022-04407-5