telles que l'adaptation du code à des architectures spécifiques ou
l'exploitation du parallélisme, peuvent rendre les résultats moins
reproductibles. Cette dichotomie pose un problème ouvert critique :
comment pouvons-nous équilibrer la recherche de performances
maximales avec l'assurance de résultats consistant ? C'est un acte délicat
d'équilibrage qui nécessite une compréhension plus approfondie de
l'interaction entre l'architecture du système, les stratégies d'optimisation et
la nature des tâches. Un exemple déjà donné dans la section précédente est,
par exemple, l'utilisation de la fonctionnalité « Fused Multiply-
Add » (FMA) ou des « Advanced vector extensions » (AVX) ou encore des
unités de calcul tensoriel, qui peuvent entraîner une perte de
reproductibilité en HPC. Sur les clusters et les supercalculateurs, cela
suppose par exemple de désactiver les instructions AVX et/ou FMA. Cette
dernière correspond à une opération en virgule flottante de multiplication
et d'addition réalisée en une seule étape horloge du CPU et avec un seul
arrondi, et le changement dans l'ordre des opérations en virgule flottante
et dans la précision entraîne un manque de reproductibilité si on compare
cette exécution avec l'exécution successive des deux opérations de
multiplication puis d'addition. La recherche dans ce domaine est vitale
pour développer de nouvelles méthodes qui peuvent garantir des résultats
reproductibles sans sacrifier trop les performances pour lesquelles les
systèmes HPC sont utilisés.

8.4. Education, collaboration et intégration

L'intégration de la reproductibilité au cœur même de la méthode
scientifique est un défi qui n'entre pas dans la case des solutions techniques,
touchant aux aspects éducatifs et collaboratifs. Il est impératif d'inculquer
les principes de la recherche reproductible au sein des programmes
éducatifs afin d'éduquer une nouvelle génération de scientifiques qui
# Chapitre 8

## Des problèmes ouverts concernant la recherche reproductible en calcul haute performance

### 8.1. Portabilité des algorithmes, en particulier des générateurs de nombres pseudo-aléatoires

Vérifier la justesse des algorithmes en calcul à hautes performances est une tâche difficile. Un exemple frappant est l'incohérence observée lorsque l'on implémente un générateur de nombres pseudo-aléatoires dans différents langages de programmation ou technologies. Parmi les meilleurs PRNGs, Philox mentionné précédemment est un exemple où il faut être prudent sur la portabilité, MLFG est un autre exemple où nous avons rencontré des problèmes de portabilité. Lorsqu'un PRNG est initialisé avec le même état initial, nous nous attendons à obtenir une séquence identique de nombres quels que soient les différents environnements informatiques et bibliothèques (comme Numpy ou TensorFlow). Cependant, des variations apparaissent, jetant le doute sur la portabilité et la consistance de l'algorithme. Cela remet également en question la fiabilité des résultats scientifiques obtenus à partir de tels algorithmes. Les fondements de la science informatique déterministe reposent sur la prévisibilité et la fiabilité des algorithmes. Les disparités observées dans les sorties des PRNGs soulignent un problème plus large : sans mise en œuvre normalisée et vérification rigoureuse entre les plateformes, comment pouvons-nous garantir l'intégrité de nos résultats algorithmiques ? Cela appelle à un effort concerté pour développer et respecter la normalisation dans les implémentations de PRNG. De plus, cela nécessite la création de
intègrent naturellement ces pratiques dans leur travail. Au-delà du monde universitaire, promouvoir des normes de collaboration est essentiel pour développer et maintenir des workflows reproductibles. Cela concerne non seulement le chercheur individuel, mais l'ensemble de l'écosystème scientifique, y compris les éditeurs de journaux scientifiques, les financeurs et les institutions. L'objectif est de créer une culture scientifique où la reproductibilité ne soit pas une réflexion après coup, mais un composant fondamental du processus scientifique, de l'acquisition des données à l'analyse.

## 8.5. Reproductibilité avec les nouveaux paradigmes de calcul

Les modèles de calculs émergents, notamment l'ordinateur quantique, posent des défis sans précédent en matière de reproductibilité. L'ordinateur quantique, par exemple, fonctionne selon un ensemble de principes différents de l'informatique classique, ce qui entraîne de nouveaux types d'erreurs et d'incertitudes. Le domaine en est encore à ses débuts, de nombreuses options techniques étant explorées pour créer des qubits fiables pour les circuits quantiques. Nous avons souvent besoin d'un millier de qubits excellents pour modéliser un seul qubit parfait, et les expériences qui fonctionnent correctement sur des simulateurs quantiques sont souvent non reproductibles sur de véritables machines quantiques (Hill et al. 2023). La nature probabiliste de l'informatique quantique rend de fait la répétabilité insaisissable et la reproductibilité encore plus essentielle. Les outils et pratiques actuels ne sont pas adaptés pour faire face à ces nouveaux problèmes, ce qui nécessite un effort de recherche pour vérifier les résultats des calculs quantiques bruités et comprendre comment surmonter les obstacles à la reproductibilité dans ce paradigme de calcul disruptif.
logiciel de vérification robustes pouvant garantir la fidélité et la portabilité algorithmiques dans divers environnements informatiques, ce qui est essentiel pour l'avancement de la science.

## 8.2. Reproductibilité des données dans le cadre du « Big data »

La prolifération des données volumineuses dans le monde du calcul à hautes performances introduit des défis variés en matière de reproductibilité des données. À mesure que les ensembles de données deviennent de plus en plus volumineux, les systèmes de gestion des versions de données conventionnels peinent à suivre le rythme, ce qui entraîne d'importants obstacles à la maintenance d'un environnement de données consistant et reproductible. Il s'agit non seulement d'un problème technique, mais aussi méthodologique, où la nécessité de gérer de manière évolutive et efficace ces ensembles de données volumineux est primordiale. De plus, avec l'accent de plus en plus mis sur la science basée sur les données, il est impératif d'établir des pratiques robustes de partage de données adaptées à l'échelle et à la complexité immenses des écosystèmes de données volumineuses du HPC. Ces pratiques doivent non seulement faciliter le partage, mais aussi garantir l'intégrité et la reproductibilité des données. La mise à jour de bases de données volumineuses peut entraîner une perte de reproductibilité, et il est difficile de gérer l'archivage de toutes les versions d'une telle quantité de données. Aborder ces défis est essentiel pour permettre la découverte scientifique collaborative et maintenir la crédibilité de la recherche computationnelle.

## 8.3. Reproductibilité des temps de calculs et optimisations

La quête de réalisation de calcul toujours plus rapide dans le monde du calcul haute performance conduit souvent à un compromis avec la
Conclusion

Atteindre la reproductibilité en calcul à haute performance présente des défis. Certains outils choisissent de privilégier la facilité d'utilisation au détriment de l'optimisation des performances, comme on peut l'observer avec les principes FAIR conçus pour des disciplines telles que la biologie. Pour d'autres, la performance est recherchée prioritairement. Ainsi, il est intéressant de faire la distinction entre la recherche reproductible en général et la reproductibilité dans le contexte du calcul à haute performance.

À l'avant-garde de l'exploration scientifique, le calcul à haute
performance incarne l'innovation technologique, mais se débat avec le
principe fondamental de la reproductibilité. Cet article s'est lancé dans un
voyage à travers le paysage complexe de la reproductibilité dans le monde
du calcul informatique et plus précisément celui du calcul à haute
performance. Nous avons examiné la crise de la reproductibilité qui sévit
non seulement dans ce domaine, mais aussi dans de nombreux autres
domaines scientifiques. Nous avons souligné le rôle essentiel de l'ingénierie
logicielle, de la gestion des différentes versions des codes, de la gestion des
workflows et de la culture scientifique qui influence la reproductibilité, et
avons proposé des solutions robustes telles que la programmation lettrée,
la gestion avancée des workflows et des technologies de conteneurisation
telles que Guix et Apptainer.

En ce qui concerne la recherche reproductible dans son ensemble, à
notre avis, un problème concerne la culture scientifique des chercheurs
informaticiens. Les agences de financement devraient mettre l'accent sur la
promotion et l'incitation à la recherche reproductible, encourageant les
chercheurs à utiliser les outils existants. Avec des efforts raisonnables, il
pourrait devenir courant d'accompagner les publications scientifiques de
reproductibilité, en particulier lorsqu'il s'agit de systèmes parallèles et distribués. Les techniques d'optimisation qui améliorent les performances, telles que l'adaptation du code à des architectures spécifiques ou l'exploitation du parallélisme, peuvent rendre les résultats moins reproductibles. Cette dichotomie pose un problème ouvert critique : comment pouvons-nous équilibrer la recherche de performances maximales avec l'assurance de résultats consistant ? C'est un acte délicat d'équilibrage qui nécessite une compréhension plus approfondie de l'interaction entre l'architecture du système, les stratégies d'optimisation et la nature des tâches. Un exemple déjà donné dans la section précédente est, par exemple, l'utilisation de la fonctionnalité « Fused Multiply-Add » (FMA) ou des « Advanced vector extensions » (AVX) ou encore des unités de calcul tensoriel, qui peuvent entraîner une perte de reproductibilité en HPC. Sur les clusters et les supercalculateurs, cela suppose par exemple de désactiver les instructions AVX et/ou FMA. Cette dernière correspond à une opération en virgule flottante de multiplication et d'addition réalisée en une seule étape horloge du CPU et avec un seul arrondi, et le changement dans l'ordre des opérations en virgule flottante et dans la précision entraîne un manque de reproductibilité si on compare cette exécution avec l'exécution successive des deux opérations de multiplication puis d'addition. La recherche dans ce domaine est vitale pour développer de nouvelles méthodes qui peuvent garantir des résultats reproductibles sans sacrifier trop les performances pour lesquelles les systèmes HPC sont utilisés.

## 8.4. Education, collaboration et intégration

L'intégration de la reproductibilité au cœur même de la méthode scientifique est un défi qui n'entre pas dans la case des solutions
documents connexes (les artéfacts). Comme l'informatique est un domaine
de recherche relativement jeune, de nombreux praticiens manquent de
formation en épistémologie. Cela se manifeste souvent lorsque les
informaticiens utilisent à tort le terme de « méthodologie » au lieu de
« méthode » par exemple. Cependant, avec la poursuite de la promotion de
la recherche reproductible, la pratique bien établie de tenir des cahiers de
laboratoire en biologie commence à trouver son équivalent via les
« notebooks » de type Jupyter qui commencent à se répandre en
informatique.

Dans le cas de la reproductibilité en calcul haute performance, la
situation est plus compliquée. Le calcul exaflopique est désormais une
réalité. Les supercalculateurs deviennent beaucoup plus denses et, même
s'ils affichent les meilleures performances jamais obtenues, ils ont un temps
de fonctionnement très limité, souvent en raison d'erreurs silencieuses.
Nous avons constamment besoin de puissance de calcul accrue pour mener
des explorations plus poussées avec des programmes complexes. Par
exemple, un plan complet d'expériences avec toutes les combinaisons des
facteurs possibles (paramètres d'entrée) reste bien souvent inabordable.
Par conséquent, une augmentation de la capacité d'échantillonnage de
l'espace de toutes les expériences possibles est toujours la bienvenue. Cette
approche nécessite toujours plus de puissance de calcul. Même si l'objectif
principal est d'améliorer la vitesse de calcul, cela nécessite le déploiement
d'architectures parallèles étendues et d'optimisations, et nous avons
découvert au cours de la dernière décennie que cela se fait trop souvent au
détriment de la reproductibilité. Les calculs coûteux sont des calculs que
nous ne voulons pas avoir besoin de reproduire (Hinsen 2021). Cependant,
dans ce cas, nous devons pouvoir avoir confiance dans les résultats
obtenus, cela peut supposer l'archivage de données conséquentes comme
dans (Boyer et al. 2022a ; Boyer et al. 2022b). Atteindre la reproductibilité
en calcul haute performance passe souvent par une perte de performances
techniques, touchant aux aspects éducatifs et collaboratifs. Il est impératif d'inculquer les principes de la recherche reproductible au sein des programmes éducatifs afin d'éduquer une nouvelle génération de scientifiques qui intègrent naturellement ces pratiques dans leur travail. Au-delà du monde universitaire, promouvoir des normes de collaboration est essentiel pour développer et maintenir des workflows reproductibles. Cela concerne non seulement le chercheur individuel, mais l'ensemble de l'écosystème scientifique, y compris les éditeurs de journaux scientifiques, les financeurs et les institutions. L'objectif est de créer une culture scientifique où la reproductibilité ne soit pas une réflexion après coup, mais un composant fondamental du processus scientifique, de l'acquisition des données à l'analyse.

## 8.5. Reproductibilité avec les nouveaux paradigmes de calcul

Les modèles de calculs émergents, notamment l'ordinateur quantique, posent des défis sans précédent en matière de reproductibilité. L'ordinateur quantique, par exemple, fonctionne selon un ensemble de principes différents de l'informatique classique, ce qui entraîne de nouveaux types d'erreurs et d'incertitudes. Le domaine en est encore à ses débuts, de nombreuses options techniques étant explorées pour créer des qubits fiables pour les circuits quantiques. Nous avons souvent besoin d'un millier de qubits excellents pour modéliser un seul qubit parfait, et les expériences qui fonctionnent correctement sur des simulateurs quantiques sont souvent non reproductibles sur de véritables machines quantiques (Hill et al. 2023). La nature probabiliste de l'informatique quantique rend de fait la répétabilité insaisissable et la reproductibilité encore plus essentielle. Les outils et pratiques actuels ne sont pas adaptés pour faire face à ces nouveaux problèmes, ce qui nécessite un effort de recherche
lorsque l'on accepte de désactiver certaines optimisations qui font perdre
la répétabilité dans un contexte de calcul avec des nombres réels flottants.
Nous pensons qu'il restera toujours des problèmes en matière de
reproductibilité de simulations parallèles massivement optimisées. Pour
des calculs parallèles plus modestes, des outils tels que Guix ou Apptainer
(Singularity) se sont révélés efficaces avec des performances proches des
performances natives. Pour l'instant, que vous travailliez sur une
plateforme à mémoire partagée ou à mémoire distribuée, si vous optimisez
fortement des calculs parallèles massifs, vous avez de grandes chances de
rencontrer un manque de reproductibilité numérique.

Des défis émergents proviennent également des domaines de
l'intelligence artificielle et du Big Data. Une part importante des ressources
informatiques mondiales est actuellement consacrée à la formation de
modèles d'IA et au stockage de vastes ensembles de données. Obtenir une
reproductibilité en termes de résultats numériques, mais aussi en termes de
performances, peut être difficile mais essentiel pour garantir l'explicabilité
en intelligence artificielle. De plus, nous devons également répondre à
l'impératif de réduire notre consommation énergétique, et l'on peut aussi
travailler sur des algorithmes optimisés pour être plus économies en
énergie.

Enfin, une nouvelle forme de calcul haute performance est disponible
grâce à l'informatique quantique. Cette technologie est probablement celle
qui pose le plus de problèmes ouverts et stimulants. Nous ne disposons
pas actuellement d'un ordinateur quantique général avec des qubits
parfaits. De nombreuses options techniques sont testées pour fournir
d'excellents qubits, mais ils ne sont pas parfaits, s'il est déjà possible de
travailler sérieusement, il reste difficile de concevoir des circuits fiables en
2024. Bien que les simulateurs quantiques fonctionnent correctement,
l'utilisation de machines quantiques se heurte encore à de nombreux défis
pour obtenir une reproductibilité statistique.
pour vérifier les résultats des calculs quantiques bruités et comprendre comment surmonter les obstacles à la reproductibilité dans ce paradigme de calcul disruptif.
En conclusion, nous voulons mettre en avant le fait que les ordinateurs servent d'outils fondamentaux, non seulement pour les informaticiens, mais aussi pour de nombreuses disciplines scientifiques et que de ce fait, toutes les disciplines sont concernées. Tout comme l'approche précise et systématique de la métrologie appliquée aux instruments des biologistes et des physiciens, les scientifiques doivent reconnaître les imperfections et les incertitudes inhérentes aux outils informatiques. Nous recommandons fortement le MOOC sur la Recherche reproductible qui aborde les principes méthodologiques et l'utilisation d'outils pour une science transparente. Enfin, il nous semble impératif que les principes de la méthode scientifique, y compris le principe de la reproductibilité, soient intégrés dans les programmes d'enseignement en informatique.
Conclusion

Atteindre la reproductibilité en calcul à hautes performances présente
des défis. Certains outils choisissent de privilégier la facilité d'utilisation au
détriment de l'optimisation des performances, comme on peut l'observer
avec les principes FAIR conçus pour des disciplines telles que la biologie.
Pour d'autres la performance est recherchée prioritairement. Ainsi, il est
intéressant de faire la distinction entre la recherche reproductible en
général et la reproductibilité dans le contexte du calcul à hautes
performances.

À l'avant-garde de l'exploration scientifique, le calcul à hautes
performances incarne l'innovation technologique, mais se débat avec le
principe fondamental de la reproductibilité. Cet article s'est lancé dans un
voyage à travers le paysage complexe de la reproductibilité dans le monde
du calcul informatique et plus précisément celui du calcul à hautes
performances. Nous avons examiné la crise de la reproductibilité qui sévit
non seulement dans ce domaine, mais aussi dans de nombreux autres
domaines scientifiques. Nous avons souligné le rôle essentiel de
l'ingénierie logicielle, de la gestion des différentes versions des codes, de la
gestion des workflows et de la culture scientifique qui influence la
reproductibilité, et avons proposé des solutions robustes telles que la
programmation lettrée, la gestion avancée des workflows et des
technologies de conteneurisation telles que Guix et Apptainer.

En ce qui concerne la recherche reproductible dans son ensemble, à
notre avis, un problème concerne la culture scientifique des chercheurs
informaticiens. Les agences de financement devraient mettre l'accent sur
la promotion et l'incitation à la recherche reproductible, encourageant les
Références bibliographiques

Abbasi, K. (2020). *Covid-19 : politicisation, "corruption", and suppression of science*
British Medical Journal Publishing Group.

Abraham, S., Paul, A.K., Khan, R.I.S., Butt, A.R. (2020). On the use of containers in high performance computing environments. *International Conference on Cloud Computing (CLOUD)*. IEEE, 284–293.

Acharya, A., Fanguède, J., Paolino, M., Raho, D. (2018). A performance benchmarking analysis of hypervisors containers and unikernels on ARMv8 and x86 CPUs. *European Conference on Networks and Communications (EuCNC)*. IEEE, 282–9.

Allaire, J. (2012). RStudio : integrated development environment for R. *Boston, MA*, 770(394), 165–171.

Altekar, G., Stoica, I. (2009). ODR: Output-deterministic replay for multicore debugging. *ACM SIGOPS 22nd symposium on Operating systems principles*. 193–206.

Altintas, I., Berkley, C., Jaeger, E., Jones, M., Ludascher, B., Mock, S. (2004). Kepler: an extensible system for design and execution of scientific workflows. *16th International Conference on Scientific and Statistical Database Management*. IEEE, 423–424.

Amstutz, P., Crusoe, M.R., Tijanić, N., Chapman, B., Chilton, J., Heuer, M., Kartashov, A., Leehr, D., Ménager, H., Nedeljkovich, M. (2016). *Common workflow language, v1. 0* eScholarship, University of California.

Amstutz, P., Mikheev, M., Crusoe, M.R., Tijanić, N., Lampa, S. (2024). Existing Workflow systems. , 25 January 2024. [En ligne]. Disponible à l'adresse : https://s.apache.org/existing-workflow-systems [Consulté le 19 Mars 2024].
chercheurs à utiliser les outils existants. Avec des efforts raisonnables, il pourrait devenir courant d'accompagner les publications scientifiques de documents connexes (les artéfacts). Comme l'informatique est un domaine de recherche relativement jeune, de nombreux praticiens manquent de formation en épistémologie. Cela se manifeste souvent lorsque les informaticiens utilisent à tort le terme de « méthodologie » au lieu de « méthode » par exemple. Cependant, avec la poursuite de la promotion de la recherche reproductible, la pratique bien établie de tenir des cahiers de laboratoire en biologie commence à trouver son équivalent via les « notebooks » de type Jupiter qui commencent à se répandre en informatique.

Dans le cas de la reproductibilité en calcul haute performance, la situation est plus compliquée. Le calcul exaflopique est désormais une réalité. Les super calculateurs deviennent beaucoup plus denses et, même s'ils affichent les meilleures performances jamais obtenues, ils ont un temps de fonctionnement très limité, souvent en raison d'erreurs silencieuses. Nous avons constamment besoin de puissance de calcul accrue pour mener des explorations plus poussées avec des programmes complexes. Par exemple, un plan complet d'expériences avec toutes les combinaisons des facteurs possibles (paramètres d'entrée) reste bien souvent inabordable. Par conséquent, une augmentation de la capacité d'échantillonnage de l'espace de toutes les expériences possibles est toujours la bienvenue. Cette approche nécessite toujours plus de puissance de calcul. Même si l'objectif principal est d'améliorer la vitesse de calcul, cela nécessite le déploiement d'architectures parallèles étendues et d'optimisations, et nous avons découvert au cours de la dernière décennie que cela se fait trop souvent au détriment de la reproductibilité. Les calculs couteux sont des calculs que nous ne voulons pas avoir besoin de
Antunes, B., Hill, D.R.C. (2023). Identifying quality mersenne twister streams for parallel stochastic simulations. *Winter Simulation Conference (WSC)*. IEEE, 2801-2812.

Antunes B., Hill D.R.C. (2024). Reproducibility, Replicability and Repeatability: A survey of reproducible research with a focus on high performance computing, *Computer Science Review*, 53, 100655, 28 p. https://doi.org/10.1016/j.cosrev.2024.100655.

Aupy, G., Benoit, A., Hérault, T., Robert, Y., Vivien, F., Zaidouni, D. (2013). On the combination of silent error detection and checkpointing. *Pacific Rim International Symposium on Dependable Computing*. IEEE, 11–20.

Baier, T., Neuwirth, E. (2007). Excel : : Com. *Computational statistics*, 22(1), 91–108.

Bajpai, V., Kühlewind, M., Ott, J., Schönwälder, J., Sperotto, A., Trammell, B. (2017). Challenges with reproducibility. *Reproducibility Workshop*. 1–4.

Bajpai, V., Bonaventure, O., Claffy, K., Karrenberg, D. (2019). Encouraging reproducibility in scientific research of the internet. *Dagstuhl reports*, 8(10).

Bajpai, V., Brunstrom, A., Feldmann, A., Kellerer, W., Pras, A., Schulzrinne, H., Smaragdakis, G., Wählisch, M., Wehrle, K. (2019). The Dagstuhl beginners guide to reproducibility for experimental networking research. *ACM SIGCOMM Computer Communication Review*, 49(1), 24–30.

Baker, M. (2016). Reproducibility crisis. *Nature*, 533(26), 353–66.

Barba, L.A. (2018). Terminologies for reproducible research. *arXiv preprint arXiv:1802.03311*, 2018.

Baumann, R.C. (2005). Radiation-induced soft errors in advanced semiconductor technologies. *IEEE Transactions on Device and materials reliability*, 5(3), 305–316.
reproduire (Hinsen 2021). Cependant, dans ce cas, nous devons pouvoir avoir confiance dans les résultats obtenus, cela peut supposer l'archivage de données conséquentes comme dans (Boyer et al. 2022a; Boyer et al. 2022b). Atteindre la reproductibilité en calcul haute performance passe souvent par une perte de performances lorsque l'on accepte de désactiver certaines optimisations qui font perdre la répétabilité dans un contexte de calcul avec des nombres réels flottants. Nous pensons qu'il restera toujours des problèmes en matière de reproductibilité de simulations parallèles massivement optimisées. Pour des calculs parallèles plus modestes, des outils tels que Guix ou Apptainer (Singularity) se sont révélés efficaces avec des performances proches des performances natives. Pour l'instant, que vous travailliez sur une plateforme à mémoire partagée ou à mémoire distribuée, si vous optimisez fortement des calculs parallèles massifs, vous avez de grandes chances de rencontrer un manque de reproductibilité numérique.

Des défis émergents proviennent également des domaines de l'intelligence artificielle et du Big Data. Une part importante des ressources informatiques mondiales est actuellement consacrée à la formation de modèles d'IA et au stockage de vastes ensembles de données. Obtenir une reproductibilité en termes de résultats numériques, mais aussi en termes de performances, peut être difficile mais essentiel pour garantir l'explicabilité en intelligence artificielle. De plus, nous devons également répondre à l'impératif de réduire notre consommation énergétique, et l'on peut aussi travailler sur des algorithmes optimisés pour être plus économes en énergie.

Enfin, une nouvelle forme de calcul haute performance est disponible grâce à l'informatique quantique. Cette technologie est probablement celle qui pose le plus de problèmes ouverts et stimulants. Nous ne disposons
Baumer, B., Cetinkaya-Rundel, M., Bray, A., Loi, L., Horton, N.J. (2014). R Markdown: Integrating a reproducible analysis tool into introductory statistics. *arXiv preprint arXiv:1402.1894*, 2014.

Begley, C.G., Ellis, L.M. (2012). Raise standards for preclinical cancer research. *Nature*, 483(7391), 531–533.

Benedicic, L., Cruz, F.A., Madonna, A., Mariotti, K. (2019). Sarus: Highly scalable docker containers for hpc systems. *High Performance Computing: ISC High Performance*. Springer, 46–60.

Benson, A.R., Schmit, S., Schreiber, R. (2015). Silent error detection in numerical time-stepping schemes. *The International Journal of High Performance Computing Applications*, 29(4), 403–421.

Beserra, D., Oliveira, F., Araujo, J., Fernandes, F., Araújo, A., Endo, P., Maciel, P., Moreno, E.D. (2015). Performance evaluation of hypervisors for hpc applications. *International Conference on Systems, Man, and Cybernetics*. IEEE, 846–851.

Blackman, D., Vigna, S. (2021). Scrambled linear pseudorandom number generators. *ACM Transactions on Mathematical Software (TOMS)*, 47(4), 1–32.

Blanchard, P., Higham, N.J., Mary, T. (2020). A class of fast and accurate summation algorithms. *SLAM journal on scientific computing*, 42(3), A1541–A1557.

Boettiger, C. (2015). An introduction to Docker for reproducible research. *ACM SIGOPS Operating Systems Review*, 49(1), 71–79.

Booch, G., Jacobson, I., Rumbaugh, J. (1996). The unified modeling language. *Unix Review*, 14(13), 5.

Borthakur, D. (2007). The hadoop distributed file system: Architecture and design. *Hadoop Project Website*, 11(2007), 21.
pas actuellement d'un ordinateur quantique général avec des qubits parfaits. De nombreuses options techniques sont testées pour fournir d'excellents qubits, mais ils ne sont pas parfaits, s'il est déjà possible de travailler sérieusement, il reste difficile de concevoir des circuits fiables en 2024. Bien que les simulateurs quantiques fonctionnent correctement, l'utilisation de machines quantiques se heurte encore à de nombreux défis pour obtenir une reproductibilité statistique.

En conclusion, nous voulons mettre en avant le fait que les ordinateurs servent d'outils fondamentaux, non seulement pour les informaticiens, mais aussi pour de nombreuses disciplines scientifiques et que de ce fait, toutes les disciplines sont concernées. Tout comme l'approche précise et systématique de la métrologie appliquée aux instruments des biologistes et des physiciens, les scientifiques doivent reconnaître les imperfections et les incertitudes inhérentes aux outils informatiques. Nous recommandons fortement le MOOC sur la Recherche reproductible qui aborde les principes méthodologiques et l'utilisation d'outils pour une science transparente. Enfin, il nous semble impératif que les principes de la méthode scientifique, y compris le principe de la reproductibilité, soient intégrés dans les programmes d'enseignement en informatique.

Références bibliographiques

Abbasi, K. (2020). *Covid-19: politicisation, "corruption," and suppression of science*
British Medical Journal Publishing Group.

Abraham, S., Paul, A.K., Khan, R.I.S., Butt, A.R. (2020). On the use of containers in high performance computing environments. Dans *2020 IEEE 13th International Conference on Cloud Computing (CLOUD)*. IEEE, 284–293.
Boyer, A.F. (2022). Contributions to Computing needs in High Energy Physics Offline Activities : Towards an efficient exploitation of heterogeneous, distributed and shared Computing Resources. Thèse de doctorat, CERN.

Boyer, A.F., Haen, C., Stagni, F., Hill, D.R.C. (2022a). Dirac site director : improving pilot-job provisioning on grid resources. *Future Generation Computer Systems*, 133, 23–38.

Boyer, A.F., Haen, C., Stagni, F., Hill, D.R.C. (2022b). Pilot-job provisioning on grid resources : Collecting analysis and performance evaluation data. *Data in Brief*, 42, 108104.

Bronevetsky, G., de Supinski, B. (2008). Soft error vulnerability of iterative linear algebra methods. *Annual international conference on Supercomputing*. 155–164.

Buckheit, J.B., Donoho, D.L. (1995). *Wavelab and reproducible research* Springer.

Budanur, S., Mueller, F., Gamblin, T. (2011). Memory trace compression and replay for spmd systems using extended prsds ?. *ACM SIGMETRICS Performance Evaluation Review*, 38(4), 30–36.

Button, K.S., Munafò, M.R. (2017). Powering reproducible research. *Psychological science under scrutiny* : *Recent challenges and proposed solutions*, 2017, 22–33.

Casalicchio, E., Perciballi, V. (2017). Measuring docker performance : What a mess !!!. *ACM/SPEC on International Conference on Performance Engineering Companion*. 11–16.

Casas, M., de Supinski, B.R., Bronevetsky, G., Schulz, M. (2012). Fault resilience of the algebraic multi-grid solver. *ACM international conference on Supercomputing*. 91–100.
Acharya, A., Fanguède, J., Paolino, M., Raho, D. (2018). A performance benchmarking analysis of hypervisors containers and unikernels on ARMv8 and x86 CPUs. Dans *2018 European Conference on Networks and Communications (EuCNC)*. IEEE, 282–9.

Allaire, J. (2012). RStudio: integrated development environment for R. *Boston, MA*, 770(394), 165–171.

Altekar, G., Stoica, I. (2009). ODR: Output-deterministic replay for multicore debugging. Dans *Proceedings of the ACM SIGOPS 22nd symposium on Operating systems principles*. 193–206.

Altintas, I., Berkley, C., Jaeger, E., Jones, M., Ludascher, B., Mock, S. (2004). Kepler: an extensible system for design and execution of scientific workflows. Dans *Proceedings. 16th International Conference on Scientific and Statistical Database Management, 2004*. IEEE, 423–424.

Amstutz, P., Crusoe, M.R., Tijanić, N., Chapman, B., Chilton, J., Heuer, M., Kartashov, A., Leehr, D., Ménager, H., Nedeljkovich, M. (2016). *Common workflow language, v1.0* eScholarship, University of California.

Amstutz, P., Mikheev, M., Crusoe, M.R., Tijanić, N., Lampa, S. (2024). Existing Workflow systems. , 25 January 2024. [En ligne]. Disponible à l'adresse : https://s.apache.org/existing-workflow-systems [Consulté le 19 Mars 2024].

Antunes, B., Hill, D.R.C. (2023). Identifying quality mersenne twister streams for parallel stochastic simulations. Dans *2023 Winter Simulation Conference (WSC)*. IEEE, 2801-2812.

Aupy, G., Benoit, A., Hérault, T., Robert, Y., Vivien, F., Zaidouni, D. (2013). On the combination of silent error detection and checkpointing. Dans *2013 IEEE 19th Pacific Rim International Symposium on Dependable Computing*. IEEE, 11–20.
Chae, M., Lee, H., Lee, K. (2019). A performance comparison of linux containers and virtual machines using Docker and KVM. *Cluster Computing*, 22(1), 1765–1775.

Chapp, D., Sato, K., Ahn, D.H., Taufer, M. (2018). Record-and-replay techniques for HPC systems: A survey. *Supercomputing Frontiers and Innovations*, 5(1), 11–30.

Chirigati, F., Rampin, R., Shasha, D., Freire, J. (2016). Reprozip: Computational reproducibility with ease. *International conference on management of data*. 2085–2088.

Chitlur, N., Srinivasa, G., Hahn, S., Gupta, P.K., Reddy, D., Koufaty, D., Brett, P., Prabhakaran, A., Zhao, L., Ijih, N. (2012). QuickIA: Exploring heterogeneous architectures on real prototypes. *International Symposium on High-Performance Comp Architecture*. IEEE, 1–8.

Chohra, C., Langlois, P., Parello, D. (2016). Reproducible, accurately rounded and efficient BLAS. *European Conference on Parallel Processing*. Springer, 609–620.

Chung, M.T., Quang-Hung, N., Nguyen, M.-T., Thoai, N. (2016). Using docker in high performance computing applications. *International Conference on Communications and Electronics (ICCE)*. IEEE, 52–57.

Claerbout, J.F., Karrenbach, M. (1992). Electronic documents give reproducible research a new meaning. *SEG technical program expanded abstracts 1992*. Society of Exploration Geophysicists, 601–604.

Clayson, P.E., Carbine, K.A., Baldwin, S.A., Larson, M.J. (2019). Methodological reporting behavior, sample sizes, and statistical power in studies of event-related potentials: Barriers to reproducibility and replicability. *Psychophysiology*, 56(11), e13437.

Cohen-Boulakia, S., Belhajjame, K., Collin, O., Chopard, J., Froidevaux, C., Gaignard, A., Hinsen, K., Larmande, P., Le Bras, Y., Lemoine, F. (2017). Scientific workflows for computational reproducibility in the life
Baier, T., Neuwirth, E. (2007). Excel:: Com. *Computational statistics*, 22(1), 91–108.

Bajpai, V., Kühlewind, M., Ott, J., Schönwälder, J., Sperotto, A., Trammell, B. (2017). Challenges with reproducibility. Dans *Proceedings of the Reproducibility Workshop*. 1–4.

Bajpai, V., Bonaventure, O., Claffy, K., Karrenberg, D. (2019). Encouraging reproducibility in scientific research of the internet. *Dagstuhl reports*, 8(10).

Bajpai, V., Brunstrom, A., Feldmann, A., Kellerer, W., Pras, A., Schulzrinne, H., Smaragdakis, G., Wählisch, M., Wehrle, K. (2019). The Dagstuhl beginners guide to reproducibility for experimental networking research. *ACM SIGCOMM Computer Communication Review*, 49(1), 24–30.

Baker, M. (2016). Reproducibility crisis. *Nature*, 533(26), 353–66.

Barba, L.A. (2018). Terminologies for reproducible research. *arXiv preprint arXiv:1802.03311*, 2018.

Baumann, R.C. (2005). Radiation-induced soft errors in advanced semiconductor technologies. *IEEE Transactions on Device and materials reliability*, 5(3), 305–316.

Baumer, B., Cetinkaya-Rundel, M., Bray, A., Loi, L., Horton, N.J. (2014). R Markdown: Integrating a reproducible analysis tool into introductory statistics. *arXiv preprint arXiv:1402.1894*, 2014.

Begley, C.G., Ellis, L.M. (2012). Raise standards for preclinical cancer research. *Nature*, 483(7391), 531–533.

Benedicic, L., Cruz, F.A., Madonna, A., Mariotti, K. (2019). Sarus: Highly scalable docker containers for hpc systems. Dans *High Performance Computing: ISC High Performance 2019 International Workshops, Frankfurt, Germany, June 16-20, 2019, Revised Selected Papers 34*. Springer, 46–60.
sciences : Status, challenges and opportunities. *Future Generation Computer Systems*, 75, 284-298.

Collaboration, O.S. (2012). An open, large-scale, collaborative effort to estimate the reproducibility of psychological science. *Perspectives on Psychological Science*, 7(6), 657-660.

Collberg, C., Proebsting, T., Warren, A.M. (2015). Repeatability and benefaction in computer systems research. *University of Arizona TR*, 14(4).

Collberg, C., Proebsting, T.A. (2016). Repeatability in computer systems research. *Communications of the ACM*, 59(3), 62-69.

Collins, F.S., Tabak, L.A. (2014). Policy: NIH plans to enhance reproducibility. *Nature*, 505(7485), 612-613.

Courtès, L., Wurmus, R. (2015). Reproducible and user-controlled software environments in HPC with Guix. *Euro-Par International Workshops*. Springer, 579-591.

Dasgupta, S., Humble, T.S. (2022). Characterizing the reproducibility of noisy quantum circuits. *Entropy*, 24(2), 244.

Dasgupta, S., Humble, T.S. (2021a). Reproducibility in quantum computing. *Computer Society Annual Symposium on VLSI (ISVLSI)*. IEEE, 458-461.

Dasgupta, S., Humble, T.S. (2021b). Stability of noisy quantum computing devices. *arXiv preprint arXiv:2105.09472*, 2021.

Davison, A. (2012). Automated capture of experiment context for easier reproducibility in computational research. *Computing in Science & Engineering*, 14(4), 48-56.

Deelman, E., Blythe, J., Gil, Y., Kesselman, C., Mehta, G., Patil, S., Su, M.-H., Vahi, K., Livny, M. (2004). Pegasus : Mapping scientific workflows
Benson, A.R., Schmit, S., Schreiber, R. (2015). Silent error detection in numerical time-stepping schemes. *The International Journal of High Performance Computing Applications*, 29(4), 403–421.

Beserra, D., Oliveira, F., Araujo, J., Fernandes, F., Araújo, A., Endo, P., Maciel, P., Moreno, E.D. (2015). Performance evaluation of hypervisors for hpc applications. Dans *2015 IEEE International Conference on Systems, Man, and Cybernetics*. IEEE, 846–851.

Blackman, D., Vigna, S. (2021). Scrambled linear pseudorandom number generators. *ACM Transactions on Mathematical Software (TOMS)*, 47(4), 1–32.

Blanchard, P., Higham, N.J., Mary, T. (2020). A class of fast and accurate summation algorithms. *SLAM journal on scientific computing*, 42(3), A1541–A1557.

Boettiger, C. (2015). An introduction to Docker for reproducible research. *ACM SIGOPS Operating Systems Review*, 49(1), 71–79.

Booch, G., Jacobson, I., Rumbaugh, J. (1996). The unified modeling language. *Unix Review*, 14(13), 5.

Borthakur, D. (2007). The hadoop distributed file system: Architecture and design. *Hadoop Project Website*, 11(2007), 21.

Boyer, A.F. (2022). Contributions to Computing needs in High Energy Physics Offline Activities: Towards an efficient exploitation of heterogeneous, distributed and shared Computing Resources. Thèse de doctorat, CERN.

Boyer, A.F., Haen, C., Stagni, F., Hill, D.R.C. (2022a). Dirac site director: improving pilot-job provisioning on grid resources. *Future Generation Computer Systems*, 133, 23–38.
onto the grid. *Grid Computing: Second European AcrossGrids Conference, AxGrids*. Springer, 11–20.

Delescluse, M., Franconville, R., Joucla, S., Lieury, T., Pouzat, C. (2012). Making neurophysiological data analysis reproducible: Why and how?. *Journal of Physiology-Paris*, 106(3–4), 159–170.

Demmel, J., Nguyen, H.D. (2013a). Fast reproducible floating-point summation. *Symposium on Computer Arithmetic*. IEEE, 163–172.

Demmel, J., Nguyen, H.D. (2013b). Numerical reproducibility and accuracy at exascale. *Symposium on Computer Arithmetic*. IEEE, 235–237.

Demmel, J., Nguyen, H.D. (2014). Parallel reproducible summation. *IEEE Transactions on Computers*, 64(7), 2060–2070.

Desquilbet, L., Granger, S., Hejblum, B., Legrand, A., Pernot, P., Rougier, N.P., de Castro Guerra, E., Courbin-Coulaud, M., Duvaux, L., Gravier, P. (2019). Vers une recherche reproductible.

Desvillechabrol, D., Legendre, R., Rioualen, C., Bouchier, C., Van Helden, J., Kennedy, S., Cokelaer, T. (2018). Sequanix: a dynamic graphical interface for Snakemake workflows. *Bioinformatics*, 34(11), 1934–1936.

Di Cosmo, R., Zacchiroli, S. (2017). Software heritage: Why and how to preserve software source code. *International Conference on Digital Preservation*. 1–10.

Di Tommaso, P., Chatzou, M., Baraja, P.P., Notre Dame, C. (2014). A novel tool for highly scalable computational pipelines. figshare, 2014.

Dixit, H.D., Pendharkar, S., Beadon, M., Mason, C., Chakravarthy, T., Muthiah, B., Sankar, S. (2021). Silent data corruptions at scale. *arXiv preprint arXiv:2102.11245*, 2021.

Dolstra, E., De Jonge, M., Visser, E. (2004). Nix: A Safe and Policy-Free System for Software Deployment. *LISA*. 79–92.
Boyer, A.F., Haen, C., Stagni, F., Hill, D.R.C. (2022b). Pilot-job provisioning on grid resources: Collecting analysis and performance evaluation data. *Data in Brief*, 42, 108104.

Bronevetsky, G., de Supinski, B. (2008). Soft error vulnerability of iterative linear algebra methods. Dans *Proceedings of the 22nd annual international conference on Supercomputing*. 155–164.

Buckheit, J.B., Donoho, D.L. (1995). *Wavelab and reproducible research* Springer.

Budanur, S., Mueller, F., Gamblin, T. (2011). Memory trace compression and replay for spmd systems using extended prsds?. *ACM SIGMETRICS Performance Evaluation Review*, 38(4), 30–36.

Button, K.S., Munafò, M.R. (2017). Powering reproducible research. *Psychological science under scrutiny: Recent challenges and proposed solutions*, 2017, 22–33.

Casalicchio, E., Perciballi, V. (2017). Measuring docker performance: What a mess!!!. Dans *Proceedings of the 8th ACM/SPEC on International Conference on Performance Engineering Companion*. 11–16.

Casas, M., de Supinski, B.R., Bronevetsky, G., Schulz, M. (2012). Fault resilience of the algebraic multi-grid solver. Dans *Proceedings of the 26th ACM international conference on Supercomputing*. 91–100.

Chae, M., Lee, H., Lee, K. (2019). A performance comparison of linux containers and virtual machines using Docker and KVM. *Cluster Computing*, 22(Suppl 1), 1765–1775.

Chapp, D., Sato, K., Ahn, D.H., Taufer, M. (2018). Record-and-replay techniques for HPC systems: A survey. *Supercomputing Frontiers and Innovations*, 5(1), 11–30.
Dorđević, B., Timčenko, V., Pavlović, O., Davidović, N. (2021). Performance comparison of native host and hyper-based virtualization VirtualBox. *International Symposium Infoteh-Jahorina (Infoteh)*. IEEE, 1-4.

Drummond, C. (2019). Is the drive for reproducible science having a detrimental effect on what is published ?. *Learned Publishing*, 32(1), 63-69.

Drummond, C. (2009). Replicability is not reproducibility : nor is it good science. *Evaluation Methods for Machine Learning Workshop at the 26th ICML*. National Research Council of Canada Montreal, Canada.

Drummond, C. (2018). Reproducible research : a minority opinion. *Journal of Experimental & Theoretical Artificial Intelligence*, 30(1), 1-11.

Du, P., Luszczek, P., Dongarra, J. (2012). High performance dense linear system solver with resilience to multiple soft errors. *Procedia Computer Science*, 9, 216-225.

Eklund, A., Nichols, T.E., Knutsson, H. (2016). Cluster failure : Why fMRI inferences for spatial extent have inflated false-positive rates. *Proceedings of the national academy of sciences*, 113(28), 7900-7905.

Elliott, J., Mueller, F., Stoyanov, F., Webster, C. (2013). Quantifying the impact of single bit flips on floating point arithmetic. Rapport, North Carolina State University. Dept. of Computer Science

Errington, T.M., Mathur, M., Soderberg, C.K., Denis, A., Perfito, N., Iorns, E., Nosek, B.A. (2021). Investigating the replicability of preclinical cancer biology. *Elife*, 10, e71601.

Fanelli, D. (2010). Do pressures to publish increase scientists’ bias ? An empirical support from US States Data. *PloS one*, 5(4), e10271.

Fanelli, D. (2018). Is science really facing a reproducibility crisis, and do we need it to ?. *Proceedings of the National Academy of Sciences*, 115(11), 2628-2631.
Chirigati, F., Rampin, R., Shasha, D., Freire, J. (2016). Reprozip: Computational reproducibility with ease. Dans *Proceedings of the 2016 international conference on management of data*. 2085–2088.

Chitlur, N., Srinivasa, G., Hahn, S., Gupta, P.K., Reddy, D., Koufaty, D., Brett, P., Prabhakaran, A., Zhao, L., Ijih, N. (2012). QuickIA: Exploring heterogeneous architectures on real prototypes. Dans *IEEE International Symposium on High-Performance Comp Architecture*. IEEE, 1–8.

Chohra, C., Langlois, P., Parello, D. (2016). Reproducible, accurately rounded and efficient BLAS. Dans *European Conference on Parallel Processing*. Springer, 609–620.

Chung, M.T., Quang-Hung, N., Nguyen, M.-T., Thoai, N. (2016). Using docker in high performance computing applications. Dans *2016 IEEE Sixth International Conference on Communications and Electronics (ICCE)*. IEEE, 52–57.

Claerbout, J.F., Karrenbach, M. (1992). Electronic documents give reproducible research a new meaning. Dans *SEG technical program expanded abstracts 1992*. Society of Exploration Geophysicists, 601–604.

Clayson, P.E., Carbine, K.A., Baldwin, S.A., Larson, M.J. (2019). Methodological reporting behavior, sample sizes, and statistical power in studies of event-related potentials: Barriers to reproducibility and replicability. *Psychophysiology*, 56(11), e13437.

Cohen-Boulakia, S., Belhajjame, K., Collin, O., Chopard, J., Froidevaux, C., Gaignard, A., Hinsen, K., Larmande, P., Le Bras, Y., Lemoine, F. (2017). Scientific workflows for computational reproducibility in the life sciences: Status, challenges and opportunities. *Future Generation Computer Systems*, 75, 284–298.
Felter, W., Ferreira, A., Rajamony, R., Rubio, J. (2015). An updated performance comparison of virtual machines and linux containers. *International symposium on performance analysis of systems and software (ISPASS)*. IEEE, 171–172.

Ferguson, N.M., Laydon, D., Nedjati-Gilani, G., Imai, N., Ainslie, K., Baguelin, M., Bhatia, S., Boonyasiri, A., Cucunubá, Z., Cuomo-Dannenburg, G. (2020). Impact of non-pharmaceutical interventions (NPIs) to reduce COVID-19 mortality and healthcare demand. Imperial College COVID-19 Response Team. *Imperial College COVID-19 Response Team*, 20(10.25561/iscan), 77482.

Févotte, F., Lathuilière, B. (2016). VERROU : a CESTAC evaluation without recompilation. *Séminaire de Conception Architecturale Numérique (SCAN)*, 12p.

Fiala, D., Mueller, F., Engelmann, C., Riesen, R., Ferreira, K., Brightwell, R. (2012). Detection and correction of silent data corruption for large-scale high-performance computing. *International Conference on High Performance Computing, Networking, Storage and Analysis*. IEEE, 1–12.

Forstmeier, W., Wagenmakers, E.-J., Parker, T.H. (2017). Detecting and avoiding likely false-positive findings–a practical guide. *Biological Reviews*, 92(4), 1941–1968.

Gantikow, H., Walter, S., Reich, C. (2020). Rootless containers with Podman for HPC. *International Conference on High Performance Computing. Springer*, 343–354.

Gelman, A., Stern, H. (2006). The difference between “significant” and “not significant” is not itself statistically significant. *The American Statistician*, 60(4), 328–331.

Gerhardt, L., Bhimji, W., Canon, S., Fasel, M., Jacobsen, D., Mustafa, M., Porter, J., Tsulaia, V. (2017). Shifter : Containers for hpc. Dans *Journal of physics : Conference series*. IOP Publishing, 082021.
Collaboration, O.S. (2012). An open, large-scale, collaborative effort to estimate the reproducibility of psychological science. *Perspectives on Psychological Science*, 7(6), 657–660.

Collberg, C., Proebsting, T., Warren, A.M. (2015). Repeatability and benefaction in computer systems research. *University of Arizona TR*, 14(4).

Collberg, C., Proebsting, T.A. (2016). Repeatability in computer systems research. *Communications of the ACM*, 59(3), 62–69.

Collins, F.S., Tabak, L.A. (2014). Policy: NIH plans to enhance reproducibility. *Nature*, 505(7485), 612–613.

Courtès, L., Wurmus, R. (2015). Reproducible and user-controlled software environments in HPC with Guix. Dans *Euro-Par 2015: Parallel Processing Workshops: Euro-Par 2015 International Workshops, Vienna, Austria, August 24-25, 2015, Revised Selected Papers 21*. Springer, 579–591.

Dasgupta, S., Humble, T.S. (2022). Characterizing the reproducibility of noisy quantum circuits. *Entropy*, 24(2), 244.

Dasgupta, S., Humble, T.S. (2021a). Reproducibility in quantum computing. Dans *2021 IEEE Computer Society Annual Symposium on VLSI (ISVLSI)*. IEEE, 458–461.

Dasgupta, S., Humble, T.S. (2021b). Stability of noisy quantum computing devices. *arXiv preprint arXiv:2105.09472*, 2021.

Davison, A. (2012). Automated capture of experiment context for easier reproducibility in computational research. *Computing in Science & Engineering*, 14(4), 48–56.

Deelman, E., Blythe, J., Gil, Y., Kesselman, C., Mehta, G., Patil, S., Su, M.-H., Vahi, K., Livny, M. (2004). Pegasus: Mapping scientific workflows onto the grid. Dans *Grid Computing: Second European*
Giardine, B., Riemer, C., Hardison, R.C., Burhans, R., Elnitski, L., Shah, P., Zhang, Y., Blankenberg, D., Albert, I., Taylor, J. (2005). Galaxy : a platform for interactive large-scale genome analysis. *Genome research*, 15(10), 1451-1455.

Gilbert, L., Tseng, J., Newman, R., Iqbal, S., Pepper, R., Celebioglu, O., Hsieh, J., Cobban, M. (2005). Performance implications of virtualization and hyper-threading on high energy physics applications in a grid environment. *International parallel and distributed processing symposium*. IEEE, 10 p.

Gioachin, F., Zheng, G., Kalé, L.V. (2010). Robust non-intrusive record-replay with processor extraction. *Workshop on Parallel and Distributed Systems : Testing, Analysis, and Debugging*. 9-19.

Goldberg, D. (1991). What every computer scientist should know about floating-point arithmetic. *ACM computing surveys (CSUR)*, 23(1), 5-48.

Goldberg, R.P. (1974). Survey of virtual machine research. *Computer*, 7(6), 34-45.

Goodman, S.N., Fanelli, D., Ioannidis, J.P. (2016). What does research reproducibility mean?. *Science translational medicine*, 8(341), 341ps12-341ps12.

Guermouche, A., Ropars, T., Brunet, E., Snir, M., Cappello, F. (2011). Uncoordinated checkpointing without domino effect for send-deterministic MPI applications. *International Parallel & Distributed Processing Symposium*. IEEE, 989-1000.

Gundersen, O.E., Kjensmo, S. (2018). State of the art: Reproducibility in artificial intelligence. *AAAI Conference on Artificial Intelligence*.

Guo, P.J., Engler, D. (2011). `{CDE}`: Using System Call Interposition to Automatically Create Portable Software Packages. *USENIX Annual Technical Conference (USENIX ATC 11)*.
*AcrossGrids Conference, AxGrids 2004, Nicosia, Cyprus, January 28-30, 2004.*
*Revised Papers*. Springer, 11–20.

Delescluse, M., Franconville, R., Joucla, S., Lieury, T., Pouzat, C. (2012). Making neurophysiological data analysis reproducible: Why and how?. *Journal of Physiology-Paris*, 106(3–4), 159–170.

Demmel, J., Nguyen, H.D. (2013a). Fast reproducible floating-point summation. Dans *2013 IEEE 21st Symposium on Computer Arithmetic*. IEEE, 163–172.

Demmel, J., Nguyen, H.D. (2013b). Numerical reproducibility and accuracy at exascale. Dans *2013 IEEE 21st Symposium on Computer Arithmetic*. IEEE, 235–237.

Demmel, J., Nguyen, H.D. (2014). Parallel reproducible summation. *IEEE Transactions on Computers*, 64(7), 2060–2070.

Desquilbet, L., Granger, S., Hejblum, B., Legrand, A., Pernot, P., Rougier, N.P., de Castro Guerra, E., Courbin-Coulaud, M., Duvaux, L., Gravier, P. (2019). Vers une recherche reproducible Loic Desquilbet, Sabrina Granger, Boris Hejblum. 2019.

Desvillechabrol, D., Legendre, R., Rioualen, C., Bouchier, C., Van Helden, J., Kennedy, S., Cokelaer, T. (2018). Sequanix: a dynamic graphical interface for Snakemake workflows. *Bioinformatics*, 34(11), 1934–1936.

Di Cosmo, R., Zacchiroli, S. (2017). Software heritage: Why and how to preserve software source code. Dans *iPRES 2017-14th International Conference on Digital Preservation*. 1–10.

Di Tommaso, P., Chatzou, M., Baraja, P.P., Notredame, C. (2014). A novel tool for highly scalable computational pipelines. *figshare*, 2014.
Halchenko, Y.O., Hanke, M. (2015). Four aspects to make science open "by design" and not as an after-thought. *GigaScience*, 4(1), s13742-015-0072-7.

Hale, J.S., Li, L., Richardson, C.N., Wells, G.N. (2017). Containers for portable, productive, and performant scientific computing. *Computing in Science & Engineering*, 19(6), 40–50.

Hellekalek, P. (1998). Don't trust parallel Monte Carlo! *ACM SIGSIM Simulation Digest*, 28(1), 82–89.

Herndon, T., Ash, M., Pollin, R. (2014). Does high public debt consistently stifle economic growth? A critique of Reinhart and Rogoff. *Cambridge journal of economics*, 38(2), 257–279.

Hill, D.R.C., Antunes, B., Cluzel, T., Mazel, C. (2023). A few words about quantum computing, epistemology, repeatability and reproducibility. *EU/ME Meeting - Quantum SchoolEmerging Optimization Methods: From Metaheuristics To Quantum Approaches*. 4p.

Hill, D.R.C., Mazel, C., Passerat-Palmbach, J., Traore, M.K. (2013). Distribution of random streams for simulation practitioners. *Concurrency and Computation: Practice and Experience*, 25(10), 1427–1442.

Hill, D.R.C. (2015). Parallel random numbers, simulation, and reproducible research. *Computing in Science & Engineering*, 17(4), 66–71.

Hill, D.R.C. (2019). Repeatability, reproducibility, computer science and high performance computing: Stochastic simulations can be reproducible too.... *International Conference on High Performance Computing & Simulation (HPCS)*. IEEE, 322–323.

Hill, D.R.C. (2022). Reproducibility of Simulations and High Performance Computing. *European Simulation and Modelling Conference*. 5–9.

Hill, D.R.C., Mazel, C., Breton, V. (2017). Reproductibilité et répétabilité numérique. Constats, conseils et bonnes pratiques pour le cas des simulations stochastiques parallèles et distribuées. *Revue des Sciences et
Dixit, H.D., Pendharkar, S., Beadon, M., Mason, C., Chakravarthy, T., Muthiah, B., Sankar, S. (2021). Silent data corruptions at scale. *arXiv preprint arXiv:2102.11245*, 2021.

Dolstra, E., De Jonge, M., Visser, E. (2004). Nix: A Safe and Policy-Free System for Software Deployment. Dans *LISA*. 79–92.

Đorđević, B., Timčenko, V., Pavlović, O., Davidović, N. (2021). Performance comparison of native host and hyper-based virtualization VirtualBox. Dans *2021 20th International Symposium Infoteh-Jahorina (Infoteh)*. IEEE, 1–4.

Drummond, C. (2019). Is the drive for reproducible science having a detrimental effect on what is published?. *Learned Publishing*, 32(1), 63–69.

Drummond, C. (2009). Replicability is not reproducibility: nor is it good science. Dans *Proceedings of the Evaluation Methods for Machine Learning Workshop at the 26th ICML*. National Research Council of Canada Montreal, Canada.

Drummond, C. (2018). Reproducible research: a minority opinion. *Journal of Experimental & Theoretical Artificial Intelligence*, 30(1), 1–11.

Du, P., Luszczek, P., Dongarra, J. (2012). High performance dense linear system solver with resilience to multiple soft errors. *Procedia Computer Science*, 9, 216–225.

Eklund, A., Nichols, T.E., Knutsson, H. (2016). Cluster failure: Why fMRI inferences for spatial extent have inflated false-positive rates. *Proceedings of the national academy of sciences*, 113(28), 7900–7905.

Elliott, J., Mueller, F., Stoyanov, F., Webster, C. (2013). Quantifying the impact of single bit flips on floating point arithmetic. Rapport, North Carolina State University. Dept. of Computer Science
*Technologies de l'Information-Série TSI: Technique et Science Informatiques*, 36(3-6), 243-272.

Hinsen, K. (2017). Enjeux et défis de la recherche reproductible. *Journée MaDICS-ReproVirtuFlow*.

Hinsen, K. (2021). La reproductibilité des calculs coûteux. *Reproductibilité de la Recherche*. 11–14.

Hinsen, K. (2014). Reproducibility, replicability, and the two layers of computational science. , 2014. [En ligne]. Disponible à l'adresse : https://khinsen.wordpress.com/2014/08/27/reproducibility-replicability-and-the-two-layers-of-computational-science/ [Consulté le 22 Août 2023].

Hinsen, K. (2018). Reusable vs. re-editable code. *Computing in Science and Engineering*, 20(3), 78–83.

Hinsen, K. (2020a). [Rp] Structural flexibility in proteins - impact of the crystal environment. *ReScience C*, 6(1), #5.

Hinsen, K. (2013). Software development for reproducible research. *Computing in Science & Engineering*, 15(04), 60–63.

Hinsen, K. (2020b). Staged computation: The technique you did not know you were using. *Computing in Science & Engineering*, 22(4), 99–103.

Hoemmen, M.F., Heroux, M.A. (2011). Fault-tolerant iterative methods. Rapport, Sandia National Lab.(SNL-NM), Albuquerque, NM (United States)

Hogg, T., Portnov, D. (2000). Quantum optimization. *Information Sciences*, 128(3-4), 181–197.

Holmes, J. (2020). Software engineers calling to retract papers based on this code. , 2020. [En ligne]. Disponible à l'adresse : https://github.com/mrc-ide/covid-sim/issues/165 [Consulté le 1 Janvier 2024].
Errington, T.M., Mathur, M., Soderberg, C.K., Denis, A., Perfito, N., Iorns, E., Nosek, B.A. (2021). Investigating the replicability of preclinical cancer biology. *Elife*, 10, e71601.

Fanelli, D. (2010). Do pressures to publish increase scientists' bias? An empirical support from US States Data. *PloS one*, 5(4), e10271.

Fanelli, D. (2018). Is science really facing a reproducibility crisis, and do we need it to?. *Proceedings of the National Academy of Sciences*, 115(11), 2628–2631.

Felter, W., Ferreira, A., Rajamony, R., Rubio, J. (2015). An updated performance comparison of virtual machines and linux containers. Dans *2015 IEEE international symposium on performance analysis of systems and software (ISPASS)*. IEEE, 171–172.

Ferguson, N.M., Laydon, D., Nedjati-Gilani, G., Imai, N., Ainslie, K., Baguelin, M., Bhatia, S., Boonyasiri, A., Cucunubá, Z., Cuomo-Dannenburg, G. (2020). Impact of non-pharmaceutical interventions (NPIs) to reduce COVID-19 mortality and healthcare demand. Imperial College COVID-19 Response Team. *Imperial College COVID-19 Response Team*, 20(10.25561), 77482.

Févotte, F., Lathuilière, B. (2016). VERROU: Assessing floating-point accuracy without recompiling. , 2016.

Fiala, D., Mueller, F., Engelmann, C., Riesen, R., Ferreira, K., Brightwell, R. (2012). Detection and correction of silent data corruption for large-scale high-performance computing. Dans *SC'12: Proceedings of the International Conference on High Performance Computing, Networking, Storage and Analysis*. IEEE, 1–12.

Forstmeier, W., Wagenmakers, E.-J., Parker, T.H. (2017). Detecting and avoiding likely false-positive findings—a practical guide. *Biological Reviews*, 92(4), 1941–1968.
Howe, B. (2012). Virtual appliances, cloud computing, and reproducible research. *Computing in Science & Engineering*, 14(4), 36–41.

Hower, D.R., Hill, M.D. (2008). Rerun: Exploiting episodes for lightweight memory race recording. *ACM SIGARCH computer architecture news*, 36(3), 265–276.

Hu, G., Zhang, Y., Chen, W. (2019). Exploring the performance of singularity for high performance computing scenarios. *International Conference on High Performance Computing and Communications*; *International Conference on Smart City*; *International Conference on Data Science and Systems (HPCC/SmartCity/DSS)*. IEEE, 2587–2593.

Huang, K.-H., Abraham, J.A. (1984). Algorithm-based fault tolerance for matrix operations. *IEEE transactions on computers*, 100(6), 518–528.

Hunold, S. (2015). A survey on reproducibility in parallel computing. *arXiv preprint arXiv:1511.04217*, 2015.

Ioannidis, J.P. (2022). Correction: Why most published research findings are false. *PLoS Medicine*, 19(8), e1004085.

Ioannidis, J.P. (2015). How to make more published research true. *Revista Cubana de Información en Ciencias de la Salud (ACIMED)*, 26(2), 187–200.

Ioannidis, J.P. (2005). Why most published research findings are false. *PLoS medicine*, 2(8), e124.

Iqbal, S.A., Wallach, J.D., Khoury, M.J., Schully, S.D., Ioannidis, J.P. (2016). Reproducible research practices and transparency across the biomedical literature. *PLoS biology*, 14(1), e1002333.

Ivie, P., Thain, D. (2018). Reproducibility in scientific computing. *ACM Computing Surveys (CSUR)*, 51(3), 1–36.

Jacobsen, D.M., Canon, R.S. (2015). Contain this, unleashing docker for hpc. *Proceedings of the Cray User Group*, 2015, 33–49.
Gantikow, H., Walter, S., Reich, C. (2020). Rootless containers with Podman for HPC. Dans *International Conference on High Performance Computing*. Springer, 343–354.

Gelman, A., Stern, H. (2006). The difference between “significant” and “not significant” is not itself statistically significant. *The American Statistician*, 60(4), 328–331.

Gerhardt, L., Bhimji, W., Canon, S., Fasel, M., Jacobsen, D., Mustafa, M., Porter, J., Tsulaia, V. (2017). Shifter: Containers for hpc. Dans *Journal of physics: Conference series*. IOP Publishing, 082021.

Giardine, B., Riemer, C., Hardison, R.C., Burhans, R., Elnitski, L., Shah, P., Zhang, Y., Blankenberg, D., Albert, I., Taylor, J. (2005). Galaxy: a platform for interactive large-scale genome analysis. *Genome research*, 15(10), 1451–1455.

Gilbert, L., Tseng, J., Newman, R., Iqbal, S., Pepper, R., Celebioglu, O., Hsieh, J., Cobban, M. (2005). Performance implications of virtualization and hyper-threading on high energy physics applications in a grid environment. Dans *19th IEEE international parallel and distributed processing symposium*. IEEE, 10 pp.

Gioachin, F., Zheng, G., Kalé, L.V. (2010). Robust non-intrusive record-replay with processor extraction. Dans *Proceedings of the 8th Workshop on Parallel and Distributed Systems: Testing, Analysis, and Debugging*. 9–19.

Goldberg, D. (1991). What every computer scientist should know about floating-point arithmetic. *ACM computing surveys (CSUR)*, 23(1), 5–48.

Goldberg, R.P. (1974). Survey of virtual machine research. *Computer*, 7(6), 34–45.

Goodman, S.N., Fanelli, D., Ioannidis, J.P. (2016). What does research reproducibility mean?. *Science translational medicine*, 8(341), 341ps12-341ps12.
Janz, N. (2016). Bringing the gold standard into the classroom : replication in university teaching. *International Studies Perspectives*, 17(4), 392–407.

Jézéquel, F., Lamotte, J.-L., Saïd, I. (2015). Estimation of numerical reproducibility on CPU and GPU. *Federated Conference on Computer Science and Information Systems (FedCSIS)*. IEEE, 675–680.

Johnson, A.L., Johnson, B.C. (1997). Literate programming using noweb. *Linux Journal*, 42, 64–69.

Keller Tesser, R., Borin, E. (2023). Containers in HPC : a survey. *The Journal of Supercomputing*, 79(5), 5759–5827.

Kerr, N.L. (1998). HARKing : Hypothesizing after the results are known. *Personality and social psychology review*, 2(3), 196–217.

Kitzes, J., Turek, D., Deniz, F. (2018). *The practice of reproducible research : case studies and lessons from the data-intensive sciences* Univ of California Press.

Kivity, A., Kamay, Y., Laor, D., Lublin, U., Liguori, A. (2007). kvm : the Linux virtual machine monitor. *Linux symposium*. 225–230.

Kluyver, T., Ragan-Kelley, B., Pérez, F., Granger, B.E., Bussonnier, M., Frederic, J., Kelley, K., Hamrick, J.B., Grout, J., Corlay, S. (2016). Jupyter Notebooks-a publishing format for reproducible computational workflows. *Elpub*, 2016, 87–90.

Knuth, D.E. (1984). Literate programming. *The computer journal*, 27(2), 97–111.

Knuth, D.E., Levy, S. (1994). *The CWEB system of structured documentation : version 3.0* Addison-Wesley Longman Publishing Co., Inc.

Köster, J., Rahmann, S. (2012). Snakemake—a scalable bioinformatics workflow engine. *Bioinformatics*, 28(19), 2520–2522.
Guermouche, A., Ropars, T., Brunet, E., Snir, M., Cappello, F. (2011). Uncoordinated checkpointing without domino effect for send-deterministic MPI applications. Dans *2011 IEEE International Parallel & Distributed Processing Symposium*. IEEE, 989–1000.

Gundersen, O.E., Kjensmo, S. (2018). State of the art: Reproducibility in artificial intelligence. Dans *Proceedings of the AAAI Conference on Artificial Intelligence*.

Guo, P.J., Engler, D. (2011). {CDE}: Using System Call Interposition to Automatically Create Portable Software Packages. Dans *2011 USENIX Annual Technical Conference (USENIX ATC 11)*.

Halchenko, Y.O., Hanke, M. (2015). Four aspects to make science open “by design” and not as an after-thought. *GigaScience*, 4(1), s13742-015-0072-7.

Hale, J.S., Li, L., Richardson, C.N., Wells, G.N. (2017). Containers for portable, productive, and performant scientific computing. *Computing in Science & Engineering*, 19(6), 40–50.

Hellekalek, P. (1998). Don't trust parallel Monte Carlo! *ACM SIGSIM Simulation Digest*, 28(1), 82–89.

Herndon, T., Ash, M., Pollin, R. (2014). Does high public debt consistently stifle economic growth? A critique of Reinhart and Rogoff. *Cambridge journal of economics*, 38(2), 257–279.

Hill, D.R.C., Antunes, B., Cluzel, T., Mazel, C. (2023). A few words about quantum computing, epistemology, repeatability and reproducibility. Dans *EU/MEeting 2023*.

Hill, D.R.C., Mazel, C., Passerat-Palmbach, J., Traore, M.K. (2013). Distribution of random streams for simulation practitioners. *Concurrency and Computation: Practice and Experience*, 25(10), 1427–1442.
Kovacevic, J. (2007). How to encourage and publish reproducible research. *International Conference on Acoustics, Speech and Signal Processing-ICASSP'07*. IEEE, IV-1273-IV-1276.

Kurkowski, S., Camp, T., Colagrosso, M. (2005). MANET simulation studies: the incredibles. *ACM SIGMOBILE Mobile Computing and Communications Review*, 9(4), 50–61.

Kurtzer, G.M., Sochat, V., Bauer, M.W. (2017). Singularity: Scientific containers for mobility of compute. *PloS one*, 12(5), e0177459.

Lange, M. (2022). Toward accurate and fast summation. *ACM Transactions on Mathematical Software (TOMS)*, 48(3), 1–39.

Langezaal, E.R., Belleman, J., Veenboer, T., Noorthoek, J. (2023). [Re] Label-Free Explainability for Unsupervised Models. *ReScience C*, 9(2), 4p.

Le, E., Paz, D. (2017). Performance analysis of applications using singularity container on sdsc comet. *Practice and Experience in Advanced Research Computing on Sustainability, Success and Impact*. 1–4.

L'ecuyer, P. (1999). Good parameters and implementations for combined multiple recursive random number generators. *Operations Research*, 47(1), 159–164.

Lee, D., Wester, B., Veeraraghavan, K., Narayanasamy, S., Chen, P.M., Flinn, J. (2010). Respec: efficient online multiprocessor replayvia speculation and external determinism. *ACM Sigplan Notices*, 45(3), 77–90.

Legrand, A., Velho, P. (2023). [Re] Velho and Legrand (2009) - Accuracy Study and Improvement of Network Simulation in the SimGrid Framework. *ReScience C*, 6(1), 20p.

Lenth, R.V. (2012). StatWeave users' manual. URL http://www.stat uiowa, 2012.
Hill, D.R.C. (2015). Parallel random numbers, simulation, and reproducible research. *Computing in Science & Engineering*, 17(4), 66–71.

Hill, D.R.C. (2019). Repeatability, reproducibility, computer science and high performance computing: Stochastic simulations can be reproducible too.... Dans *2019 International Conference on High Performance Computing & Simulation (HPCS)*. IEEE, 322–323.

Hill, D.R.C. (2022). Reproducibility of Simulations and High Performance Computing. Dans *ESM 2022, European Simulation and Modelling Conference*. 5–9.

Hill, D.R.C., Mazel, C., Breton, V. (2017). Reproductibilité et répétabilité numérique. Constats, conseils et bonnes pratiques pour le cas des simulations stochastiques parallèles et distribuées. *Revue des Sciences et Technologies de l'Information-Série TSI: Technique et Science Informatiques*, 36(3–6), 243–272.

Hinsen, K. (2017). Enjeux et défis de la recherche reproductible. Dans *Journée MaDICS-ReproVirtuFlow 2017*.

Hinsen, K. (2021). La reproductibilité des calculs coûteux. Dans *Reproductibilité de la Recherche*. 11–14.

Hinsen, K. (2014). Reproducibility, replicability, and the two layers of computational science. , 2014. [En ligne]. Disponible à l'adresse : https://khinsen.wordpress.com/2014/08/27/reproducibility-replicability-and-the-two-layers-of-computational-science/ [Consulté le 22 Août 2023].

Hinsen, K. (2018). Reusable vs. re-editable code. *Computing in Science and Engineering*, 20(3), 78–83.

Hinsen, K. (2020a). [Rp] Structural flexibility in proteins - impact of the crystal environment. *ReScience C*, 6(1), #5.
Lenth, R.V., Hojsgaard, S. (2007). SASweave : Literate programming using SAS. *Journal of Statistical Software*, 19, 1–20.

Liu, J., Pacitti, E., Valduriez, P., Mattoso, M. (2015). A survey of data-intensive scientific workflow management. *Journal of Grid Computing*, 13, 457–493.

Ludwig, T. (2019). Bitwise reproducibility with exascale machines. , June 2019. [En ligne]. Disponible à l'adresse : https://www.cs.fsu.edu/~nre/nre-2019/presentations/03-Ludwig.2019-06-20-ISC-Reproducibility.pdf [Consulté le 1 Janvier 2024].

Manninen, T., Havela, R., Linne, M.-L. (2017). Reproducibility and comparability of computational models for astrocyte calcium excitability. *Frontiers in neuroinformatics*, 11, 11.

Marwick, B. (2015). How computers broke science—and what we can do to fix it. *The Conversation*, 2015.

Mashtizadeh, A.J., Garfinkel, T., Terei, D., Mazieres, D., Rosenblum, M. (2017). Towards practical default-on multi-core record/replay. *ACM SIGPLAN Notices*, 52(4), 693–708.

Matsumoto, M., Nishimura, T. (1998). Mersenne twister : a 623-dimensionally equidistributed uniform pseudo-random number generator. *ACM Transactions on Modeling and Computer Simulation (TOMACS)*, 8(1), 3–30.

Matthews, J.N., Hu, W., Hapuarachchi, M., Deshane, T., Dimatos, D., Hamilton, G., McCabe, M., Owens, J. (2007). Quantifying the performance isolation properties of virtualization systems. *Workshop on Experimental computer science*. 6-es.

Mauerer, W., Scherzinger, S. (2022). 1-2-3 reproducibility for quantum software experiments. *International Conference on Software Analysis, Evolution and Reengineering (SANER)*. IEEE, 1247–1248.
Hinsen, K. (2013). Software development for reproducible research. *Computing in Science & Engineering*, 15(04), 60–63.

Hinsen, K. (2020b). Staged computation: The technique you did not know you were using. *Computing in Science & Engineering*, 22(4), 99–103.

Hoemmen, M.F., Heroux, M.A. (2011). Fault-tolerant iterative methods. Rapport, Sandia National Lab.(SNL-NM), Albuquerque, NM (United States)

Hogg, T., Portnov, D. (2000). Quantum optimization. *Information Sciences*, 128(3–4), 181–197.

Holmes, J. (2020). Software engineers calling to retract papers based on this code. , 2020. [En ligne]. Disponible à l'adresse :
https://github.com/mrc-ide/covid-sim/issues/165 [Consulté le 1 Janvier 2024].

Howe, B. (2012). Virtual appliances, cloud computing, and reproducible research. *Computing in Science & Engineering*, 14(4), 36–41.

Hower, D.R., Hill, M.D. (2008). Rerun: Exploiting episodes for lightweight memory race recording. *ACM SIGARCH computer architecture news*, 36(3), 265–276.

Hu, G., Zhang, Y., Chen, W. (2019). Exploring the performance of singularity for high performance computing scenarios. Dans *2019 IEEE 21st International Conference on High Performance Computing and Communications*; IEEE 17th International Conference on Smart City; IEEE 5th International Conference on Data Science and Systems (HPCC/SmartCity/DSS). IEEE, 2587–2593.

Huang, K.-H., Abraham, J.A. (1984). Algorithm-based fault tolerance for matrix operations. *IEEE transactions on computers*, 100(6), 518–528.
Meneses, E., Mendes, C.L., Kalé, L.V. (2010). Team-based message logging: Preliminary results. *International Conference on Cluster, Cloud and Grid Computing*. IEEE, 697–702.

Merkel, D. (2014). Docker: lightweight linux containers for consistent development and deployment. *Linuxj*, 239(2), 2.

Mesnard, O., Barba, L.A. (2017). Reproducible and replicable computational fluid dynamics: it's harder than you think. *Computing in Science & Engineering*, 19(4), 44–55.

Miller, G. (2006). *A scientist's nightmare: software problem leads to five retractions*. American Association for the Advancement of Science.

Ministère de l’enseignement supérieur et de la recherche (2021). Second National Plan for Open Science. , 2021. [En ligne]. Disponible à l’adresse : https://www.ouvrirlascience.fr/second-national-plan-for-open-science/ [Consulté le 1 Janvier 2024].

Mittal, S., Vetter, J.S. (2015). A survey of techniques for modeling and improving reliability of computing systems. *IEEE Transactions on Parallel and Distributed Systems*, 27(4), 1226–1238.

Munafò, M.R., Nosek, B.A., Bishop, D.V., Button, K.S., Chambers, C.D., Percie du Sert, N., Simonsohn, U., Wagenmakers, E.-J., Ware, J.J., Ioannidis, J. (2017). A manifesto for reproducible science. *Nature human behaviour*, 1(1), 1–9.

Mytkowicz, T., Diwan, A., Hauswirth, M., Sweeney, P.F. (2009). Producing wrong data without doing anything obviously wrong!. *ACM Sigplan Notices*, 44(3), 265–276.

National Academies of Sciences, E. (2019). Reproducibility and replicability in science. , 2019.

Normand, E. (1996). Single event upset at ground level. *IEEE transactions on Nuclear Science*, 43(6), 2742–2750.
Hunold, S. (2015). A survey on reproducibility in parallel computing. *arXiv preprint arXiv:1511.04217*, 2015.

Ioannidis, J.P. (2022). Correction: Why most published research findings are false. *PLoS Medicine*, 19(8), e1004085.

Ioannidis, J.P. (2015). How to make more published research true. *Revista Cubana de Información en Ciencias de la Salud (ACIMED)*, 26(2), 187-200.

Ioannidis, J.P. (2005). Why most published research findings are false. *PLoS medicine*, 2(8), e124.

Iqbal, S.A., Wallach, J.D., Khoury, M.J., Schully, S.D., Ioannidis, J.P. (2016). Reproducible research practices and transparency across the biomedical literature. *PLoS biology*, 14(1), e1002333.

Ivie, P., Thain, D. (2018). Reproducibility in scientific computing. *ACM Computing Surveys (CSUR)*, 51(3), 1-36.

Jacobsen, D.M., Canon, R.S. (2015). Contain this, unleashing docker for hpc. *Proceedings of the Cray User Group*, 2015, 33-49.

Janz, N. (2016). Bringing the gold standard into the classroom: replication in university teaching. *International Studies Perspectives*, 17(4), 392-407.

Jézéquel, F., Lamotte, J.-L., Saïd, I. (2015). Estimation of numerical reproducibility on CPU and GPU. Dans *2015 Federated Conference on Computer Science and Information Systems (FedCSIS)*. IEEE, 675-680.

Johnson, A.L., Johnson, B.C. (1997). Literate programming using noweb. *Linux Journal*, 42, 64-69.

Keller Tesser, R., Borin, E. (2023). Containers in HPC: a survey. *The Journal of Supercomputing*, 79(5), 5759-5827.
Nüst, D., Sochat, V., Marwick, B., Eglen, S.J., Head, T., Hirst, T., Evans, B.D. (2020). *Ten simple rules for writing Dockerfiles for reproducible data science* Public Library of Science San Francisco, CA USA.

Nuzzo, R. (2014). Statistical errors. *Nature*, 506(7487), 150.

Ogasawara, E., Dias, J., Silva, V., Chirigati, F., De Oliveira, D., Porto, F., Valduriez, P., Mattoso, M. (2013). *Chiron: a parallel engine for algebraic scientific workflows*. *Concurrency and Computation: Practice and Experience*, 25(16), 2327–2341.

Oinn, T., Addis, M., Ferris, J., Marvin, D., Senger, M., Greenwood, M., Carver, T., Glover, K., Pocock, M.R., Wipat, A. (2004). *Taverna: a tool for the composition and enactment of bioinformatics workflows*. *Bioinformatics*, 20(17), 3045–3054.

O’neill, M.E. (2014). PCG: A family of simple fast space-efficient statistically good algorithms for random number generation. *Research report (was not published in ACM Transactions on Mathematical Software)*, 2014.

Onose, E. (2023). How to Solve Reproducibility in Machine Learning., 13 November 2023. [En ligne]. Disponible à l'adresse : https://neptune.ai/blog/how-to-solve-reproducibility-in-ml [Consulté le 1 January 2024].

Open Science Collaboration (2015). Estimating the reproducibility of psychological science. *Science*, 349(6251), aac4716.

Padala, P., Zhu, X., Wang, Z., Singhal, S., Shin, K.G. (2007). Performance evaluation of virtualization technologies for server consolidation. *HP Labs Tech. Report*, 137, 19.

Panneton, F., L'ecuyer, P., Matsumoto, M. (2006). Improved long-period generators based on linear recurrences modulo 2. *ACM Transactions on Mathematical Software (TOMS)*, 32(1), 1–16.

Park, S., Zhou, Y., Xiong, W., Yin, Z., Kaushik, R., Lee, K.H., Lu, S. (2009). Pres: probabilistic replay with execution sketching on
Kerr, N.L. (1998). HARKing: Hypothesizing after the results are known. *Personality and social psychology review*, 2(3), 196–217.

Kitzes, J., Turek, D., Deniz, F. (2018). *The practice of reproducible research: case studies and lessons from the data-intensive sciences* Univ of California Press.

Kivity, A., Kamay, Y., Laor, D., Lublin, U., Liguori, A. (2007). kvm: the Linux virtual machine monitor. Dans *Proceedings of the Linux symposium*. Dttawa, Dntorio, Canada, 225–230.

Kluyver, T., Ragan-Kelley, B., Pérez, F., Granger, B.E., Bussonnier, M., Frederic, J., Kelley, K., Hamrick, J.B., Grout, J., Corlay, S. (2016). Jupyter Notebooks-a publishing format for reproducible computational workflows. *Elpub*, 2016, 87–90.

Knuth, D.E. (1984). Literate programming. *The computer journal*, 27(2), 97–111.

Knuth, D.E., Levy, S. (1994). *The CWEB system of structured documentation: version 3.0* Addison-Wesley Longman Publishing Co., Inc.

Köster, J., Rahmann, S. (2012). Snakemake—a scalable bioinformatics workflow engine. *Bioinformatics*, 28(19), 2520–2522.

Kovacevic, J. (2007). How to encourage and publish reproducible research. Dans *2007 IEEE International Conference on Acoustics, Speech and Signal Processing-ICASSP'07*. IEEE, IV-1273-IV-1276.

Kurkowski, S., Camp, T., Colagrosso, M. (2005). MANET simulation studies: the incredibles. *ACM SIGMOBILE Mobile Computing and Communications Review*, 9(4), 50–61.

Kurtzer, G.M., Sochat, V., Bauer, M.W. (2017). Singularity: Scientific containers for mobility of compute. *PloS one*, 12(5), e0177459.

Lange, M. (2022). Toward accurate and fast summation. *ACM Transactions on Mathematical Software (TOMS)*, 48(3), 1–39.
multiprocessors. *ACM SIGOPS 22nd symposium on Operating systems principles*. 177–192.

Patil, H., Pereira, C., Stallcup, M., Lueck, G., Cownie, J. (2010). Pinplay : a framework for deterministic replay and reproducible analysis of parallel programs. *ACM international symposium on Code generation and optimization*. 2–11.

Perianayagam, S., Andrews, G.R., Hartman, J.H. (2010). Rex : a toolset for reproducing software experiments. *International Conference on Bioinformatics and Biomedicine (BIBM)*. IEEE, 613–617.

Pernet, C.R., Wilcox, R., Rousselet, G.A. (2013). Robust correlation analyses : false positive and power validation using a new open source matlab toolbox. *Frontiers in psychology*, 3, 606.

Piller, C., Servick, K. (2020). *Two elite medical journals retract coronavirus papers over data integrity questions*. *Science ScienceMag. org*. 2020 [En ligne].
Disponible à l'adresse :
https://www.science.org/content/article/two-elite-medical-journals-retract-coronavirus-papers-over-data-integrity-questions.

PLOS one Materials and Software Sharing. [En ligne]. Disponible à l'adresse : https://journals.plos.org/plosone/s/materials-and-software-sharing [Consulté le 1 Janvier 2024].

Popper, K. (2005). *The logic of scientific discovery* Routledge.

Potdar, A.M., Narayan, D.G., Kengond, S., Mulla, M.M. (2020). Performance evaluation of docker container and virtual machine. *Procedia Computer Science*, 171, 1419–1428.

Pouzat, C. (2022). Pourquoi devrions-nous arrêter d'embêter les gens avec la « recherche reproductible » et autres « bonnes pratiques » ? *Statistique et Société*, 10(1), 53–57.

Pouzat, C. (2021). Un panorama de la recherche reproductible. *Bulletin de la ROADEF*, 2021.
Langezaal, E.R., Belleman, J., Veenboer, T., Noorthoek, J. (2023). [Re] Label-Free Explainability for Unsupervised Models. *ReScience C*, 9(2), #4.

Le, E., Paz, D. (2017). Performance analysis of applications using singularity container on sdsc comet. Dans *Proceedings of the Practice and Experience in Advanced Research Computing 2017 on Sustainability, Success and Impact*. 1–4.

L'ecuyer, P. (1999). Good parameters and implementations for combined multiple recursive random number generators. *Operations Research*, 47(1), 159–164.

Lee, D., Wester, B., Veeraraghavan, K., Narayanasamy, S., Chen, P.M., Flinn, J. (2010). Respec: efficient online multiprocessor replayvia speculation and external determinism. *ACM Sigplan Notices*, 45(3), 77–90.

Legrand, A., Velho, P. (2023). [Re] Velho and Legrand (2009) - Accuracy Study and Improvement of Network Simulation in the SimGrid Framework. *ReScience C*, 6(1), #20.

Lenth, R.V. (2012). StatWeave users' manual. URL http://www.stat.uowa, 2012.

Lenth, R.V., Højsgaard, S. (2007). SASweave: Literate programming using SAS. *Journal of Statistical Software*, 19, 1–20.

Liu, J., Pacitti, E., Valduriez, P., Mattoso, M. (2015). A survey of data-intensive scientific workflow management. *Journal of Grid Computing*, 13, 457–493.

Ludwig, T. (2019). Bitwise reproducibility with exascale machines. , June 2019. [En ligne]. Disponible à l'adresse : https://www.cs.fsu.edu/~nre/nre-2019/presentations/03-Ludwig.2019-06-20-ISC-Reproducibility.pdf [Consulté le 1 Janvier 2024].
Pouzat, C., Legrand, A., Hinsen, K. (2018). Recherche Reproductible : Principes Methodologiques pour une Science Transparente. 2018. [En ligne]. Disponible à l'adresse : https://www.fun-mooc.fr/fr/cours/recherche-reproductible-principes-methodologiques-pour-une-science-transparente/ [Consulté le 2 Janvier 2024].

Pradal, C., Fournier, C., Valduriez, P., Cohen-Boulakia, S. (2015). OpenAlea: scientific workflows combining data analysis and simulation. Dans *Proceedings of the 27th International Conference on Scientific and Statistical Database Management*. 1–6.

Priedhorsky, R., Randles, T. (2017). Charliecloud: Unprivileged containers for user-defined software stacks in hpc. *International conference for high performance computing, networking, storage and analysis*. 1–10.

Rad, B.B., Bhatti, H.J., Ahmadi, M. (2017). An introduction to docker and analysis of its performance. *International Journal of Computer Science and Network Security (IJCSNS)*, 17(3), 228.

Ragan-Kelley, B., Willing, C., Akici, F., Lippa, D., Niederhut, D., Pacer, M. (2018). Binder 2.0-Reproducible, interactive, sharable environments for science at scale. *Python in science conference*. F. Akici, D. Lippa, D. Niederhut, and M. Pacer, eds., 113–120.

Randall, D., Welser, C. (2018). *The Irreproducibility Crisis of Modern Science: Causes, Consequences, and the Road to Reform*. ERIC.

Ren, S., Li, C., Tan, L., Xiao, Z. (2015). Samsara: Efficient deterministic replay with hardware virtualization extensions. *Asia-Pacific workshop on systems*. 1–7.

Revol, N., Théveny, P. (2014). Numerical reproducibility and parallel computations: Issues for interval algorithms. *IEEE Transactions on Computers*, 63(8), 1915–1924.
Manninen, T., Havela, R., Linne, M.-L. (2017). Reproducibility and comparability of computational models for astrocyte calcium excitability. *Frontiers in neuroinformatics*, 11, 11.

Marwick, B. (2015). How computers broke science—and what we can do to fix it. *The Conversation*, 2015.

Mashtizadeh, A.J., Garfinkel, T., Terei, D., Mazieres, D., Rosenblum, M. (2017). Towards practical default-on multi-core record/replay. *ACM SIGPLAN Notices*, 52(4), 693–708.

Matsumoto, M., Nishimura, T. (1998). Mersenne twister: a 623-dimensionally equidistributed uniform pseudo-random number generator. *ACM Transactions on Modeling and Computer Simulation (TOMACS)*, 8(1), 3–30.

Matthews, J.N., Hu, W., Hapuarachchi, M., Deshane, T., Dimatos, D., Hamilton, G., McCabe, M., Owens, J. (2007). Quantifying the performance isolation properties of virtualization systems. Dans *Proceedings of the 2007 workshop on Experimental computer science*. 6-es.

Mauerer, W., Scherzinger, S. (2022). 1-2-3 reproducibility for quantum software experiments. Dans *2022 IEEE International Conference on Software Analysis, Evolution and Reengineering (SANER)*. IEEE, 1247–1248.

Meneses, E., Mendes, C.L., Kalé, L.V. (2010). Team-based message logging: Preliminary results. Dans *2010 10th IEEE/ACM International Conference on Cluster, Cloud and Grid Computing*. IEEE, 697–702.

Merkel, D. (2014). Docker: lightweight linux containers for consistent development and deployment. *Linux j*, 239(2), 2.

Mesnard, O., Barba, L.A. (2017). Reproducible and replicable computational fluid dynamics: it's harder than you think. *Computing in Science & Engineering*, 19(4), 44–55.
Rijmen, V., Daemen, J. (2001). Advanced encryption standard. *Proceedings of federal information processing standards publications, national institute of standards and technology*, 19, 22.

Rosenquist, R.T., Story, S. (2013). Using the intel math kernel library (intel MKL) and intel compilers to obtain run-to-run numerical reproducible results. *ACM/IEEE Supercomputing Conference*, URL https://sc13.supercomputing.org/sites/.

Rougier, N.P., Hinsen, K., Alexandre, F., Arildsen, T., Barba, L.A., Benureau, F.C., Brown, C.T., De Buyl, P., Caglayan, O., Davison, A.P. (2017). Sustainable computational science: the ReScience initiative. *PeerJ Computer Science*, 3, e142.

Royal Society (1660). History of the Royal Society., 1660. [En ligne]. Disponible à l'adresse : https://royalsociety.org/about-us/history/ [Consulté le 1 Janvier 2024].

Ruiz, C., Jeanvoine, E., Nussbaum, L. (2015). Performance evaluation of containers for HPC. *Euro-Par: Parallel Processing Workshops*. Springer, 813–824.

Ruiz, C., Richard, O., Emeras, J. (2014). Reproducible software appliances for experimentation. *Testbeds and Research Infrastructure: Development of Networks and Communities*. Springer, 33–42.

Rump, S.M., Ogita, T., Oishi, S. (2010). Fast high precision summation. *Nonlinear Theory and Its Applications, IEICE*, 1(1), 2–24.

Rutherford, E., Royds, T. (1908). LXVIII. The action of the radium emanation upon water. *The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science*, 16(95), 812–818.

Saito, M., Matsumoto, M. (2006). SIMD-oriented fast Mersenne Twister : a 128-bit pseudorandom number generator. *Monte Carlo and Quasi-Monte Carlo Methods*. Springer, 607–622.
Miller, G. (2006). *A scientist's nightmare: software problem leads to five retractions*
American Association for the Advancement of Science.

Ministère de l'enseignement supérieur et de la recherche (2021). Second
National Plan for Open Science. , 2021. [En ligne]. Disponible à l'adresse
: https://www.ouvrirlascience.fr/second-national-plan-for-open-
science/ [Consulté le 1 Janvier 2024].

Mittal, S., Vetter, J.S. (2015). A survey of techniques for modeling and improving reliability of computing systems. *IEEE Transactions on Parallel and Distributed Systems*, 27(4), 1226–1238.

Munafò, M.R., Nosek, B.A., Bishop, D.V., Button, K.S., Chambers, C.D., Percie du Sert, N., Simonsohn, U., Wagenmakers, E.-J., Ware, J.J., Ioannidis, J. (2017). A manifesto for reproducible science. *Nature human behaviour*, 1(1), 1–9.

Mytkowicz, T., Diwan, A., Hauswirth, M., Sweeney, P.F. (2009).
Producing wrong data without doing anything obviously wrong!. *ACM
Sigplan Notices*, 44(3), 265–276.

National Academies of Sciences, E. (2019). Reproducibility and replicability in science. , 2019.

Normand, E. (1996). Single event upset at ground level. *IEEE transactions on Nuclear Science*, 43(6), 2742–2750.

Nüst, D., Sochat, V., Marwick, B., Eglen, S.J., Head, T., Hirst, T., Evans, B.D. (2020). *Ten simple rules for writing Dockerfiles for reproducible data science* Public Library of Science San Francisco, CA USA.

Nuzzo, R. (2014). Statistical errors. *Nature*, 506(7487), 150.

Ogasawara, E., Dias, J., Silva, V., Chirigati, F., De Oliveira, D., Porto, F., Valduriez, P., Mattoso, M. (2013). Chiron: a parallel engine for algebraic
Salmon, J.K., Moraes, M.A., Dror, R.O., Shaw, D.E. (2011). Parallel random numbers: as easy as 1, 2, 3. *International conference for high performance computing, networking, storage and analysis*. 1–12.

Schroeder, B., Pinheiro, E., Weber, W.-D. (2009). DRAM errors in the wild: a large-scale field study. *ACM SIGMETRICS Performance Evaluation Review*, 37(1), 193–204.

Schulte, E., Davison, D., Dye, T., Dominik, C. (2012). A multi-language computing environment for literate programming and reproducible research. *Journal of Statistical Software*, 46, 1–24.

Schwab, M., Karrenbach, N., Claerbout, J. (2000). Making scientific computations reproducible. *Computing in Science & Engineering*, 2(6), 61–67.

Senthil Kumaran, S. (2017). *Practical LXC and LXD: linux containers for virtualization and orchestration*. Springer.

Shaydulin, R., Marwaha, K., Wurtz, J., Lotshaw, P.C. (2021). QAOAKit: A toolkit for reproducible study, application, and verification of the QAOA. *Second International Workshop on Quantum Computing Software (QCS)*. IEEE, 64–71.

Sommerville, I. (2001). Software documentation. *Software engineering*, 2, 143–154.

Stallman, R.M. (1981). EMACS the extensible, customizable self-documenting display editor. *ACM SIGPLAN SIGOA symposium on Text manipulation*. 147–156.

Stanisic, L., Legrand, A., Danjean, V. (2015). An effective git and org-mode based workflow for reproducible research. *ACM SIGOPS Operating Systems Review*, 49(1), 61–70.

Stodden, V. (2011). Trust your science ? Open your data and code. , 2011.
scientific workflows. *Concurrency and Computation: Practice and Experience*, 25(16), 2327–2341.

Oinn, T., Addis, M., Ferris, J., Marvin, D., Senger, M., Greenwood, M., Carver, T., Glover, K., Pocock, M.R., Wipat, A. (2004). Taverna: a tool for the composition and enactment of bioinformatics workflows.
*Bioinformatics*, 20(17), 3045–3054.

O’neill, M.E. (2014). PCG: A family of simple fast space-efficient statistically good algorithms for random number generation. *ACM Transactions on Mathematical Software*, 2014.

Onose, E. (2023). How to Solve Reproducibility in Machine Learning., 13 November 2023. [En ligne]. Disponible à l'adresse :
https://neptune.ai/blog/how-to-solve-reproducibility-in-ml [Consulté le 1 January 2024].

Open Science Collaboration (2015). Estimating the reproducibility of psychological science. *Science*, 349(6251), aac4716.

Padala, P., Zhu, X., Wang, Z., Singhal, S., Shin, K.G. (2007).
Performance evaluation of virtualization technologies for server
consolidation. *HP Labs Tec. Report*, 137, 19.

Panneton, F., L'ecuyer, P., Matsumoto, M. (2006). Improved long-period generators based on linear recurrences modulo 2. *ACM Transactions on Mathematical Software (TOMS)*, 32(1), 1–16.

Park, S., Zhou, Y., Xiong, W., Yin, Z., Kaushik, R., Lee, K.H., Lu, S. (2009). Pres: probabilistic replay with execution sketching on multiprocessors. Dans *Proceedings of the ACM SIGOPS 22nd symposium on Operating systems principles*. 177–192.

Patil, H., Pereira, C., Stallcup, M., Lueck, G., Cownie, J. (2010). Pinplay: a framework for deterministic replay and reproducible analysis of parallel
Stodden, V., Borwein, J., Bailey, D.H. (2013). Setting the default to reproducible. *computational science research. SIAM News*, 46(5), 4–6.

Stodden, V., Krafczyk, M.S., Bhaskar, A. (2018). Enabling the verification of computational results: An empirical evaluation of computational reproducibility. *Dans Proceedings of the First International Workshop on Practical Reproducible Evaluation of Computer Systems*. 1–5.

Stodden, V., Leisch, F., Peng, R.D. (2014). *Implementing reproducible research* CRC Press.

Strong, R.W., Alvarez, G. (2019). Using simulation and resampling to improve the statistical power and reproducibility of psychological research. , 2019.

Taufer, M., Padron, O., Saponaro, P., Patel, S. (2010). Improving numerical reproducibility and stability in large-scale numerical simulations on GPUs. *International Symposium on Parallel & Distributed Processing (IPDPS)*. IEEE, 1–9.

Taylor, I., Shields, M., Wang, I., Harrison, A. (2007). The triana workflow environment: Architecture and applications. *Workflows for e-science : Scientific workflows for grids*, 2007, 320–339.

Ten Hagen, K.G. (2016). Novel or reproducible : That is the question. *Glycobiology*, 26(5), 429–429.

Topalidou, M., Leblois, A., Boraud, T., Rougier, N.P. (2015). A long journey into reproducible computational neuroscience. *Frontiers in computational neuroscience*, 9, 30.

Torrez, A., Randles, T., Priedhorsky, R. (2019). HPC container runtimes have minimal or no performance impact. *International Workshop on Containers and New Orchestration Paradigms for Isolated Environments in HPC (CANOPIE-HPC)*. IEEE, 37–42.

Utterback, R., Agrawal, K., Lee, I.-T.A., Kulkarni, M. (2017). Processor-oblivious record and replay. *ACM SIGPLAN Notices*, 52(8), 145–161.
programs. Dans *Proceedings of the 8th annual IEEE/ACM international symposium on Code generation and optimization*. 2–11.

Perianayagam, S., Andrews, G.R., Hartman, J.H. (2010). Rex: a toolset for reproducing software experiments. Dans *2010 IEEE International Conference on Bioinformatics and Biomedicine (BIBM)*. IEEE, 613–617.

Pernet, C.R., Wilcox, R., Rousselet, G.A. (2013). Robust correlation analyses: false positive and power validation using a new open source matlab toolbox. *Frontiers in psychology*, 3, 606.

Piller, C., Servick, K. (2020). *Two elite medical journals retract coronavirus papers over data integrity questions*. *Science* *ScienceMag*. org. 2020 [En ligne]. Disponible à l'adresse : https://www.science.org/content/article/two-elite-medical-journals-retract-coronavirus-papers-over-data-integrity-questions.

PLOS one Materials and Software Sharing. [En ligne]. Disponible à l'adresse : https://journals.plos.org/plosone/s/materials-and-software-sharing [Consulté le 1 Janvier 2024].

Popper, K. (2005). *The logic of scientific discovery* Routledge.

Potdar, A.M., Narayan, D.G., Kengond, S., Mulla, M.M. (2020). Performance evaluation of docker container and virtual machine. *Procedia Computer Science*, 171, 1419–1428.

Pouzat, C. (2022). Pourquoi devrions-nous arrêter d'embêter les gens avec la «recherche reproductible» et autres «bonnes pratiques»? *Statistique et Société*, 10(1), 53–57.

Pouzat, C. (2021). Un panorama de la recherche reproductible. *Bulletin de la ROADEF*, 2021.

Pouzat, C., Legrand, A., Hinsen, K. (2018). Recherche Reproductible: Principes Methodologiques pour une Science Transparente. 2018. [En
Vandewalle, P., Kovacevic, J., Vetterli, M. (2009). Reproducible research in signal processing. *IEEE Signal Processing Magazine*, 26(3), 37–47.

Wang, C., Dryden, N., Cappello, F., Snir, M. (2018). Neural network based silent error detector. *International Conference on Cluster Computing (CLUSTER)*. IEEE, 168–178.

Wilkinson, M.D., Dumontier, M., Aalbersberg, Ij.J., Appleton, G., Axton, M., Baak, A., Blomberg, N., Boiten, J.-W., da Silva Santos, L.B., Bourne, P.E. (2016). The FAIR Guiding Principles for scientific data management and stewardship. *Scientific data*, 3(1), 1–9.

Wilson, G., Aruliah, D.A., Brown, C.T., Chue Hong, N.P., Davis, M., Guy, R.T., Haddock, S.H., Huff, K.D., Mitchell, I.M., Plumbley, M.D. (2014). Best practices for scientific computing. *PLoS biology*, 12(1), e1001745.

Wu, X., Vijayakumar, K., Mueller, F., Ma, X., Roth, P.C. (2011). Probabilistic communication and i/o tracing with deterministic replay at scale. *International Conference on Parallel Processing*. IEEE, 196–205.

Wu, X., Mueller, F. (2013). Elastic and scalable tracing and accurate replay of non-deterministic events. *International conference on supercomputing*. 59–68.

Xavier, M.G., Neves, M.V., Rossi, F.D., Ferreto, T.C., Lange, T., De Rose, C.A. (2013). Performance evaluation of container-based virtualization for high performance computing environments. *Euromicro International Conference on Parallel, Distributed, and Network-Based Processing*. IEEE, 233–240.

Xue, R., Liu, X., Wu, M., Guo, Z., Chen, W., Zheng, W., Zhang, Z., Voelker, G. (2009). MPIWiz: Subgroup reproducible replay of MPI applications. *ACM SIGPLAN symposium on Principles and practice of parallel programming*. 251–260.
ligne]. Disponible à l'adresse : https://www.fun-mooc.fr/fr/cours/recherche-reproductible-principes-methodologiques-pour-une-science-transparente/ [Consulté le 2 Janvier 2024].

Pradal, C., Fournier, C., Valduriez, P., Cohen-Boulakia, S. (2015). OpenAlea: scientific workflows combining data analysis and simulation. Dans *Proceedings of the 27th International Conference on Scientific and Statistical Database Management*. 1–6.

Priedhorsky, R., Randles, T. (2017). Charliecloud: Unprivileged containers for user-defined software stacks in hpc. Dans *Proceedings of the international conference for high performance computing, networking, storage and analysis*. 1–10.

Rad, B.B., Bhatti, H.J., Ahmadi, M. (2017). An introduction to docker and analysis of its performance. *International Journal of Computer Science and Network Security (IJCSNS)*, 17(3), 228.

Ragan-Kelley, B., Willing, C., Akici, F., Lippa, D., Niederhut, D., Pacer, M. (2018). Binder 2.0-Reproducible, interactive, sharable environments for science at scale. Dans *Proceedings of the 17th python in science conference*. F. Akici, D. Lippa, D. Niederhut, and M. Pacer, eds., 113–120.

Randall, D., Welser, C. (2018). *The Irreproducibility Crisis of Modern Science: Causes, Consequences, and the Road to Reform*. ERIC.

Ren, S., Li, C., Tan, L., Xiao, Z. (2015). Samsara: Efficient deterministic replay with hardware virtualization extensions. Dans *Proceedings of the 6th Asia-Pacific workshop on systems*. 1–7.

Revol, N., Théveny, P. (2014). Numerical reproducibility and parallel computations: Issues for interval algorithms. *IEEE Transactions on Computers*, 63(8), 1915–1924.
Yong, C., Lee, G.-W., Huh, E.-N. (2018). Proposal of container-based HPC structures and performance analysis. *Journal of Information Processing Systems*, 14(6), 1398–1404.

Younge, A.J., Pedretti, K., Grant, R.E., Brightwell, R. (2017). A tale of two systems: Using containers to deploy HPC applications on supercomputers and clouds. *International Conference on Cloud Computing Technology and Science (CloudCom)*. IEEE, 74–81.

Zhao, Y., Hategan, M., Clifford, B., Foster, I., Von Laszewski, G., Nefedova, V., Raicu, I., Stef-Praun, T., Wilde, M. (2007). Swift: Fast, reliable, loosely coupled parallel computation. *Congress on Services (Services)*. IEEE, 199–206.

Zhou, N., Zhou, H., Hoppe, D. (2022). Containerization for High Performance Computing Systems: Survey and Prospects. *IEEE Transactions on Software Engineering*, 49(4), 2722–2740.

Zolfagharifard, E., Boland, H. (2020). Coding that led to lockdown "totally unreliable" and "a buggy mess", say experts. , Mai 2020. [En ligne]. Disponible à l'adresse : https://www.telegraph.co.uk/technology/2020/05/16/coding-led-lockdown-totally-unreliable-buggy-mess-say-experts/ [Consulté le 1 Janvier 2024].
Rijmen, V., Daemen, J. (2001). Advanced encryption standard. *Proceedings of federal information processing standards publications, national institute of standards and technology*, 19, 22.

Rosenquist, T. (2012). Run-to-run Numerical Reproducibility with the Intel® Math Kernel Library and Intel® Composer XE 2013. , 2012.

Rougier, N.P., Hinsen, K., Alexandre, F., Arildsen, T., Barba, L.A., Benureau, F.C., Brown, C.T., De Buyl, P., Caglayan, O., Davison, A.P. (2017). Sustainable computational science: the ReScience initiative. *PeerJ Computer Science*, 3, e142.

Royal Society (1660). History of the Royal Society. , 1660. [En ligne].
Disponible à l'adresse : https://royalsociety.org/about-us/history/
[Consulté le 1 Janvier 2024].

Ruiz, C., Jeanvoine, E., Nussbaum, L. (2015). Performance evaluation of containers for HPC. Dans *Euro-Par 2015: Parallel Processing Workshops: Euro-Par 2015 International Workshops, Vienna, Austria, August 24-25, 2015*, Revised Selected Papers 21. Springer, 813–824.

Ruiz, C., Richard, O., Emeras, J. (2014). Reproducible software appliances for experimentation. Dans *Testbeds and Research Infrastructure: Development of Networks and Communities: 9th International ICST Conference, TridentCom 2014, Guangzhou, China, May 5-7, 2014*, Revised Selected Papers 9. Springer, 33–42.

Rump, S.M., Ogita, T., Oishi, S. (2010). Fast high precision summation. *Nonlinear Theory and Its Applications, IEICE*, 1(1), 2–24.

Rutherford, E., Royds, T. (1908). LXVIII. The action of the radium emanation upon water. *The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science*, 16(95), 812–818.
# Index

## A

Apptainer · 85, 92, 95, 112, 118,
120

AVX · 59, 61, 115

## C

calcul haute performance · 8, 18,
49, 58, 60, 63, 88, 93, 95, 98, 100,
111, 113, 114, 119, 120, 154

calcul parallèle · 8, 19, 29, 49, 50,
52, 54, 55, 96, 98, 154

conteneurs · 84, 90, 91, 92, 94, 95,
112

CPU · 58, 60, 62, 69, 91, 95, 115,
136

crise de la reproductibilité · 7, 9, 21,
22, 27, 30, 35, 118, 154

culture scientifique · 40

## D

Docker · 85, 91, 92, 93, 94, 95, 110,
124, 126, 139

documentation · 8, 29, 33, 34, 44,
47, 55, 73, 75, 80, 111, 112, 136,
145, 154

## E

environnement logiciel · 18, 42, 46,
80, 85, 91, 110

erreurs silencieuses · 29, 68, 69, 70,
104, 105, 119, 154

Exascale · 50, 70

## F

FMA · 59, 115

## G

génie logiciel · 29, 31, 46, 72, 75,
154

Git · 72, 74

GPU · 56, 67, 93, 95, 136

Guix · 84, 85, 96, 112, 118, 120,
127

## H

HPC · 7, 8, 9, 60, 82, 87, 93, 102,
111, 114, 115, 126, 127, 131, 136,
143, 146, 147

## J

Jupyter · 74, 75, 112, 136

## M

machine virtuelle · 86, 89

Monte-Carlo · 51, 154

MPI · 51, 83, 93, 95, 98, 100, 102,
105, 132, 147
Saito, M., Matsumoto, M. (2006). SIMD-oriented fast Mersenne Twister: a 128-bit pseudorandom number generator. Dans *Monte Carlo and Quasi-Monte Carlo Methods 2006*. Springer, 607–622.

Salmon, J.K., Moraes, M.A., Dror, R.O., Shaw, D.E. (2011). Parallel random numbers: as easy as 1, 2, 3. Dans *Proceedings of 2011 international conference for high performance computing, networking, storage and analysis*. 1–12.

Schroeder, B., Pinheiro, E., Weber, W.-D. (2009). DRAM errors in the wild: a large-scale field study. *ACM SIGMETRICS Performance Evaluation Review*, 37(1), 193–204.

Schulte, E., Davison, D., Dye, T., Dominik, C. (2012). A multi-language computing environment for literate programming and reproducible research. *Journal of Statistical Software*, 46, 1–24.

Schwab, M., Karrenbach, N., Claerbout, J. (2000). Making scientific computations reproducible. *Computing in Science & Engineering*, 2(6), 61–67.

Senthil Kumaran, S. (2017). *Practical LXC and LXD: linux containers for virtualization and orchestration* Springer.

Shaydulin, R., Marwaha, K., Wurtz, J., Lotshaw, P.C. (2021). QAOAKit: A toolkit for reproducible study, application, and verification of the QAOA. Dans *2021 IEEE/ACM Second International Workshop on Quantum Computing Software (QCS)*. IEEE, 64–71.

Sommerville, I. (2001). Software documentation. *Software engineering, 2*, 143–154.

Stallman, R.M. (1981). EMACS the extensible, customizable self-documenting display editor. Dans *Proceedings of the ACM SIGPLAN SIGOA symposium on Text manipulation*. 147–156.
N

nombres pseudo-aléatoires · 29, 51,
52, 66, 113, 154

O

optimisation · 2, 8, 29, 58, 60, 63, 64, 68, 115, 118, 154
Org-mode · 74, 75, 112

Q

quantique · 8, 18, 63, 64, 65, 116,
120, 154

R

répétabilité · 10, 12, 13, 14, 15, 16,
18, 19, 51, 52, 54, 59, 104, 116,
120, 133

réplicabilité · 10, 11, 12, 13, 15, 16,
19, 20, 28, 35

S

science ouverte · 8, 23, 26, 30, 31,
32, 89, 154

Software Heritage · 32, 72, 110, 111

**statistique** · 34, 35, 36, 37, 38, 39,
41, 55, 57, 121

V

virgule flottante · 8, 49, 50, 51, 59, 60, 62, 67, 69, 91, 96, 97, 98, 115

W

workflows · 8, 13, 29, 42, 44, 45,
73, 76, 79, 98, 111, 112, 116, 118,
122, 127, 128, 136, 140, 142, 146,
154

Z

Zenodo · 32, 72, 112
Stanisic, L., Legrand, A., Danjean, V. (2015). An effective git and org-mode based workflow for reproducible research. *ACM SIGOPS Operating Systems Review*, 49(1), 61–70.

Stodden, V. (2011). *Trust your science? Open your data and code.* , 2011.

Stodden, V., Borwein, J., Bailey, D.H. (2013). Setting the default to reproducible. *computational science research. SIAM News*, 46(5), 4–6.

Stodden, V., Krafczyk, M.S., Bhaskar, A. (2018). Enabling the verification of computational results: An empirical evaluation of computational reproducibility. Dans *Proceedings of the First International Workshop on Practical Reproducible Evaluation of Computer Systems*. 1–5.

Stodden, V., Leisch, F., Peng, R.D. (2014). *Implementing reproducible research* CRC Press.

Strong, R.W., Alvarez, G. (2019). Using simulation and resampling to improve the statistical power and reproducibility of psychological research. , 2019.

Taufer, M., Padron, O., Saponaro, P., Patel, S. (2010). Improving numerical reproducibility and stability in large-scale numerical simulations on GPUs. Dans *2010 IEEE International Symposium on Parallel & Distributed Processing (IPDPS)*. IEEE, 1–9.

Taylor, I., Shields, M., Wang, I., Harrison, A. (2007). The triana workflow environment: Architecture and applications. *Workflows for e-science: Scientific workflows for grids*, 2007, 320–339.

Ten Hagen, K.G. (2016). Novel or reproducible: That is the question. *Glycobiology*, 26(5), 429–429.

Topalidou, M., Leblois, A., Boraud, T., Rougier, N.P. (2015). A long journey into reproducible computational neuroscience. *Frontiers in computational neuroscience*, 9, 30.
Logo imprimeur
Torrez, A., Randles, T., Priedhorsky, R. (2019). HPC container runtimes have minimal or no performance impact. Dans *2019 IEEE/ACM International Workshop on Containers and New Orchestration Paradigms for Isolated Environments in HPC (CANOPIE-HPC)*. IEEE, 37–42.

Utterback, R., Agrawal, K., Lee, I.-T.A., Kulkarni, M. (2017). Processor-oblivious record and replay. *ACM SIGPLAN Notices*, 52(8), 145–161.

Vandewalle, P., Kovacevic, J., Vetterli, M. (2009). Reproducible research in signal processing. *IEEE Signal Processing Magazine*, 26(3), 37–47.

Wang, C., Dryden, N., Cappello, F., Snir, M. (2018). Neural network based silent error detector. Dans *2018 IEEE International Conference on Cluster Computing (CLUSTER)*. IEEE, 168–178.

Wilkinson, M.D., Dumontier, M., Aalbersberg, Ij.J., Appleton, G., Axton, M., Baak, A., Blomberg, N., Boiten, J.-W., da Silva Santos, L.B., Bourne, P.E. (2016). The FAIR Guiding Principles for scientific data management and stewardship. *Scientific data*, 3(1), 1–9.

Wilson, G., Aruliah, D.A., Brown, C.T., Chue Hong, N.P., Davis, M., Guy, R.T., Haddock, S.H., Huff, K.D., Mitchell, I.M., Plumbley, M.D. (2014). Best practices for scientific computing. *PLoS biology*, 12(1), e1001745.

Wu, X., Vijayakumar, K., Mueller, F., Ma, X., Roth, P.C. (2011). Probabilistic communication and i/o tracing with deterministic replay at scale. Dans *2011 International Conference on Parallel Processing*. IEEE, 196–205.

Wu, X., Mueller, F. (2013). Elastic and scalable tracing and accurate replay of non-deterministic events. Dans *Proceedings of the 27th international ACM conference on International conference on supercomputing*. 59–68.

Xavier, M.G., Neves, M.V., Rossi, F.D., Ferreto, T.C., Lange, T., De Rose, C.A. (2013). Performance evaluation of container-based
Impression Finition

Dépôt légal
virtualization for high performance computing environments. Dans *2013 21st Euromicro International Conference on Parallel, Distributed, and Network-Based Processing*. IEEE, 233–240.

Xue, R., Liu, X., Wu, M., Guo, Z., Chen, W., Zheng, W., Zhang, Z., Voelker, G. (2009). MPIWiz: Subgroup reproducible replay of MPI applications. Dans *Proceedings of the 14th ACM SIGPLAN symposium on Principles and practice of parallel programming*. 251–260.

Yong, C., Lee, G.-W., Huh, E.-N. (2018). Proposal of container-based HPC structures and performance analysis. *Journal of Information Processing Systems*, 14(6), 1398–1404.

Younge, A.J., Pedretti, K., Grant, R.E., Brightwell, R. (2017). A tale of two systems: Using containers to deploy HPC applications on supercomputers and clouds. Dans *2017 IEEE International Conference on Cloud Computing Technology and Science (CloudCom)*. IEEE, 74–81.

Zhao, Y., Hategan, M., Clifford, B., Foster, I., Von Laszewski, G., Nefedova, V., Raicu, I., Stef-Praun, T., Wilde, M. (2007). Swift: Fast, reliable, loosely coupled parallel computation. Dans *2007 IEEE Congress on Services (Services 2007)*. IEEE, 199–206.

Zhou, N., Zhou, H., Hoppe, D. (2022). Containerization for High Performance Computing Systems: Survey and Prospects. *IEEE Transactions on Software Engineering*, 49(4), 2722–2740.

Zolfagharifard, E., Boland, H. (2020). Coding that led to lockdown ‘totally unreliable’ and ‘a buggy mess’, say experts. , Mai 2020. [En ligne].
Disponible à l’adresse :
https://www.telegraph.co.uk/technology/2020/05/16/coding-led-lockdown-totally-unreliable-buggy-mess-say-experts/ [Consulté le 1 Janvier 2024].
# RECHERCHE REPRODUCTIBLE

Comment les outils informatiques et le calcul scientifique impactent bien des disciplines

Cet ouvrage présente l'état de l'art de la recherche reproductible en informatique et plus particulièrement en calcul scientifique. Ce dernier est utilisé dans bien d'autres disciplines scientifiques dans un contexte de « crise de la reproductibilité ». L'ouvrage détaille les définitions et le vocabulaire du domaine, tout en exposant les différents enjeux actuels. La reproductibilité, essentielle pour perpétuer la confiance et la qualité du travail scientifique, est analysée dans ses diverses nuances.

Les auteurs exposent les multiples raisons pouvant conduire à une perte de reproductibilité lors de l'utilisation d'outils informatiques présents dans bien des domaines de la recherche. L'ouvrage souligne l'importance de la science ouverte, de la documentation rigoureuse, de l'application correcte des statistiques, de la culture scientifique, des environnements logiciels, des workflows, ainsi que du génie logiciel.

L'ouvrage aborde également en détail les problématiques du calcul scientifique à haute performance, où de nouveaux facteurs peuvent impacter la reproductibilité. Les auteurs présentent les problèmes liés au calcul parallèle, aux simulations de Monte-Carlo utilisant des générateurs de nombres pseudo-aléatoires, aux processus d'optimisation, à l'hétérogénéité du matériel, aux erreurs dites « silencieuses », ainsi qu'aux défis posés par de nouveaux paradigmes tels que l'informatique quantique.

Cet ouvrage s'adresse principalement aux chercheurs souhaitant se familiariser avec la situation actuelle de la recherche reproductible. Néanmoins, tout public possédant quelques notions en informatique trouvera intérêt à cette lecture, notamment pour se sensibiliser à la notion de reproductibilité, particulièrement pertinente dans notre discipline « jeune » qu'est l'informatique, où ces concepts sont rarement abordés durant les cursus universitaires.

**Benjamin ANTUNES** est docteur en informatique de l'Université Clermont Auvergne.
Il a travaillé 3 ans au Laboratoire d'Informatique de Modélisation et d'Optimisation des Systèmes LIMOS – UMR CNRS 6158 - Clermont Auvergne INP - Mines St Etienne

**David R.C. HILL** est Professeur à l'Université Clermont Auvergne (UCA) et fait ses recherches au Laboratoire d'Informatique de Modélisation et d'Optimisation des Systèmes (LIMOS – UMR CNRS 6158). Il enseigne à l'ISIMA, et à l'UCA de la Licence à l'école Doctorale – Clermont Auvergne INP.