NCube/papyrus huggingface dataset:
On the bias-variance tradeoff : textbooks need an update

L’objectif principal de cette thèse est de souligner que le compromis biais-variance n’est pas toujours vrai (p. ex. dans les réseaux neuronaux). Nous plaidons pour que ce manque d’universalité soit reconnu dans les manuels scolaires et enseigné dans les cours d’introduction qui couvrent le compromis.  Nous passons d’abord en revue l’historique du compromis entre les biais et les variances, sa prévalence dans les manuels scolaires et certaines des principales affirmations faites au sujet du compromis entre les biais et les variances. Au moyen d’expériences et d’analyses approfondies, nous montrons qu’il n’y a pas de compromis entre la variance et le biais dans les réseaux de neurones lorsque la largeur du réseau augmente. Nos conclusions semblent contredire les affirmations de l’oeuvre historique de Geman et al. (1992). Motivés par cette contradiction, nous revisitons les mesures expérimentales dans Geman et al. (1992). Nous discutons du fait qu’il n’y a jamais eu de preuves solides d’un compromis dans les réseaux neuronaux lorsque le nombre de paramètres variait. Nous observons un phénomène similaire au-delà de l’apprentissage supervisé, avec un ensemble d’expériences d’apprentissage de renforcement profond.  Nous soutenons que les révisions des manuels et des cours magistraux ont pour but de transmettre cette compréhension moderne nuancée de l’arbitrage entre les biais et les variances. The main goal of this thesis is to point out that the bias-variance tradeoff is not always true (e.g. in neural networks). We advocate for this lack of universality to be acknowledged in textbooks and taught in introductory courses that cover the tradeoff.  We first review the history of the bias-variance tradeoff, its prevalence in textbooks, and some of the main claims made about the bias-variance tradeoff. Through extensive experiments and analysis, we show a lack of a bias-variance tradeoff in neural networks when increasing network width. Our findings seem to contradict the claims of the landmark work by Geman et al. (1992). Motivated by this contradiction, we revisit the experimental measurements in Geman et al. (1992). We discuss that there was never strong evidence for a tradeoff in neural networks when varying the number of parameters. We observe a similar phenomenon beyond supervised learning, with a set of deep reinforcement learning experiments.  We argue that textbook and lecture revisions are in order to convey this nuanced modern understanding of the bias-variance tradeoff.

Keyphrases: Compromis biais-variance, Réseaux de neurones, Sur-paramétrage, Généralisation, Bias-variance tradeoff, Neural networks, Over-parameterization, Generalization
Compression in Sequence to Sequence Learning for Natural Language Processing

Dans ce travail, nous proposons une méthode presque sans perte d’information pour encoder de longues séquences de texte ainsi que toutes leurs sous-séquences en des représentations riches en information. Nous testons notre méthode sur une tâche d’analyse de sentiments et obtenons de bons résultats avec les vecteurs de sous-phrases et de phrases. Ce travail présente aussi l’utilisation de la distillation de connaissance et de la quantification pour compresser le modèle de Transformer [Vaswani et al., 2017] pour la tâche de traduction. Nous sommes, au mieux de nos connaissances, les premiers à démontrer que le Transformer avec ses poids quantifiés à 8-bits peut obtenir un score BLEU aussi bon qu’avec ses poids de précisions pleines. De plus, en combinant la distillation de connaissance avec la quantification des poids, nous pouvons entraîner de plus petits réseaux Transformer et obtenir un taux de compression jusqu’à 12.59x, en ne perdant que seulement 2.51 BLEU sur la tâche de traduction WMT 2014 Anglais-Français, comparativement au modèle de base. Le chapitre 1 introduit des concepts d’apprentissage machine pour le traitement des langues naturelles, concepts qui sont essentiels à la compréhension des deux papiers présentés dans cette thèse. Chapitre 2 et 3 couvrent respectivement chaque papier, avant de conclure par le chapitre 4. In this work, we propose a near lossless method for encoding long sequences of texts as well as all of their sub-sequences into feature rich representations. We test our method on sentiment analysis and show good performance across all sub-sentence and sentence embeddings. This work also demonstrates the use of knowledge distillation and quantization to compress the original Transformer model [Vaswani et al., 2017] for the translation task. We are, to the best of our knowledge, the first to show that 8-bit quantization of the weights of the Transformer can achieve the same BLEU score as the full-precision model. Furthermore, when we combine knowledge distillation with weight quantization, we can train smaller Transformer networks and achieve up to 12.59x compression while losing only 2.51 BLEU off the baseline on the WMT 2014 English-to-French translation task. Chapter 1 introduces machine learning concepts for natural language processing which are essential to understanding both papers presented in this thesis. Chapter 2 and 3 cover each paper respectively, before finally concluding with chapter 4.

Keyphrases: apprentissage machine, apprentissage profond, traitement des langues naturelles, séquence à séquence, compression, compression, machine learning, deep learning, natural language processing, sequence to sequence
Real-Time Reinforcement Learning

Les processus de décision markovien (MDP), le cadre mathématiques sous-jacent à la plupart des algorithmes de l'apprentissage par renforcement (RL) est souvent utilisé d'une manière qui suppose, à tort, que l'état de l'environnement d'un agent ne change pas pendant la sélection des actions. Puisque les systèmes RL basés sur les MDP classiques commencent à être appliqués dans les situations critiques pour la sécurité du monde réel, ce décalage entre les hypothèses sous-jacentes aux MDP classiques et la réalité du calcul en temps réel peut entraîner des résultats indésirables. Dans cette thèse, nous introduirons un nouveau cadre dans lequel les états et les actions évoluent simultanément, nous montrerons comment il est lié à la formulation MDP classique. Nous analyserons des algorithmes existants selon la nouvelle formulation en temps réel et montrerons pourquoi ils sont inférieurs, lorsqu'ils sont utilisés en temps réel. Par la suite, nous utiliserons ces perspectives pour créer un nouveau algorithme Real-Time Actor Critic qui est supérieur au Soft Actor Critic contrôle continu de l'état de l'art actuel, aussi bien en temps réel qu'en temps non réel. Markov Decision Processes (MDPs), the mathematical framework underlying most algorithms in Reinforcement Learning (RL), are often used in a way that wrongfully assumes that the state of an agent's environment does not change during action selection. As RL systems based on MDPs begin to find application in real-world safety critical situations, this mismatch between the assumptions underlying classical MDPs and the reality of real-time computation may lead to undesirable outcomes.  In this thesis, we introduce a new framework, in which states and actions evolve simultaneously, we show how it is related to the classical MDP formulation. We analyze existing algorithms under the new real-time formulation and show why they are suboptimal when used in real-time. We then use those insights to create a new algorithm, Real-Time Actor Critic (RTAC) that outperforms the existing state-of-the-art continuous control algorithm Soft Actor Critic both in real-time and non-real-time settings.

Keyphrases: apprentissage profond, apprentissage par renforcement, deep learning, reinforcement learning
Generalized Mahler measure of a family of polynomials

Le présent mémoire traite une variation de la mesure de Mahler où l'intégrale de définition est réalisée sur un tore plus général. Notre travail est basé sur une famille de polynômes tempérée originellement étudiée par Boyd, P_k (x, y) = x + 1/x + y + 1/y + k avec k ∈ R_{>4}. Pour le k = 4 cas, nous utilisons des valeurs spéciales du dilogarithme de Bloch-Wigner pour obtenir la mesure de Mahler de P_4 sur un tore arbitraire (T_ {a, b})^2 = {(x, y) ∈ C* X C* : | x | = a, | y | = b } avec a, b ∈ R_{> 0}. Ensuite, nous établissons une relation entre la mesure de Mahler de P_8 sur un tore (T_ {a, √a} )^2 et sa mesure de Mahler standard. La combinaison de cette relation avec des résultats de Lalin, Rogers et Zudilin conduit à une formule impliquant les mesures de Mahler généralisées de ce polynôme données en termes de L' (E, 0). Au final, nous proposons une stratégie pour prouver des résultats similaires dans le cas général k> 4 sur (T_ {a, b})^2 avec certaines restrictions sur a, b. In this thesis we consider a variation of the Mahler measure where the defining integral is performed over a more general torus. Our work is based on a tempered family of polynomials originally studied by Boyd, Boyd P_k (x, y) = x + 1/x + y + 1/y + k with k ∈ R_{>4}. For the k = 4 case we use special values of the Bloch-Wigner dilogarithm to obtain the Mahler measure of P_4 over an arbitrary torus (T_ {a, b})^2 = {(x, y) ∈ C* X C* : | x | = a, | y | = b } with a, b ∈ R_{> 0}. Next we establish a relation between the Mahler measure of P_8 over a torus(T_ {a, √a} )^2 and its standard Mahler measure. The combination of this relation with results due to Lalin, Rogers, and Zudilin leads to a formula involving the generalized Mahler measure of this polynomial given in terms of L'(E, 0). In the end, we propose a strategy to prove some similar results for the general case k > 4 over (T_ {a, b})^2 with some restrictions on a, b.

Keyphrases: La mesure de Mahler, La dilogarithme de Bloch-Wigner, Les fonctions L des courbes elliptiques, Un tore d'intégration variable, Régulateur, Mahler measure, Bloch-Wigner dilogarithm, L-functions of elliptic curves, Arbitrary torus, Regulator
Une évaluation de l’approche constitutiviste pour fonder l’anti-pragmatisme à propos des raisons de croire

Ce mémoire, qui appartient au domaine de l’éthique de la croyance, un champ d’enquête philosophique situé au confluent de la philosophie de l’esprit, de l’épistémologie et de l’éthique, cherche à évaluer la viabilité d’une certaine approche influente en faveur de l’anti-pragmatisme, qui est la thèse selon laquelle il n’existe aucune raison pratique normative de croire. Cette approche, que l’on peut qualifier de « constitutiviste », se fonde sur l’idée que certaines caractéristiques intrinsèques à la croyance feraient en sorte qu’il ne pourrait exister de raisons pratiques de croire. Les objectifs de ce mémoire sont : 1) sur le plan descriptif, de donner une topographie de l’approche constitutiviste 2) sur le plan normatif, d’évaluer si l’approche constitutiviste pour fonder l’anti-pragmatiste est une démarche viable ou si elle doit être rejetée. Je procède à cette évaluation par une analyse critique des arguments constitutivistes à la lumière de la littérature récente portant sur la cible de la croyance, les raisons de croire et les normes épistémiques. Je conclus que l’approche constitutiviste souffre de problèmes sérieux qui remettent en question sa viabilité. This thesis, which pertains to the philosophical domain of inquiry called the ethics of belief, at the crossroads of philosophy of mind, epistemology and ethics, aims at assessing the viability of an influent argumentative strategy in favour of anti-pragmatism about reasons for belief. According to anti-pragmatism, there are no practical normative reasons for belief. The constitutivist strategy, as I call it, purports to show that anti-pragmatism is true by appealing to constitutive, intrinsic features of belief. The aim of this thesis is double: first, it is to give a portrait of the landscape of constitutivist arguments against practical reasons for belief. Second, it is to evaluate the merits of these arguments. In order to do so, I present a critical analysis of the two main constitutivist arguments that is grounded in recent works about the aim of belief, raisons for belief and epistemic norms. My conclusion is that the constitutivist strategy suffers from serious defects which threaten its viability.

Keyphrases: Philosophie, Raisons de croire, Cible de la croyance, Délibération doxastique, Épistémologie, Normativité, Norme de la croyance, Éthique de la croyance, Philosophy, Reasons for belief, Ethics of belief, Aim of belief, Doxastic deliberation, Aim of belief, Epistemology, Norm of belief
Les enjeux éthiques de la robotique sexuelle : une perspective critique féministe

Ce mémoire eut pour ambition première d’aborder les enjeux éthiques de la robotique sexuelle selon une perspective critique féministe. Nous avons défendu la thèse selon laquelle les robotes sexuelles telles que développées à ce jour constituaient le continuum de la domination masculine en contexte sexuel. Il s’agissait alors dans un premier temps de distinguer les fondements sur lesquels la robotique sexuelle prenait forme, à savoir une structure de pouvoir inégalitaire, l’utilisation de normes dominantes et des schémas relationnels oppressifs. Dans un deuxième temps, il s’agissait de mettre en lumière les implications symboliques, c’est-à-dire au niveau de la représentation du groupe des femmes et matérielles, autrement dit en ce qui concerne le renforcement des inégalités de statuts, nous amenant alors à déterminer les caractéristiques propres à la robotique sexuelle, en d’autres termes, la réitération de paradigmes de domination sous une forme novatrice, soit celle d’un.e robot.e intelligent.e. The primary aim of this paper was to address the ethical issues of sexual robotics from a feminist critical perspective. We argued that sexual robotes as developed to date constituted the continuum of male domination in a sexual context. The first step was to distinguish the foundations on which sexual robotics was taking shape, namely an unequal power structure, the use of dominant norms and oppressive relational patterns. The second step was to highlight the symbolic implications, that is to say the representation of women’s group and material effects, in other words, the reinforcement of inequalities of status.  This led us to determine the characteristics of sexual robotics, otherwise stated, the repetition of domination paradigms in an innovative form, that of an intelligent robot.

Keyphrases: Robotique sexuelle, Intelligence artificielle, Féminisme, Ethique appliquée, Représentation, Sexual robotics, Artifical intelligence, Feminism, Applied ethics
La possibilité d’une science métaphysique dans l’ontologie de Guillaume d’Ockham : le concept d’étant

Guillaume d’Ockham (v. 1285-1347) est un philosophe nominaliste. Il considère donc que les seules choses qui existent sont individuelles. Les universaux ne sont pas des choses, mais des noms. Cet ouvrage s’intéresse plus précisément à la possibilité d’une science métaphysique dans l’ontologie restreinte d’Ockham. En effet, c’est une question qui a été peu traitée par les commentateurs malgré sa présence dans les écrits du « Vénérable débutant ». Pour ce faire, notre analyse s’intéressera premièrement à l’existence d’une métaphysique chez Ockham avant de s’intéresser aux critères nécessaires pour qu’une discipline soit scientifique. De plus, l’intérêt de cet ouvrage est d’analyser le concept d’étant, car il est le sujet premier de la métaphysique. Dans ce contexte, nous allons analyser la conception occamienne du concept et les modes d’acquisition de ces derniers, à savoir l’intuition et l’abstraction. Nous allons ensuite nous intéresser à la conception occamienne de l’équivocité et l’univocité ainsi que sa distinction des termes absolus et connotatifs. Finalement, nous allons utiliser ces outils conceptuels pour répondre à la question suivante : est-ce qu’Ockham considère que le concept d’étant est univoque à Dieu et aux créatures et quels sont les impacts de l’univocité de l’étant sur la possibilité d’une connaissance de Dieu? William Ockham (ca. 1285-1347) is a fervent nominalist. The only things that can possibly exist in his ontology are individual things. Universals do not exist, they are simply words. This work wonders about the possibility of metaphysics as a science in Ockham’s narrow ontology. In fact, it is a question that has been little discussed in the litterature on Ockham. To do so, our analysis will be interested in Ockham’s conception of scientific knowledge. Also, our principal goal is to question the concept of being which is the primary subject of metaphysics. In this context, Ockham’s conception of concept will be analysed and how our intellect obtains them by intuitive and abstractive cognitions.  We will then focus on the Occamian conception of equivocity and univocity as well as its distinction between absolute and connotative terms. Finally, we will use these conceptual tools to answer the following question: does Ockham consider that the concept of being if univocal to God and creatures and what are the impacts of the univocity of being on the possibility of a knowledge of God?

Keyphrases: Ockham, être, étant, concept, univocité, équivocité, métaphysique, science, Ockham, concept, science, being, univocity, equivocity, metaphysics
Pour une théorie de l’éditorialisation

Le fait numérique a été pensé et interprété pendant des dizaines d’années dans diverses perspectives disciplinaires : des media studies aux sciences de l’information et de la communication, en passant par la sociologie, la psychologie, les sciences politiques, etc. Cela n’est pas surprenant dès que l’on considère – avec Milad Doueihi – que le « numérique » peut être pensé comme un phénomène culturel au sens large, touchant à l’ensemble de nos vies et remettant en cause la totalité de nos catégories conceptuelles. L’expression « humanités numériques » peut en quelque sorte servir à signifier cette universalité du fait numérique : il est question de ce que devient l’humanité à l’époque du numérique. La même universalité est ce qu’aspire à prendre en compte une approche philosophique : au-delà de toute spécificité disciplinaire, le questionnement philosophique vise à comprendre un phénomène ou un fait dans l’ensemble de ses implications. Cet article a l’ambition de partir du concept d’éditorialisation pour proposer une théorie philosophique du monde à l’époque du numérique. Une philosophie, donc, non pas « du numérique », car l’objet de la philosophie ne peut qu’être universel, mais plutôt une philosophie « à l’époque du numérique ». The “digital turn” has been the object of many disciplinary interpretations: from media studies to the information and communication sciences, sociology, psychology, political sciences, and so on. This is not surprising if one considers –with Milad Doueihi– that the “digital turn” can be conceived as a cultural phenomenon, affecting all aspects of our lives and calling into question all our conceptual categories. The term “digital humanities” can somehow serve to signify this univerhumanités numériques Pour une théorie de l’éditorialisation Résumés sality of the digital turn: it adresses the question of what humanity becomes in the digital age. Philosophy tries to take into account the same universality: beyond any disciplinary specificity, the philosophical questioning aims to understand a phenomenon or a fact in all its implications. This paper starts from the concept of editorialisation to propose a philosophical theory of the world in the digital age. A philosophy therefore not “of the digital turn”, because the object of philosophy can only be universal, but rather a philosophy “in the digital age”.

Keyphrases: Théorie des humanités numériques, Philosophie, Sciences de l’information et de la communication, Autorité, Éditorialisation, Espace numérique, Organisation des contenus, Philosophie du numérique, Éditorialisation, Theory of the digital humanities, Philosophy, Information and communication sciences, Authority, Editorialisation, Digital space, Content curation, Philosophy of the digital
Integration in the community following a severe traumatic brain injury : a qualitative study exploring the presence of occupational rights violations over a lifetime experience

Introduction: Severe traumatic brain injury (TBI) is a chronic condition associated with an ongoing need to adapt to a multitude of life changes. To ease transitions and optimize occupational development, people with TBI should ideally be provided with equal opportunities to engage in varied and meaningful occupations. Despite this overarching principle, disparities between ideal and actual engagement are common. The objective of this study was to examine the experiences of people living with TBI more than 5 years post injury to explore changes in engagement in their occupations and potential situations of occupational rights’ violations. Methods: For this exploratory qualitative study, in-depth interviews were completed with 5 participants with severe TBI (average time post-injury: 17.6 years). Interviews were analyzed using principles of the critical incident technique. Results: Despite currently being in a relatively stable living situation, all participants had experienced changes in their community integration. These were associated with: high task requirements, quality of support provided by the social environment, accessibility to resources, and level of interest in engaging in occupations. In this context, participants had to decrease their engagement in meaningful occupations, and adapt their occupations, personal expectations, and environments. Conclusions: Following their TBI, participants were prevented from fair and equitable access to numerous occupations, which limited their community integration. Injustices were difficult to overcome as participants lacked the abilities and formal support to do so. These results underline the need for more long-term community services.

Keyphrases: Occupational science, Community integration, Traumatic brain injury, Occupational justice, Occupational rights
The brain's kryptonite : overview of punctate white matter lesions in neonates

With increasing advances in the ﬁeld of medical brain imaging, the known spectrum of white matter lesions hasexpanded, and we can now assess the presence of punctate white matter lesions (PWML). These focal smalllesions are quite frequently detected in the preterm infant and in full-term infants with congenital heart mal-formations with, some studies reporting a link between these lesions and adverse long-term outcomes. Theetiology of PWML has sparked a lot of questions over the years, some of which still remain unanswered. Thisnarrative review will bring an overview of current knowledge and their signiﬁcant clinical importance in thenewborn brain.

Keyphrases: Punctate white matter lesions, Neonate, Brain imaging, Outcome, MRI, DTI, Preterm infants, Birth asphyxia, Congenital heart malformation