Brevet FR3164828A1 — publié le 20260123

L’invention porte sur un procédé de conversion de données écrites en données audiophoniques par un système de conversion, le procédé étant caractérisé par les étapes suivantes : - une analyse sémantique des données écrites, pour en extraire des données écrites à transposer en audio extraites pour transposition en audio, - une transformation des données écrites extraites en données audiophoniques, -un envoi des données écrites et/ou des données audio et d'au moins une instruction au modèle de langue larges. Figure à publier avec l’abrégé : Fig. 1 PROCÉDÉ ET SYSTÈME DE CONVERSION DE TEXTES EN PAROLES (TEXT TO SPEECH) ETAT DE LA TECHNIQUE On connaît des systèmes ou logiciels permettant de convertir du texte en audio, en particulier concernant la lecture d'articles de journaux dont la diffusion est réalisée au format papier ou au format numérique. Cependant les systèmes connus ne permettent pas d’alterner de façon automatique entre les différentes voix imbriquées dans les articles de presse ni de paramétrer et d’adapter les voix en fonction de la sémantique des textes. Pour ce faire, il convient de distinguer le texte du journaliste d'une part (l’énonciateur premier) et une ou des citations se rapportant à une ou plusieurs autres personnes d'autre part. Dans les entretiens (interviews), il convient de distinguer les tours de parole entre les journalistes et les personnes interviewées. Les systèmes connus ne permettent pas non plus de variations significatives de prosodie, de style et d’émotions en lien avec le contenu et la structure des articles, afin de produire de façon automatique une synthèse vocale mêlant plusieurs voix et ainsi éviter une lecture monotone avec une voix unique. Les emprunts et les passages en langue étrangère dans une phrase sont également mal pris en charge par les modèles de synthèse vocale. Si de nombreux travaux de recherche s’intéressent à l’extraction de citations, notamment dans la presse écrite, il y a en revanche peu de données sur les différents sous-genre dans la presse (interviews, chroniques, éditoriaux, etc.), où les marques d’alternance de locuteurs varient au cours du texte et sont parfois ténues. Il n’existe pas de travaux de recherche portant sur la caractérisation des locuteurs pour déterminer la sélection des meilleurs paramètres de synthèse vocale. L’invention vise à remédier à ces problèmes. Pour la suite de la description, certains termes seront utilisés, chaque terme étant associé à une définition. Une liste est ajoutée ci-dessous. DÉFINITIONS : Analyse Sémantique : Étude d'une langue ou des langues considérées du point de vue de la signification ; par l'analyse des structures et des phénomènes de la signification dans une langue ou dans le langage, notamment l'analyse des règles symboliques ; Règles symboliques : détection des citations au moyen d’indices typographiques ; Modèle de langue large : réseau de neurones profond entraîné sur de grandes quantités de textes non étiquetés visant à prédire, à partir d'une séquence de mots initiale les mots suivants. Ces modèles sont utilisés pour une grande variété de tâches (génération de texte, traduction automatique, classification de textes, etc.) ; Machine Learning ou apprentissage automatique profond (machine learning en anglais) est un champ d'étude de l'intelligence artificielle qui vise à donner aux machines la capacité d'« apprendre » à partir de données, via des modèles mathématiques ; Phonostyle : Style associé à une façon de parler. Il s’agit du répertoire des styles sonores, caractéristiques d’un individu (jeune, vieux, homme, femme), d’un groupe social ou d’une circonstance particulière d’énonciation (discours politique, sermon, genre radiophonique, etc). OBJET DE L’INVENTION A cet effet, et selon un premier aspect, l’invention se réfère à un système de conversion de données écrites en données audiophoniques, en particulier paroles, comprenant : - un module d’analyse sémantique des données écrites, pour traiter des données écrites de façon à en extraire des données à transposer en audio, - un module pour effectuer une transposition audio des données écrites extraites, de manière à obtenir des données audio dites transposées, caractérisé ce qu'il comprend en outre un module d'échange et d'analyse des données écrites extraites et/ou des données audio transposées, agencé pour coopérer via des instructions avec plusieurs modèles de langue large ("Large Language Models") entraînés pour la résolution des tâches d’analyse sémantique. Ainsi, le système permet d'offrir une lecture tenant compte à la fois de plusieurs locuteurs, de langues différentes et des paramètres prosodiques de façon automatique en fonction de la sémantique des textes et faire varier le style et l'émotion à travers des modulations de l'intonation, de l'accentuation, du rythme de la parole, ou encore au moyen de l’habillage sonore et musical. Selon différents modes de réalisation du système de conversion, pouvant, ou non, être combinables entre eux : - le module d’analyse sémantique comprend l’analyse et la caractérisation des données écrites ; - les modèles de langue large peuvent être spécialisés pour l’analyse sémantique ; - les modèles de langue large peuvent être différents ; - les modèles de langue large peuvent être entraînés à partir de jeux de données ; - les modèles de langue large peuvent être supervisés d’un réseau de neurones ; - les modèles de langue large permettent de détecter et caractériser des locuteurs et le phonostyle associé à leurs énoncés ; - les modèles de langue large peuvent mettre en œuvre une intelligence artificielle à apprentissage automatique profond, de préférence générative ou non-générative ; - le système peut comprendre en outre un module d’interrogations ou de recherche de termes agencé pour interroger une ou des bibliothèques numériques de langues et/ou de connaissances générales. Il est possible de traiter différents formats d’articles ou documents, et ce dans différentes langues, afin de repérer les changements de locuteurs, mais aussi les caractériser et pouvoir résoudre les chaînes de coréférences, dans les cas où les propos d’une même personne sont cités à différentes reprises L’intégration de cette brique d’analyse a vocation à déterminer les meilleures voix à appliquer, ainsi que leur paramétrage, en amont de la synthèse - le paramétrage de la transposition audio dépend de l’analyse sémantique (choix de la ou des voix pour tenir compte des tours de parole et des alternances de locuteurs, paramétrage de style d’énonciation en fonction du phonostyle détecté). - la transposition audio peut être réalisée au moins en partie grâce au balisage des données écrites extraites selon un langage de synthèse vocal dit SSML correspondant à “Speech Synthesis Markup Language” ; - la transposition audio est réalisée grâce à des modèles de synthèse vocale ou TTS correspondant à “Text-to-speech”. Selon un deuxième aspect, l’invention se réfère à un procédé de conversion de données écrites en données audiophoniques par un système de conversion selon l'une ou plusieurs des caractéristiques du premier aspect, le procédé étant caractérisé par les étapes suivantes : - une analyse sémantique des données écrites, pour en extraire des données écrites à transposer en données audio extraites pour transposition en audio, - une transformation des données écrites extraites en données audiophoniques, - un envoi des données écrites et/ou des données audio et d’au moins une série d’instructions aux modèles de langue large spécialisés. Selon une variante de réalisation le procédé de conversion de données écrites en données audiophoniques par un système de conversion selon l'une ou plusieurs des caractéristiques du premier aspect, le procédé peut être caractérisé par les étapes suivantes : - une analyse sémantique des données écrites, pour identifier les différents locuteurs et le phonostyle à associer à chacun de leurs énoncés (parole formelle et contrôlée, parole spontanée, etc.). Par exemple, l’analyse est réalisée au moyen d’un envoi d'une série d'instructions à différents modèles de langue larges spécialisées pour résoudre les différentes tâches d’analyse sémantique : détection du style et de la thématique des données écrites, détection du genre des articles (chronique, éditorial, article d’analyse, entretien, etc.), détection des citations, détection des différents locuteurs, caractérisation des locuteurs (genre, âge, nom, fonction), détection des tours de parole ; l’objectif de l’analyse sémantique étant de détecter l’ensemble des paramètres susceptibles d’influer sur le paramétrage de la transposition audio. - une sélection et un paramétrage des voix de synthèse qui découle de l’analyse sémantique, par exemple voix d’homme ou de femme, voix reflétant l’âge du locuteur, sélection d’un phonostyle adapté à chacun des énoncés (selon un gradient allant d’une parole spontanée, comprenant des disfluences, des hésitations, jusqu’à une parole maîtrisée de type lecture à voix haute comme dans le cadre d’un discours), - une transformation des données écrites extraites en données audiophoniques, en particulier les énoncés des différents locuteurs sont alors transformés en audios, - une agrégation des segments audios pour la production de l’audio final, en particulier le retrait des bruits indésirables éventuels, retrait des respirations finales éventuelles, harmonisation des volumes, habillage musical. Le procédé de conversion présente les mêmes avantages que le système de conversion. Au surplus, le système et le procédé de conversion permettent de varier les paramètres prosodiques de façon automatique en fonction de la sémantique des textes, afin de reproduire le plus fidèlement le phonostyle qui peut être associé à chaque énoncé. Selon différents modes de réalisation du procédé de conversion, pouvant, ou non, être combinables entre eux : - le procédé peut comprendre une étape de détection des alternances de locuteur (détection des tours de parole, extraction des citations via les indices typographiques et via des instructions envoyées à des modèles de langue larges spécialisés pour la résolution des différentes tâches d’analyse sémantique) ; - l'étape d'envoi peut être répétée en au moins une série de plusieurs envois de données écrites et/ou de données audio et d’au moins une série de plusieurs instructions aux modèles de langue larges ; - de préférence une série de plusieurs envois de données écrites correspondant à plusieurs paramètres ou plusieurs tâches ou une donnée écrite envoyé plusieurs fois en fonction ou au regard de plusieurs paramètres et/ou tâches ; - plusieurs instructions peuvent être envoyées aux modèles de langue larges ; - le procédé peut comprendre une étape de choix d’une voix ou de plusieurs voix, de préférence avec paramétrage d’un phonostyle ; - le procédé peut comprendre au moins une interrogation envoyée à au moins une bibliothèque numérique de langues et/ou de connaissances générales ; - le procédé peut comprendre en outre une génération d’au moins une illustration ou au moins une image ou au moins un contenu vidéo ; - la génération peut être réalisée en fonction des données écrites et/ou de données audio ; - le procédé peut comprendre en outre au moins une étape de supervision, en particulier de la qualité audio, d’au moins une étape du procédé. DESCRIPTION DE L’INVENTION D’autres caractéristiques et avantages de l’invention ressortiront de la description détaillée de l’invention qui va suivre en référence à la figure annexée : FIG. 1 La FIG. 1 est un schéma du procédé de conversion de données écrites en données audiophoniques. Selon un mode de réalisation particulier, il est prévu les étapes suivantes : Composants de traitement du langage naturel Via des connecteurs et un module personnalisé de collecte de contenu (API REST, FTP, Scrapping, …), l’article ou les articles de presse, dits articles en entrée, sont convertis en données écrites brutes. Ensuite les données écrites brutes sont analysées selon l’une ou plusieurs des étapes suivantes, dans cet ordre ou dans un autre ordre : - Analyse du sujet, de la tonalité et du style à l’aide de modèles de langue spécialisés (détection ou extraction thèmes et style) ; - Détection des locuteurs, citations et tours de parole ; identité des locuteurs et identification du genre des locuteurs à l’aide de modèles de langue spécialisés, - Détection ou analyse des phonostyles propres à chaque énoncé du ou des locuteurs - Détection des passages interlingues tels que les anglicismes, italianismes, etc ; - Identification du lexique problématique avec une prononciation spécifique (détection ou extraction de lexique) ; une étape d’enrichissement peut être réalisée grâce à un outil de supervision ; - Sélection et paramétrage de voix de synthèse multilingues adaptées aux différents locuteurs et au phonostyle propre à chaque énoncé des différents locuteurs (traduction) ; Puis, les données écrites extraites peuvent être transcrites en audio. Composants de production de fichiers multimédias Les données écrites extraites peuvent être transposées en données audiophoniques via des systèmes, logiciels, protocoles connus de la personne du métier par exemple protocole et/ou langage SSML, et fichiers d'entrée TTS, afin de sélectionner et paramétrer des voix, générer des segments audios. Une ou plusieurs voix peuvent être choisies. Une ou plusieurs étapes de Post-traitement audio peuvent être réalisées, par exemple une ou plusieurs des étapes suivantes : normalisation, la fusion de fragments audio, l’optimisation des pauses, la standardisation du volume, le retrait du bruit et des respirations finales, habillage sonore et musical, l’intégration d'effets musicaux : musique de fond, jingles, etc. De manière optionnelle, une ou plusieurs images peuvent être générées, par exemple la génération d’une ou plusieurs illustrations liées à l'article s'il n'y a pas d'images existantes pour celui-ci. De manière optionnelle, des sous-titres peuvent être générés. Selon une variante, il peut être prévu une étape de calcul de synchronisation du texte, de l’audio et de la vidéo pour produire des sous-titres. De manière optionnelle, une ou plusieurs vidéos peuvent être générées. Une ou plusieurs étapes de Post-traitement peuvent être réalisées, par exemple une ou plusieurs des étapes suivantes : transitions, habillage graphique, etc. A la fin du procédé, l'audio, les images et les sous-titres générés sont rassemblés pour générer un fichier vidéo, par exemple du type MP4. Pour la suite de la description, il est développé le ou les étapes d’analyse des données écrites, au moins une des étapes du traitement du langage de la FIG. 1 . L’analyse préconisée combine l’analyse des règles linguistiques avec l’apprentissage automatique profond, comprenant l’une ou plusieurs des étapes suivantes : - explicitation et/ou détection de la segmentation discursive des textes, par exemple la gestion du rythme, les enchaînements et temps de pause, - détection des locuteurs, - détection de la thématique des articles, - détection des tours de parole et citations, - détection des termes susceptibles d’être mal prononcés (alimentation itérative du thesaurus), - détection des passages interlingues, par exemple anglicismes, - explicitation et/ou détection des coréférences, par exemple des locuteurs cités à plusieurs reprises. En outre, le procédé de conversion permet de gérer la prosodie, en utilisant par exemple la personnalisation des voix neuronales, comprenant l’une ou les deux étapes suivantes : - gestion de la prosodie journalistique, en particulier la sur-articulation, la sur-segmentation, l’hyperactivité mélodique, les accents initiaux, - gestion de la courbe prosodique, en particulier les questions, les exclamations, les émotions, la spontanéité du discours ou à l’opposé son aspect formel et contrôlé. Les différents paramètres cités au-dessus font l’objet d’instructions transmises à des modèles de langue larges en utilisant une ou plusieurs techniques qui relèvent du Traitement Automatique des Langues et de l’apprentissage profond : spécialisation de modèles d’apprentissage profond, entraînés à partir d’exemples à reproduire les tâches d’analyse sémantique (classification, détection et caractérisation des locuteurs, résolution des chaînes de coréférence, etc.). Afin de pouvoir guider au mieux la synthèse vocale et produire en sortie une transcription audio qui soit en mesure de capter et conserver l’attention des auditeurs, un important travail préalable sur les textes eux-mêmes doit donc être mené en amont de la chaîne de traitement. Ce travail de prétraitement vise à repérer dans les textes tous les éléments qui sont susceptibles d’impacter en aval la synthèse, soit pour associer une voix au texte ou à une portion de texte, soit pour paramétrer le style de la voix (émotion, pitch, etc), soit encore pour forcer une prononciation particulière. Par exemple, détecter la thématique des articles peut conduire à sélectionner une voix plutôt qu’une autre (la voix associée à la lecture d’un article de sport peut être différente de celle associée à la lecture d’un article sur l'actualité politique), repérer dans les textes les citations et les alternances de locuteurs peut conduire à entrelacer plusieurs voix, déterminer les caractéristiques des locuteurs peut là encore conduire au choix de telle ou telle voix (féminine ou masculine), etc. Il peut également être nécessaire d’associer une prononciation particulière aux termes ou noms d’origine étrangère, certains phonèmes entrant dans leur prononciation n’appartenant pas au système phonologique général de la langue source. Cet ensemble de prétraitements relève du champ de l’analyse des textes, avec une analyse sous différents angles : syntaxique, sémantique, discursive ou stylistique. Synthèse de la parole, d’un côté, et analyse des textes de l’autre, forment les deux pendants du champ plus large du Traitement Automatique du Langage Naturel (TALN), faisant l’objet du procédé et du système de conversion. L’analyse sémantique se déploie en trois opérations principales : - Opération 1 : Synthèse vocale polyphonique - Opération 2 : Amélioration du rendu audio - Opération 3 : Amélioration de la prononciation de lexiques spécifiques, des mots d’emprunt et des passages interlingues. Ces différentes opérations permettent de guider au mieux la synthèse vocale. Elles ont toutes un point commun : elles visent à déterminer les caractéristiques des textes qui sont susceptibles d’avoir une incidence sur la mise en lecture - soit sur le choix de la voix sélectionnée (voix d’homme ou de femme, jeune ou âgée, voix disposant de la capacité à exprimer telle ou telle émotion), soit sur leur alternance (changement de locuteurs lors des citations longues ou pour refléter les tours de parole dans une interview), soit sur le paramétrage des voix pour la lecture de tel ou tel passage donné (choix d’un style, d’une émotion, d’un débit, d’une langue, etc.), soit sur la prononciation de certains mots, soit encore pour la détermination des temps de pause à marquer dans le flux de la parole, afin de lui donner un rythme cohérent et non monotone. Concernant l’opération 1 : la synthèse vocale polyphonique via des instructions avec un modèle de langue larges supervisé d'un réseau de neurones permet de déterminer de façon automatique dans un texte les changements de locuteurs conduisant à alterner les voix de synthèse. Cette opération regroupe un ensemble de tâches diverses connues en tant que telles : extraction des citations (Pouliquen et al., 2007; Scheible et al., 2016; Papay & Padó, 2019; Papay et al. 2019; Vaucher et al., 2021), extraction des incises de citation (Bonami & Godard, 2008; Danlos et al., 2010), détermination et caractérisation des locuteurs (Almeida et al., 2014; Zhang & Liu, 2021), résolution des coréférences pour déterminer si le locuteur d’une citation a déjà été cité auparavant dans le texte, ce qui doit conduire à réutiliser la même voix (Almeida et al., 2014; Sukhanter et al., 2020; Ferreira et al., 2020). Concernant l’opération 2 : le rendu audio généré via des instructions avec un modèle de langue larges supervisé d'un réseau de neurones permet d’imiter la parole humaine sur des textes longs (articles, livres), et de pouvoir introduire des variations plus riches dans les intonations et le rythme, selon un modèle propre au style journalistique, comme la radio ou le journal télévisé, où la prosodie varie selon que le journaliste annonce les grands titres de l’actualité ou déroule une actualité précise, jouant régulièrement avec des variations de rythme pour capter et maintenir l’attention de l’auditeur. La thématique ou la rubrique d’un article (sport, politique, sciences, etc.), la nature de l’actualité (décompte de victimes, découverte étonnante), ou encore le genre de l’article (tribune, interview, etc.) sont également de nature à influer sur la restitution vocale. Concernant l’opération 3 : la prononciation de lexiques spécifiques des mots d’emprunt et des passages interlingues générée via des instructions avec un modèle de langue larges supervisé d'un réseau de neurones permet d’être améliorée. Le procédé et le système de conversion permet de produire une synthèse vocale en mesure d’exploiter une palette acoustique expressive la plus riche et variée possible (variations d’intonations, d’émotions, de rythmes, alternances et changements de voix, introduction de respirations, d’ambiances sonores, d’habillage musical), afin de produire des contenus audios permettant de capter et maintenir l’attention des auditeurs dans la durée. Ils permettent de faire varier les paramètres prosodiques de façon automatique en fonction de la sémantique des textes, et ainsi produire de la façon la plus automatique possible un format audio à la fois agréable, naturel et expressif. Système de conversion de données écrites en données audiophoniques comprenant : - un module d’analyse sémantique des données écrites, pour traiter des données écrites de façon à en extraire des données à transposer en audio, - un module pour effectuer une transposition audio des données écrites extraites, caractérisé ce qu 'il comprend en outre un module d'échange et d'analyse des données écrites extraites et/ou des données audio transposées, agencé pour coopérer via des instructions avec plusieurs modèles de langue larges entraînés pour la résolution des tâches d’analyse sémantique. Système selon la revendication précédente dans lequel les modèles de langue large mettent en œuvre une intelligence artificielle à apprentissage automatique profond, de préférence générative ou non-générative. Système selon la revendication 1 ou 2 comprenant en outre un module d'interrogations ou de recherche de termes agencé pour interroger une ou des bibliothèques numériques de langues et/ou de connaissances générales. Procédé de conversion de données écrites en données audiophoniques par un système de conversion selon l'une des revendications précédentes, le procédé étant caractérisé par les étapes suivantes : - une analyse sémantique des données écrites, pour en extraire des données écrites à transposer en audio extraites pour transposition en audio, - une transformation des données écrites extraites en données audiophoniques, - un envoi des données écrites et/ou des données audio et d'au moins une série d’instructions aux modèles de langue larges spécialisés. Procédé selon la revendication précédente, dans lequel l'étape d'envoi est répétée en au moins une série de plusieurs envois de données écrites et/ou de données audio et d’au moins une série de plusieurs instructions aux modèles de langue larges. Procédé selon la revendication 4 ou 5, dans lequel plusieurs instructions sont envoyées au modèle de langue larges. Procédé selon l'une des revendications 4 à 6, dans lequel au moins une interrogation est envoyée à au moins une bibliothèque numérique de langues et/ou de connaissances générales. Procédé selon l'une des revendications 4 à 7, comprenant en outre une génération d’au moins une illustration ou au moins une image ou au moins un contenu vidéo. Procédé selon la revendication précédente, dans lequel la génération est réalisée en fonction des données écrites et/ou de données audio. Procédé selon l’une des revendications 4 à 9, comprenant en outre au moins une étape de supervision d’au moins une étape du procédé.