Brevet FR2834807A1 — publié le 20030718

La présente invention concerne un système de production et de présentation de contenu multimodal qui rend la création et la maintenance de contenu multimodal accessible à un grand nombre d'auteurs et permet une présentation optimale de ce contenu en fonction des équipements terminaux dont l'utilisateur dispose et des préférences de cet utilisateur. Un contenu multimodal est un ensemble de documents électroniques et/ou d'applications logicielles qui supportent des modes multiples d'interaction hommemachine utilisables simultanément et de manière synchronisée. Le mode graphique et le mode vocal sont les principaux modes d'interaction homme-machine utilisés actuellement. Ces deux modes sont couramment utilisés de façon individuelle, faisant ressortir les inconvénients propres a chacun : 0 Il est difficile à quiconque de saisir ou de lire des données sur des équipements de taille réduite (petits claviers et écrans). Certains handicaps physiques peuvent également rendre ces opérations difficiles, voire impossibles, sur des équipements de taille normale. 0 La reconnaissance vocale fait encore des erreurs qui peuvent être bloquantes si elles sont répétées. Elle est également difficile, voire inaccessible à certains utilisateurs. 0 La voix est séquentielle et non persistante. Elle rend longue la présentation d'une information volumineuse et nécessite une capacité et un effort de mémorisation pour en effectuer une analyse efficace. Un mode de présentation uniquement vocal est difficile voire inaccessible aux sourds ou malentendants. Le support de modes multiples d'interaction homme-machine utilisables simultanément et de manière synchronisée présente donc l'avantage de pouvoir optimiser l'interaction avec l'utilisateur en fonction : 0 Des caractéristiques de l'information (sa nature, son volume...), 0 Des caractéristiques des équipements de reproduction et d'acquisition de ces informations (dimensions, fidélité, précision...) 0 Des capacités et préférences de l'utilisateur. Par opposition au contenu multimodal, un contenu qui supporte plusieurs modes interactifs de manière indépendante est qualifié de multi-canal , et sa présentation ne pourra être effectuée que dans un seul mode à la fois. Les langages et systèmes actuels de création de contenu ne sont pas adaptables à la création de contenu multimodal car la complexité introduite par une telle adaptation les rendraient inaccessibles à un grand nombre d'auteurs. Le langage XHTML (ou sa version précédente : HTML) est le plus utilisé pour la création de contenus graphiques accessibles sur Internet. Il est relativement facile d'utilisation par l'homme et la machine car il représente assez fidèlement, dans une forme textuelle, un modèle de documents (Document Object Model) qui définit les divers objets qui composent un document graphique, leurs propriétés, et leurs relations entre eux. Cependant, il est un peu verbeux et complexe car les objets définis par ce modèle sont de granularité très fine. De plus, il ne permet pas de décrire une séquence d'interactions dans le temps et ce processus, lorsqu'il est absolument nécessaire, doit être décrit dans un langage de programmation tel que JavaScript. Un tel langage de programmation est également nécessaire lorsque l'auteur souhaite vérifier la présence ou la syntaxe des informations acquises de l'utilisateur car le langage de description du contenu ne permet pas de définir si une information est requise ou optionnelle, ni aucun typage des informations acquises de l'utilisateur sous forme textuelle. Dans certains cas, les auteurs peuvent choisir d'abandonner la description de leur intention spécifique en matière de processus interactif et de déléguer la gestion du processus à l'utilisateur en divisant le document en plusieurs documents de taille réduite, substituant ainsi une série de transitions d'un sous-document à l'autre (navigation) à la description du processus. Cette méthode a pour inconvénients de briser l'unité du document original, d'augmenter la quantité et la complexité des interventions de l'utilisateur, de diminuer la prévisibilité du processus et de complexifier la mise à jour du document de manière proportionnelle au nombre de sous-documents produits. Le mode d'interaction vocal étant séquentiel par nature, toute utilisation d'un modèle de documents similaire pour la définition de contenu multimodal entraînerait la nécessité pour l'auteur d'utiliser un langage de programmation ou, dans le meilleur des cas, de diviser le document en une myriade de sous-documents, avec tous les inconvénients que cette méthode comporte. Le langage VoiceXML est un standard émergeant pour la création de contenu vocal accessible par téléphone. Il permet la représentation d'un processus interactif par la description de ce processus dans le flot du document. Ce faisant, il s'apparente malheureusement principalement à un langage de programmation et sa relation avec un quelconque modèle objet de document est diluée par les informations qui définissent le processus interactif. Il est raisonnable de supposer que des experts techniques réussiront à apprendre à la machine comment interpréter correctement ce langage et restituer le contenu qu'il décrit à l'utilisateur. Il est néanmoins peu probables que la majorité des auteurs deviennent un jour capables de le maîtriser et arrivent à produire un contenu vocal de qualité. La réutilisation de langages et modèles de documents existants pour la description d'un contenu multimodal semble donc devoir introduire une complexité inappropriée. Une solution qui consisterait à produire deux documents, l'un contenant les interactions vocales, sur le modèle VoiceXML, et l'autre contenant les informations graphiques, sur le modèle XHTML, nécessiterait la production d'un troisième document décrivant la synchronisation entre les divers éléments de ces deux modèles. Outre l'évidente complexité de production associée à cette méthode, ce principe imposerait à l'auteur de décider si les informations textuelles doivent être reproduites de façon graphique ou vocale lors de la création du contenu, alors que ce choix dépend des équipements disponibles lors de la reproduction ainsi que des capacités et préférences spécifiques de l'utilisateur. Ces critères étant difficilement prévisibles au moment de la création du contenu, cette technique, outre l'accumulation des difficultés de production, limiterait considérablement le nombre potentiel d'utilisateurs du contenu et la qualité de sa présentation. La réutilisation de langages et modèles de documents existants pour la description d'un contenu multimodal apparaît donc également produire une séparation insuffisante des problématiques de production et de présentation. Le système de production et de présentation de contenu multimodal selon l'invention pallie ces inconvénients. Il utilise un modèle de document unique qui définit des objets de haut niveau décrivant implicitement le processus interactif. Par exemple, un objet de type diaporama décrit implicitement un processus qui consiste à présenter successivement les images et le texte qui leur est optionnellement associé. Chaque image est présentée pendant une durée minimale fixée par l'auteur, sous la forme d'un attribut de chaque image ou du diaporama lui-même, et une durée maximale correspondant au temps d'énoncée du texte, plus d'optionnelles marges sonores, lorsque la présentation du texte sera réalisée en mode vocal. Si l'auteur souhaite laisser à l'utilisateur la décision du moment de la transition, il l'indique simplement par un attribut manuel plutôt que automatique du diaporama. Sans indication particulière de la part de l'auteur, le choix du mode de transition peut être laissé à l'utilisateur, l'interaction spécifique à cette option devant être produite automatiquement par le sous-système de présentation. Le modèle de document multimodal permet également l'indication du caractère obligatoire ou optionnel des informations acquises de l'utilisateur ainsi qu'une indication précise de leurs types autorisant un niveau de contrôle syntaxique satisfaisant. Par exemple, une information de type numéro de carte de crédit devra être composée de seize chiffres et une information de type nom propre devra être un mot simple ou composé nécessitant d'être épelée pour une acquisition par reconnaissance vocale. L'auteur pourra utiliser les types pré-définis par le système ou composer des types spécifiques par assemblage de types de base tels que nom propre , nombre , etc... Le système selon l'invention utilise une représentation externe du contenu multimodal pour sa persistance dans un fichier ou dans un système de stockage, ou son transfert entre plusieurs équipements. Cette forme externe est produite par une simple sérialisation des objets qui composent le contenu et des relations entre ces objets. Une opération symétrique de dé-sérialisation permet la transition du contenu multimodal de sa forme externe vers sa forme interne. Les méthodes de sérialisation et dé-sérialisation du contenu multimodal utilisent de préférence une syntaxe de transfert publique textuelle (par exemple XML), pour autoriser l'analyse syntaxique de la forme externe sérialisée du contenu multimodal par des entités externes au système et permettre la création, la consultation et la révision de ce contenu à l'aide d'un simple éditeur de texte. La syntaxe abstraite de représentation des objets internes et de leurs propriétés dans le format externe utilisera de préférence des mots, abréviations et/ou acronymes du langage courant pour faciliter la compréhension du contenu dans sa forme externe par les auteurs sans formation ni documentation particulière. Ces opérations symétriques de sérialisation et dé-sérialisation vers ou à partir de la forme externe du contenu définissent ainsi un langage multimodal qui est strictement équivalent au modèle de document. Cette stricte relation entre le langage multimodal et le modèle objet de document (DOM) multimodal simplifie sa compréhension à la fois pour les auteurs et pour la machine. L'unicité du modèle et du langage utilisé pour la description des informations nécessaires aux modes d'interaction multiples évite à l'auteur d'avoir à pré-supposer du mode interactif utilisé lors de la présentation du contenu, ce qui permet au soussystème de présentation d'en effectuer une reproduction optimale en fonction des préférences de l'utilisateur, des caractéristiques des équipements terminaux et de leur adéquation au type de contenu. A cet effet, le sous-système de présentation convertit le contenu multimodal en une séquence d'étapes de présentation propres à chaque mode interactif et produit le code exécutable de synchronisation qui permettra de provoquer la transition d'une étape à l'autre de manière synchronisée, soit sur indication d'un délai écoulé, soit sur une directive de l'utilisateur. La simplicité d'interprétation par la machine et cette claire séparation des problèmes de création et de présentation du contenu permet d'implémenter un processus automatique de conversion de contenus existants vers le modèle de document multimodal, les informations spécifiques à la présentation pouvant simplement être ignorées par le convertisseur. Le modèle de document multimodal se positionne donc comme un format pivot permettant la récupération de contenus tels que ceux qui existent actuellement sur Internet ou dans des bases de données. La définition d'objets de haut niveau comportant une sémantique de processus interactif ainsi que la possibilité de typage et d'indication du caractère obligatoire ou optionnel des informations acquises de l'utilisateur permet aux auteurs de s'affranchir de tout langage de programmation et diminue de façon significative le besoin de décomposition du contenu en sous-documents. Les dessins annexés illustrent l'invention : 0 La figure 1 reproduit la structure du système complet selon l'invention. 0 La figure 2 détaille le sous-système de présentation dans une version spécifiquement adaptée à la présentation de contenus utilisant les modes interactifs vocaux et graphiques. En référence à la figure 1, les divers composants du système (1) sont organisés autour de la description d'un contenu multimodal (2) sous la forme d'objets internes (3) et/ou dans sa forme externe textuelle (4). La conversion du format interne (3) vers le format externe (4) est réalisée par une opération de sérialisation (5) des objets internes et la conversion inverse est réalisée par une opération symétrique de désérialisation (6). La présentation de ce document est réalisée par le sous-système de présentation (7) en fonction des caractéristiques des équipements terminaux (8) et de leur adéquation au type d'information, ainsi que des préférences de l'utilisateur final (9). Un document est crée par l'auteur (10) directement dans sa forme textuelle (4) avec un éditeur de texte générique ou dans sa forme interne (3) par l'intermédiaire d'un logiciel de composition de contenu (11). Le document peut également être créé, dans l'une ou l'autre de ses formes, à partir de contenus (12) existants sous d'autres modèles et dans d'autres formats. Cette conversion est réalisée par un convertisseur (13) spécifique au format d'origine du document. Une fois converti, le document peut être révisé ou amélioré par l'auteur ou présenté directement à l'utilisateur final. En référence à la figure 2, le sous-système de présentation (7) comporte un module de présentation (14) qui utilise les caractéristiques des équipement terminaux (8) et les préférences de l'utilisateur (9), préférablement persistantes dans un fichier ou une base de données (15), pour transformer le contenu multimodal (2) en une succession d'étapes de présentation graphique (16) ainsi que d'étapes de présentation vocale (17) correspondantes. Le module de présentation génère également le code exécutable de synchronisation (18) dont le rôle est d'assurer le synchronisme de la reproduction graphique et vocale. Un système de création et de présentation de contenu multimodal selon cette invention est particulièrement adapté à la production et la présentation de contenus utilisant les modes interactifs vocaux et graphiques. Il comporte au minimum un soussystème de présentation qui supporte ces deux modes et implémente de préférence la méthode de dé-sérialisation du contenu de manière à permettre la création de contenus à partir d'un éditeur de texte. Le module de présentation peut réutiliser avantageusement les formats graphiques de textes et d'images implémentés par les navigateurs de contenus actuels pour la production des étapes de présentation graphiques ainsi que des produits de synthèse et reconnaissance vocales existants pour la production des étapes de présentation vocales. Optionnellement, un studio de composition sera inclus, qui apportera un confort de création aux auteurs par la possibilité de création d'un contenu multimodal assistée par une interface graphique et qui ne nécessite pas de connaissance détaillée du langage multimodal de la part de l'auteur. Optionnellement aussi, un ou plusieurs modules de conversion des formats de documents actuels permettront la récupération de contenus existants. Dans ce cas, il est recommandable que le système implémente également la méthode de sérialisation du contenu multimodal généré pour en permettre l'amélioration et la maintenance avec un éditeur de texte générique. Un système composé au moins d'un sous-système de présentation de contenu multimodal et d'un ou plusieurs modules de conversion de formats de documents existants constituera une passerelle de présentation multimodale des contenus actuels dans leur forme native et pourra être commercialisé en tant que produit indépendant dont l'utilité n'est pas conditionnée par la création future de contenu multimodal spécifique. Un tel système pourrait, par exemple, constituer un navigateur de contenu sur Internet spécifiquement adapté aux mal voyants. Revendications 1. Procédé pour la production et la présentation d'un contenu multimodal, caractérisé en ce qu'il comprend une modélisation du contenu sous la forme d'objets composant un document, cette modélisation étant commune à tous les modes de manière à ce qu'un seul modèle soit nécessaire pour décrire toutes les informations nécessaires à la présentation desdits modes, ledit modèle comportant, d'une part, des objets de haut niveau qui décrivent par leur nature un processus interactif et, d'autre part, des objets indiquant le caractère obligatoire ou optionnel des informations acquises de l'utilisateur ainsi que le type d'information attendu. 2. Procédé selon la revendication 1, caractérisé en ce qu'il comprend une représentation externe sérialisée (4) des objets pour la persistance du contenu dans un fichier, un système de stockage ou son transfert entre plusieurs équipements. 3. Procédé selon la revendication 2, caractérisé en ce qu'il comprend une sérialisation/dé-sérialisation utilisant une syntaxe de transfert publique. 4. Procédé selon la revendication 3, caractérisé en ce qu'il utilise une syntaxe abstraite constituée de mots, abréviations et/ou acronymes du langage courant pour la sérialisation (5) et dé-sérialisation (6) des objets du modèle de document. 5. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend une présentation du contenu multimodal spécifiquement adaptée aux équipements terminaux (8) sur lesquels cette présentation est réalisée. 6. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend une présentation du contenu multimodal spécifique à certaines préférences de l'utilisateur final (9). 7. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il met en oeuvre un logiciel de composition (11) de contenu multimodal. 8. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend la conversion par un ou plusieurs convertisseurs (13) de contenus existants (12) dans leurs formats natifs vers un format de contenu multimodal (2).