Brevet FR3137987A1 — publié le 20240119

AUn système de reconnaissance d'expressions mathématiques dirigé par la syntaxe combine des expressions mathématiques manuscrites en-ligne, des expressions mathématiques manuscrites et imprimées hors ligne et des expressions mathématiques structurées pour générer une grande quantité d'expressions mathématiques utilisables pour l'entraînement des réseaux neuronaux. Une méthode d'apprentissage de bout en bout est utilisée pour former le réseau neuronal afin d'augmenter l'effet d'apprentissage et la capacité de reconnaissance. Le problème du sur-entraînement dans les réseaux neuronaux multicouches est réduit de manière efficace afin d'augmenter la précision de l'ensemble des tests. Le mode de réseau neuronal est utilisable pour l'expression mathématique manuscrite en-ligne, l'expression mathématique manuscrite hors ligne et l'expression mathématique imprimée. Par conséquent, un seul système de reconnaissance est utilisé, aucun autre système n'est nécessaire. Figure à publier avec l’abrégé : Fig. 1 Système de reconnaissance d'expressions mathématiques dirigé par la syntaxe. Domaine de l'invention. La présente concerne la reconnaissance d'expressions mathématiques par des réseaux de neurones, et en particulier un système de reconnaissance d'expressions mathématiques par un système dirigé par la syntaxe. Contexte de l'invention. Les expressions mathématiques manuscrites en ligne désignent les expressions mathématiques qui sont acquises auprès des utilisateurs pour écrire à la main des expressions mathématiques dans un appareil électronique (tels que des stylos tactiles, des panneaux d'écriture manuscrite ou des panneaux tactiles, etc.) afin que les coordonnées des traits des expressions mathématiques puissent être directement acquises. Dans l'invention, les expressions mathématiques comprennent des symboles mathématiques et des formules mathématiques qui sont assemblés par les symboles mathématiques. De plus, les relations de position respectives entre les symboles mathématiques sont également enregistrées. La reconnaissance basée sur les données ci-dessus est appelée reconnaissance en ligne. L'expression Mathématique Manuscrite Hors ligne ou L'expression Mathématique Imprimée permet d'acquérir des expressions mathématiques qui ne correspondent pas aux états manuscrits en ligne mentionnés ci-dessus. Par exemple, des figures bidimensionnelles ou des expressions mathématiques imprimées qui ne comprennent pas d'informations sur les traits et les séquences de traits. La reconnaissance de l'expression mathématique basée sur ces données (hors ligne) est appelée reconnaissance hors ligne. Habituellement, l'apprentissage d'un réseau neuronal pour la reconnaissance d'expressions mathématiques nécessite un grand nombre d'expressions mathématiques lors de la phase d'apprentissage. Le nombre d'échantillons nécessaires peut atteindre une valeur de plusieurs centaines de milliers. Une telle quantité d'expressions mathématiques doit être générée mécaniquement, alors que les méthodes conventionnelles de génération d'expressions mathématiques prennent beaucoup de temps. En outre, les échantillons d'écriture manuscrite sont très difficiles à collecter. En outre, un réseau neuronal formé ne peut pas être modifié ni étendu. Tous ces problèmes ont été rencontrés dans l'art antérieur. Suivant d’autres caractéristiques du système de l’invention : – la reconnaissance d'expressions mathématiques dirigé par la syntaxe est : (a) une unité d'expression mathématique manuscrite en ligne destinée à recevoir des expressions mathématiques manuscrites en ligne comprenant des traits de symboles mathématiques et des textes connexes des expressions mathématiques afin d'obtenir les coordonnées des points des traits et les codes de programme correspondant à l'expression mathématique manuscrite en ligne ; les coordonnées des points des traits et les codes de programme étant formés en tant qu'échantillons manuscrits en ligne, l'unité d'expression mathématique manuscrite en ligne comprend une base de données en ligne permettant de stocker un grand nombre d'échantillons manuscrits en ligne utilisables pour l'entraînement des réseaux neuronaux ; (b) une unité d'expression mathématique manuscrite et imprimée hors ligne pour recevoir les expressions mathématiques manuscrites et imprimées hors ligne avec des codes de programme prédéfinis, les expressions mathématiques manuscrites et imprimées hors ligne et les codes de programme correspondants formant des échantillons d'expressions mathématiques manuscrites et imprimées hors ligne qui sont stockés dans une base de données hors ligne ; (c ) un générateur d'expressions mathématiques structurées pour générer des expressions mathématiques structurées ; le générateur d'expressions mathématiques comprend un corpus et une base de données de grammaire mathématique ; le générateur d'expressions mathématiques structurées recueille un grand nombre de codes de programme d'expressions mathématiques qui sont ensuite stockés dans le corpus ; la base de données de grammaire mathématique stocke des grammaires et des règles de langages de programmes mathématiques spécifiques, le générateur d'expressions mathématiques structurées générant un grand nombre d'expressions mathématiques structurées en utilisant les codes de programme des expressions mathématiques dans le corpus sur la base des grammaires et des règles de la base de données de grammaire mathématique ; et un générateur d'échantillons d'écriture connecté à l'unité d'expression mathématique manuscrite en ligne, à l'unité d'expression mathématique manuscrite et imprimée hors ligne et au générateur d'expression mathématique structurée ; le générateur d'échantillons d'écriture sert à générer une grande quantité d'échantillons d'écriture d'expressions mathématiques pour les expressions mathématiques dans l'unité d'expression mathématique manuscrite en ligne, l'unité d'expression mathématique manuscrite et imprimée hors ligne et le générateur d'expression mathématique structurée, en vue de leur utilisation pour l'entraînement du réseau neuronal ; et un réseau neuronal de reconnaissance d'expressions mathématiques comprenant une interface d'entrée et une interface de sortie ; l'interface d'entrée comprend plusieurs terminaux d'entrée et l'interface de sortie comprend plusieurs terminaux de sortie, l'interface d'entrée étant connectée au générateur d'échantillons d'écriture pour recevoir les échantillons d'écriture d'expression mathématique ; l'interface de sortie sert à recevoir les codes de programme correspondant aux échantillons d'écriture manuscrite d'expression mathématique introduits dans l'interface d'entrée ; et dans la phase de prédiction, les coordonnées des points des traits d'une expression mathématique sont introduites dans l'interface d'entrée du réseau neuronal de reconnaissance mathématique pour la reconnaissance ; l'interface de sortie du réseau neuronal produit au moins un code de programme correspondant à l'expression mathématique d'entrée. - les moyens de générer un échantillon d'écriture manuscrite d'expression mathématique sont les suivants : (a) les coordonnées des points des traits et les codes de programme des expressions mathématiques manuscrites en-ligne dans les échantillons manuscrits en ligne sont directement formés en tant qu'échantillons d'écriture manuscrite d'expressions mathématiques correspondantes ; (b) obtenir les traits des expressions mathématiques manuscrites et imprimées hors ligne dans les échantillons d'expressions mathématiques manuscrites et imprimées hors ligne afin d'acquérir les coordonnées des points des traits des expressions mathématiques manuscrites et imprimées hors ligne ; ces coordonnées et les codes de programme prédéfinis pour les expressions mathématiques manuscrites et imprimées hors ligne constituent des échantillons d'écriture manuscrite d'expressions mathématiques correspondantes ; (c) l'acquisition d'échantillons d'écriture d'expressions mathématiques 42 pour les expressions mathématiques structurées dans le générateur d'expressions mathématiques structurées se fait de la manière suivante : (1) les expressions mathématiques structurées sont converties ou rendues sous forme d'expressions mathématiques imprimées, et pour chaque symbole mathématique de l'expression mathématique imprimée, un cadre rectangulaire minimal contenant juste un symbole mathématique correspondant est acquis ; (2) les expressions mathématiques imprimées sont divisées en plusieurs sous-expressions mathématiques qui peuvent trouver des expressions mathématiques identiques dans les échantillons d'expressions mathématiques manuscrites en ligne ; si les sous-expressions mathématiques ne trouvent pas d'expressions mathématiques correspondantes dans les exemples d'expressions mathématiques manuscrites en ligne, ces sous-expressions mathématiques ne sont pas utilisées dans les processus suivants ; le cadre rectangulaire minimum pour chaque symbole mathématique est ajusté ; (3) pour trouver les coordonnées des points des traits dans les échantillons d'expressions mathématiques manuscrites en ligne qui correspondent aux traits de chaque symbole dans les sous-expressions mathématiques ; une transformation affine est ensuite effectuée sur les coordonnées des traits trouvées ci-dessus afin d'obtenir les coordonnées transformées des points des traits de chaque symbole et les codes de programme de l'expression mathématique structurée, qui sont combinés en tant qu'échantillon d'écriture manuscrite d'expression mathématique ; (4) l'échantillon d'écriture manuscrite d'expression mathématique est tourné de manière aléatoire ou sa taille est modifiée de manière aléatoire afin de générer de plus en plus d'échantillons d'écriture manuscrite d'expression mathématique. - le réseau neuronal de reconnaissance mathématique comprend un réseau neuronal d'encodage qui inclut l'interface d'entrée ; et un réseau neuronal de décodage qui comprend l'interface de sortie ; le réseau neuronal d'encodage sert à trouver les caractéristiques de l'expression mathématique d'entrée, puis ces caractéristiques sont introduites dans le réseau neuronal de décodage ; la sortie du réseau neuronal de décodage comprend des parties de codes de programme de l'expression mathématique d'entrée qui sont indiquées avec une fiabilité statistique ; ces parties des codes de programme et les critères de fiabilité sont régressés automatiquement vers l'entrée du réseau neuronal de décodage pour une nouvelle reconnaissance afin d'acquérir d'autres parties du code de programme et d'autres critères de fiabilité ; ces processus peuvent être exécutés à plusieurs reprises jusqu'à ce que la fiabilité prédéfinie soit atteinte ou qu'un temps prédéfini soit atteint pour l'auto-régression ; les codes de programme finaux et la fiabilité qui en résultent sont stockés dans une unité candidate. - la méthode d'auto-régression est une méthode d'analyse de prédiction utilisant des grammaires dites LL. - dans l'unité d'expression mathématique manuscrite en-ligne, les expressions sous-mathématiques sont extraites des expressions mathématiques manuscrites en ligne originales pour former des expressions mathématiques indépendantes, une expression sous-mathématique faisant partie de l'expression mathématique manuscrite en ligne originale ; les coordonnées des traits et les codes de programme des expressions sous-mathématiques sont également extraits de manière à former des échantillons manuscrits en-ligne qui sont ensuite stockés dans la base de données en ligne. - le langage de programmation mathématique est dit langage LaTeX ou dit langage MathML (Mathematical Markup Language). - les coordonnées des points des traits de l'échantillon manuscrit en ligne sont stockées par InkML (Ink Markup Language). - l'expression mathématique manuscrite et imprimée hors ligne est constituée de figures bidimensionnelles et les codes de programme sont stockés dans un langage de balisage. - la base de données de grammaire mathématique stocke les règles syntaxiques de langages de programmation mathématique spécifiques qui sont des grammaires hors contexte stochastiques. - la grammaire hors contexte stochastique décrit des grammaires de codes de programmes d'expressions mathématiques pour les langages de programmes dits LaTeX ou MathML. Résumé de l'invention . En conséquence, l'objet de l'invention est de fournir un système de reconnaissance d'expressions mathématiques dirigé par la syntaxe, qui combine des expressions mathématiques manuscrites en-ligne, des expressions mathématiques manuscrites et imprimées hors ligne et des expressions mathématiques structurées afin de générer une grande quantité d'expressions mathématiques utilisables pour l'apprentissage des réseaux neuronaux. Une méthode d'apprentissage de bout en bout est utilisée pour former le réseau neuronal afin d'améliorer l'effet d'apprentissage et promouvoir la capacité de reconnaissance. Le problème du sur-entraînement dans les réseaux neuronaux multicouches est réduit de manière efficace. La généralisation est accrue. Par conséquent, la précision de l'ensemble des tests est améliorée. Le mode de réseau neuronal de l'invention est utilisable pour l'expression mathématique manuscrite en-ligne, l'expression mathématique manuscrite hors ligne et l'expression mathématique imprimée. Par conséquent, un seul système de reconnaissance est utilisé, aucun autre système n'est nécessaire, ce qui permet de réduire considérablement les coûts. Pour que de nouvelles expressions mathématiques soient nécessaires à la reconnaissance, seule une petite quantité de nouveaux échantillons est utilisée et les grammaires du langage du programme mathématique ne doivent être que légèrement ajustées pour étendre la capacité de reconnaissance du réseau neuronal. Dans l'invention, la grammaire du langage mathématique est utilisée pour l’entraînement et les résultats de la reconnaissance sont donc adaptés aux grammaires mathématiques. Pour atteindre l'objectif susmentionné, l'invention propose un système de reconnaissance d'expressions mathématiques dirigé par la syntaxe, comprenant : une unité d'expression mathématique manuscrite en-ligne destinée à recevoir des expressions mathématiques manuscrites en-ligne comprenant des traits de symboles mathématiques et des textes relatifs aux expressions mathématiques afin d'obtenir les coordonnées des traits et des codes de programme correspondant à l'expression mathématique manuscrite en-ligne ; les coordonnées des traits et les codes de programme sont formés comme des échantillons manuscrits en-ligne, l'unité d'expression mathématique manuscrite en-ligne comprenant une base de données en-ligne pour stocker un grand nombre d'échantillons manuscrits en-ligne utilisables pour l'entraînement des réseaux neuronaux ; une unité d'expression mathématique manuscrite et imprimée hors ligne pour recevoir les expressions mathématiques manuscrites et imprimées hors ligne avec des codes de programme prédéfinis, les expressions mathématiques manuscrites et imprimées hors ligne et les codes de programme correspondants formant des échantillons d'expressions mathématiques manuscrites et imprimées hors ligne qui sont stockés dans une base de données hors ligne ; un générateur d'expressions mathématiques structurées pour générer des expressions mathématiques structurées ; le générateur d'expressions mathématiques comprend un corpus et une base de données de grammaire mathématique ; le générateur d'expressions mathématiques structurées recueille un grand nombre de codes de programmes d'expressions mathématiques qui sont ensuite stockés dans le corpus ; la base de données de grammaires mathématiques stocke des grammaires de langages de programmation mathématique spécifiques, le générateur d'expressions mathématiques structurées générant un grand nombre d'expressions mathématiques structurées en utilisant les codes de programme des expressions mathématiques du corpus sur la base des grammaires de la base de données de grammaires mathématiques ; et un générateur d'échantillons d'écriture manuscrite connecté à l'unité d'expression mathématique manuscrite en-ligne, à l'unité d'expression mathématique manuscrite et imprimée hors ligne et au générateur d'expression mathématique structurée ; le générateur d'échantillons d'écriture sert à générer une grande quantité d'échantillons d'écriture manuscrite d'expressions mathématiques pour les expressions mathématiques dans l'unité d'expression mathématique manuscrite en ligne, l'unité d'expression mathématique manuscrite et imprimée hors ligne et le générateur d'expression mathématique structurée, en vue de leur utilisation pour l'entraînement du réseau neuronal ; et un réseau neuronal de reconnaissance d'expressions mathématiques comprenant une interface d'entrée et une interface de sortie ; l'interface d'entrée comprend plusieurs terminaux d'entrée et l'interface de sortie comprend plusieurs terminaux de sortie, l'interface d'entrée étant connectée au générateur d'échantillons d'écriture manuscrite pour recevoir les échantillons d'écriture manuscrite d'expression mathématique ; l'interface de sortie sert à recevoir les codes de programme correspondant aux échantillons d'écriture manuscrite d'expression mathématique introduits dans l'interface d'entrée ; et dans la phase de prédiction, les coordonnées des points des traits d'une expression mathématique sont introduites dans l'interface d'entrée du réseau neuronal de reconnaissance mathématique pour la reconnaissance ; l'interface de sortie du réseau neuronal émet au moins un code de programme correspondant à l'expression mathématique d'entrée. Brève description des figures . La est un schéma fonctionnel structuré illustrant les éléments de l'invention. La est une vue schématique illustrant l'entraînement du réseau neuronal de reconnaissance mathématique selon l'invention. La est une autre vue schématique illustrant l'entraînement du réseau neuronal de reconnaissance mathématique selon l'invention. La Fig. est une vue schématique illustrant l'application de l'invention, dans laquelle est représentée une étape de prédiction du réseau neuronal de reconnaissance mathématique selon l'invention. Description détaillée de l'invention Les Figures 1 à 4 illustrent le système de l'invention. L'invention comprend les éléments suivants. Une unité d'expression mathématique manuscrite en-ligne 10 sert à recevoir des expressions mathématiques manuscrites en-ligne, y compris les traits des symboles mathématiques et les textes connexes des expressions mathématiques, afin d'obtenir les coordonnées des points des traits et les codes de programme correspondant à l'expression mathématique manuscrite en-ligne (pour certains langages informatiques spécifiques, tels que LaTeX ou MathML (Mathematical Markup Language, mais tous les langages informatiques utilisables pour les expressions mathématiques sont autorisés dans le cadre de l'invention). Les codes de programme peuvent être convertis en expressions mathématiques après compilation ou interprétation. Les coordonnées des points des traits et les codes de programme sont formés en tant qu'échantillons manuscrits en-ligne 12. De préférence, les coordonnées des points des traits sont stockées par InkML (Ink Markup Language). Par exemple, pour le langage de programmation mathématique dit LaTeX, le code de programmation \\\frac { 1 } { 3 } signifie "1" /"3" . Lors de l'entraînement des réseaux neuronaux, les coordonnées des traits des expressions mathématiques sont utilisées comme entrées des réseaux neuronaux et les codes de programme sont utilisés comme sorties des réseaux neuronaux. L'unité d'expression mathématique manuscrite en-ligne 10 comprend une base de données en-ligne 15 permettant de stocker un grand nombre d'échantillons manuscrits en-ligne 12 pour l'entraînement des réseaux neuronaux. Dans l'unité d'expression mathématique manuscrite en-ligne 10, les sous-expressions mathématiques sont extraites des expressions mathématiques manuscrites en-ligne originales pour former des expressions mathématiques indépendantes, une sous-expression mathématique faisant partie de l'expression mathématique manuscrite en-ligne originale. Les coordonnées des points des traits et les codes de programme des expressions sous-mathématiques sont également extraits de manière à former des échantillons manuscrits en-ligne 12 qui sont ensuite stockés dans la base de données en-ligne 15. Une unité d'expression mathématique manuscrite et imprimée hors ligne 20 sert à recevoir les expressions mathématiques manuscrites et imprimées hors ligne avec des codes de programme prédéfinis, les codes de programme des expressions mathématiques manuscrites et imprimées hors ligne étant connus à l'avance. Les expressions mathématiques manuscrites et imprimées hors ligne et les codes de programme correspondants constituent des échantillons d'expressions mathématiques manuscrites et imprimées hors ligne 22 qui sont ensuite stockés dans une base de données hors ligne 25. Par exemple, l'expression mathématique manuscrite et imprimée hors ligne est une figure bidimensionnelle (par exemple, au format PNG) et les codes de programme sont stockés dans un langage de balisage, tel que le langage MathML. Un générateur d'expressions mathématiques structurées 30 sert à générer des expressions mathématiques structurées. Le générateur d'expressions mathématiques 30 comprend un corpus 34 et une base de données de grammaire mathématique 33. Le générateur d'expressions mathématiques structurées 30 collecte un grand nombre de codes de programme d'expressions mathématiques (par exemple, via les réseaux) qui sont stockés dans le corpus 34. La base de données de grammaire mathématique 33 stocke les grammaires et les règles de langages de programmation mathématique spécifiques, tels que la grammaire hors contexte stochastique. La grammaire hors contexte stochastique décrit les grammaires et les règles des codes de programme des expressions mathématiques pour certains langages de programme spécifiques, tels que LaTeX ou MathML. Le générateur d'expressions mathématiques structurées 30 génère un grand nombre d'expressions mathématiques structurées en utilisant les codes de programme des expressions mathématiques du corpus 34 sur la base des grammaires et des règles de la base de données de grammaire mathématique 33. Les expressions mathématiques structurées peuvent être stockées à l'aide de langages de balisage mathématiques, tels que MathML. Un générateur d'échantillons d'écriture manuscrite 40 est connecté à l'unité d'expression mathématique manuscrite en-ligne 10, à l'unité d'expression mathématique manuscrite et imprimée hors ligne 20 et au générateur d'expression mathématique structurée 20. Le générateur d'échantillons d'écriture manuscrite 40 sert à générer une grande quantité d'échantillons d'écriture manuscrite d'expressions mathématiques 42 pour les expressions mathématiques dans l'unité d'expression mathématique manuscrite en-ligne 10, l'unité d'expression mathématique manuscrite et imprimée hors ligne 20 et le générateur d'expression mathématique structurée 30, afin de les utiliser pour l'entraînement du réseau neuronal. Dans le cadre de l'invention, les échantillons d'écriture manuscrite d'expression mathématique 42 peuvent atteindre plusieurs centaines de milliers. Les méthodes de génération des échantillons d'écriture manuscrite d'expression mathématique sont décrites ci-après. (a) Les coordonnées des points des traits et les codes de programme des expressions mathématiques manuscrites en-ligne dans les échantillons manuscrits en-ligne 12 sont formés en tant qu'échantillons d'écriture manuscrited'expressions mathématiques correspondants 42. (b) Obtenir les traits des expressions mathématiques manuscrites et imprimées hors ligne dans les échantillons d'expressions mathématiques manuscrites et imprimées hors ligne 22 afin d'acquérir les coordonnées des points des traits, les codes des programmes des expressions mathématiques manuscrites et imprimées hors ligne étant connus à l'avance comme défini ci-dessus. Par conséquent, ces coordonnées et codes de programme pour les expressions mathématiques manuscrites et imprimées hors ligne constituent des échantillons d'écriture d'expressions mathématiques correspondantes 42. (c) L'acquisition d'échantillons d'écriture d'expressions mathématiques 42 pour les expressions mathématiques structurées dans le générateur d'expressions mathématiques structurées 30 se fait de la manière suivante : (1) les expressions mathématiques structurées sont converties (rendues) en expressions mathématiques imprimées, et pour chaque symbole mathématique dans l'expression mathématique imprimée, un cadre rectangulaire minimum contenant juste un symbole mathématique correspondant est acquis. (2) Les expressions mathématiques imprimées sont divisées en plusieurs sous-expressions mathématiques qui peuvent trouver des expressions mathématiques identiques dans les échantillons d'expressions mathématiques manuscrites en-ligne 12. Si les sous-expressions mathématiques ne trouvent pas d'expressions mathématiques correspondantes dans les échantillons d'expressions mathématiques manuscrites en-ligne 12, ces sous-expressions mathématiques ne sont pas utilisées dans le processus suivant. Le cadre rectangulaire minimal de chaque symbole mathématique est ajusté. (3) Pour trouver les coordonnées des points des traits dans les échantillons d'expression mathématique manuscrite en-ligne 12 qui correspondent aux traits de chaque symbole dans les sous-expressions mathématiques. Une transformation affine est ensuite effectuée sur les coordonnées des points des traits trouvés ci-dessus afin d'obtenir les coordonnées transformées des points des traits de chaque symbole et les codes de programme de l'expression mathématique structurée, qui sont combinés pour former un échantillon d'expression mathématique manuscrite 42. (4) L'échantillon d'écriture d'expression mathématique 42 est tourné de manière aléatoire ou sa taille est modifiée de manière aléatoire afin de générer de plus en plus d'échantillons d'écriture manuscrite d'expression mathématique 42. Un réseau neuronal de reconnaissance d'expressions mathématiques 50 comprend une interface d'entrée 51 et une interface de sortie 55. L'interface d'entrée 51 comprend plusieurs terminaux d'entrée 52 et l'interface de sortie 55 comprend plusieurs terminaux de sortie 56. Comme illustré dans les Figures 1 et 2, l'interface d'entrée 51 est connectée au générateur d'échantillons d'écriture manuscrite 40 pour recevoir les échantillons d'écriture manuscrite d'expression mathématique 42. L'interface de sortie 55 sert à recevoir les codes de programme correspondant aux échantillons d'écriture manuscrite d'expression mathématique introduits dans l'interface d'entrée 51. Lors de la phase d'entraînement, plusieurs dizaines ou centaines de milliers d'échantillons d'écriture manuscrite d'expressions mathématiques 42 sont utilisés. Les coordonnées des points des traits dans les échantillons d'écriture manuscrite d'expression mathématique sont entrées dans plusieurs terminaux d'entrée 52 de l'interface d'entrée 51. Les sorties de l'interface de sortie 55 sont définies comme les codes de programme correspondant aux échantillons d'expression mathématique et d'écriture manuscrite. Les valeurs de poids des lignes de connexion du réseau neuronal 50 sont ajustées au cours d'une pluralité d'étapes d'apprentissage, de sorte que le réseau neuronal de reconnaissance d'expressions mathématiques 50 est en mesure d'identifier les échantillons d'écriture manuscrite d'expressions mathématiques d'entrée 42. Lors de la phase de prédiction, les coordonnées des points des traits d'une expression mathématique 100 correspondant aux grammaires mathématiques sont introduites dans l'interface d'entrée 51 du réseau neuronal de reconnaissance mathématique 50 en vue de la reconnaissance. L'interface de sortie 55 du réseau neuronal produit au moins un code de programme correspondant à l'expression mathématique d'entrée 100. Comme illustré dans la , le réseau neuronal de reconnaissance mathématique 50 comprend un réseau neuronal de codage 510 qui inclut l'interface d'entrée 51, et un réseau neuronal de décodage 520 qui inclut l'interface de sortie 55. Le réseau neuronal d'encodage 510 sert à trouver les caractéristiques de l'expression mathématique d'entrée 510, puis ces caractéristiques sont introduites dans le réseau neuronal de décodage 520. La sortie du réseau neuronal de décodage 520 comprend des parties de codes de programme de l'expression mathématique d'entrée 100 qui sont indiquées avec une fiabilité statistique. Ces parties de codes de programme et de fiabilité sont régressées automatiquement vers l'entrée du réseau neuronal de décodage 520 pour une nouvelle reconnaissance afin d'acquérir d'autres parties de codes de programme et de fiabilité. Ces processus peuvent être exécutés à plusieurs reprises jusqu'à ce que la fiabilité souhaitée soit atteinte ou qu'un temps prédéfini soit atteint. Les codes de programme finaux et la fiabilité qui en résultent sont stockés dans une unité candidate 81. La méthode d'auto-régression est telle que la méthode d'analyse prédictive de la grammaire LL(1). La illustre une application dans laquelle l'ensemble des candidats 81 comprend trois codes de programme \\frac { 1 } { 3 }, - \\frac { 1 } { 3 }, and \\frac { 1 } { 2 } dont la fiabilité est respectivement de 50 %, 30 % et 20 %. Cela signifie que l'expression mathématique d'entrée 100 est très probablement \\frac { 1 } { 3 } avec une possibilité de 50%. L'invention est ainsi décrite, mais il est évident qu'elle peut être modifiée de nombreuses façons. De telles variations ne doivent pas être considérées comme une dérogation à l'esprit et à la portée de l'invention, et toutes les modifications qui seraient évidentes pour un homme de l'art sont destinées à être incluses dans la portée des revendications suivantes. Un système de reconnaissance d'expressions mathématiques dirigé par la syntaxe, comprenant : une unité d'expression mathématique manuscrite en-ligne destinée à recevoir des expressions mathématiques manuscrites en-ligne comprenant des traits de symboles mathématiques et des textes connexes des expressions mathématiques afin d'obtenir les coordonnées des points des traits et les codes de programme correspondant à l'expression mathématique manuscrite en-ligne ; les coordonnées des points des traits et les codes de programme étant formés en tant qu'échantillons manuscrits en-ligne, l'unité d'expression mathématique manuscrite en-ligne comprend une base de données en-ligne permettant de stocker un grand nombre d'échantillons manuscrits en-ligne utilisables pour l'entraînement des réseaux neuronaux ; une unité d'expression mathématique manuscrite et imprimée hors ligne pour recevoir les expressions mathématiques manuscrites et imprimées hors ligne avec des codes de programme prédéfinis, les expressions mathématiques manuscrites et imprimées hors ligne et les codes de programme correspondants formant des échantillons d'expressions mathématiques manuscrites et imprimées hors ligne qui sont stockés dans une base de données hors ligne ; un générateur d'expressions mathématiques structurées pour générer des expressions mathématiques structurées ; le générateur d'expressions mathématiques comprend un corpus et une base de données de grammaire mathématique ; le générateur d'expressions mathématiques structurées recueille un grand nombre de codes de programme d'expressions mathématiques qui sont ensuite stockés dans le corpus ; la base de données de grammaire mathématique stocke des grammaires et des règles de langages de programmes mathématiques spécifiques, le générateur d'expressions mathématiques structurées générant un grand nombre d'expressions mathématiques structurées en utilisant les codes de programme des expressions mathématiques dans le corpus sur la base des grammaires et des règles de la base de données de grammaire mathématique ; et un générateur d'échantillons d'écriture connecté à l'unité d'expression mathématique manuscrite en-ligne, à l'unité d'expression mathématique manuscrite et imprimée hors ligne et au générateur d'expression mathématique structurée ; le générateur d'échantillons d'écriture sert à générer une grande quantité d'échantillons d'écriture d'expressions mathématiques pour les expressions mathématiques dans l'unité d'expression mathématique manuscrite en-ligne, l'unité d'expression mathématique manuscrite et imprimée hors ligne et le générateur d'expression mathématique structurée, en vue de leur utilisation pour l'entraînement du réseau neuronal ; et un réseau neuronal de reconnaissance d'expressions mathématiques comprenant une interface d'entrée et une interface de sortie ; l'interface d'entrée comprend plusieurs terminaux d'entrée et l'interface de sortie comprend plusieurs terminaux de sortie, l'interface d'entrée étant connectée au générateur d'échantillons d'écriture pour recevoir les échantillons d'écriture d'expression mathématique ; l'interface de sortie sert à recevoir les codes de programme correspondant aux échantillons d'écriture manuscrite d'expression mathématique introduits dans l'interface d'entrée ; et dans la phase de prédiction, les coordonnées des points des traits d'une expression mathématique sont introduites dans l'interface d'entrée du réseau neuronal de reconnaissance mathématique pour la reconnaissance ; l'interface de sortie du réseau neuronal produit au moins un code de programme correspondant à l'expression mathématique d'entrée. The Le système selon la revendication 1, dans lequel les moyens de générer un échantillon d'écriture manuscrite d'expression mathématique sont les suivants : (a) les coordonnées des points des traits et les codes de programme des expressions mathématiques manuscrites en-ligne dans les échantillons manuscrits en-ligne sont directement formés en tant qu'échantillons d'écriture manuscrite d'expressions mathématiques correspondantes ; (b) obtenir les traits des expressions mathématiques manuscrites et imprimées hors ligne dans les échantillons d'expressions mathématiques manuscrites et imprimées hors ligne afin d'acquérir les coordonnées des points des traits des expressions mathématiques manuscrites et imprimées hors ligne ; ces coordonnées et les codes de programme prédéfinis pour les expressions mathématiques manuscrites et imprimées hors ligne constituent des échantillons d'écriture manuscrite d'expressions mathématiques correspondantes ; (c) l'acquisition d'échantillons d'écriture d'expressions mathématiques 42 pour les expressions mathématiques structurées dans le générateur d'expressions mathématiques structurées se fait de la manière suivante : (1) les expressions mathématiques structurées sont converties ou rendues sous forme d'expressions mathématiques imprimées, et pour chaque symbole mathématique de l'expression mathématique imprimée, un cadre rectangulaire minimal contenant juste un symbole mathématique correspondant est acquis ; (2) les expressions mathématiques imprimées sont divisées en plusieurs sous-expressions mathématiques qui peuvent trouver des expressions mathématiques identiques dans les échantillons d'expressions mathématiques manuscrites en ligne ; si les sous-expressions mathématiques ne trouvent pas d'expressions mathématiques correspondantes dans les exemples d'expressions mathématiques manuscrites en ligne, ces sous-expressions mathématiques ne sont pas utilisées dans les processus suivants ; le cadre rectangulaire minimum pour chaque symbole mathématique est ajusté ; (3) pour trouver les coordonnées des points des traits dans les échantillons d'expressions mathématiques manuscrites en ligne qui correspondent aux traits de chaque symbole dans les sous-expressions mathématiques ; une transformation affine est ensuite effectuée sur les coordonnées des traits trouvées ci-dessus afin d'obtenir les coordonnées transformées des points des traits de chaque symbole et les codes de programme de l'expression mathématique structurée, qui sont combinés en tant qu'échantillon d'écriture manuscrite d'expression mathématique ; (4) l'échantillon d'écriture manuscrite d'expression mathématique est tourné de manière aléatoire ou sa taille est modifiée de manière aléatoire afin de générer de plus en plus d'échantillons d'écriture manuscrite d'expression mathématique. Le système selon la revendication 1, dans lequel le réseau neuronal de reconnaissance mathématique comprend un réseau neuronal d'encodage qui inclut l'interface d'entrée ; et un réseau neuronal de décodage qui comprend l'interface de sortie ; le réseau neuronal d'encodage sert à trouver les caractéristiques de l'expression mathématique d'entrée, puis ces caractéristiques sont introduites dans le réseau neuronal de décodage ; la sortie du réseau neuronal de décodage comprend des parties de codes de programme de l'expression mathématique d'entrée qui sont indiquées avec une fiabilité statistique ; ces parties des codes de programme et les critères de fiabilité sont régressés automatiquement vers l'entrée du réseau neuronal de décodage pour une nouvelle reconnaissance afin d'acquérir d'autres parties du code de programme et d'autres critères de fiabilité ; ces processus peuvent être exécutés à plusieurs reprises jusqu'à ce que la fiabilité prédéfinie soit atteinte ou qu'un temps prédéfini soit atteint pour l'auto-régression ; les codes de programme finaux et la fiabilité qui en résultent sont stockés dans une unité candidate. Le système selon la revendication 3, dans lequel la méthode d'auto-régression est une méthode d'analyse de prédiction utilisant des grammaires dites LL (1). Le système selon la revendication 1, dans lequel, dans l'unité d'expression mathématique manuscrite en-ligne, les expressions sous-mathématiques sont extraites des expressions mathématiques manuscrites en-ligne originales pour former des expressions mathématiques indépendantes, une expression sous-mathématique faisant partie de l'expression mathématique manuscrite en-ligne originale ; les coordonnées des traits et les codes de programme des expressions sous-mathématiques sont également extraits de manière à former des échantillons manuscrits en-ligne qui sont ensuite stockés dans la base de données en-ligne. Le système selon la revendication 1, dans lequel le langage de programmation mathématique est dit langage LaTeX ou dit langage MathML (Mathematical Markup Language). Le système selon la revendication 1, dans lequel les coordonnées des points des traits de l'échantillon manuscrit en ligne sont stockées par dit InkML (Ink Markup Language). Le système selon la revendication 1, dans lequel l'expression mathématique manuscrite et imprimée hors ligne est constituée de figures bidimensionnelles et les codes de programme sont stockés dans un langage de balisage. Le système selon la revendication 1, dans lequel la base de données de grammaire mathématique stocke les règles syntaxiques de langages de programmation mathématique spécifiques qui sont des grammaires hors contexte stochastiques. Le système selon la revendication 1, dans lequel la grammaire hors contexte stochastique décrit des grammaires de codes de programmes d'expressions mathématiques pour les langages de programmes dits LaTeX ou MathML.