Brevet FR3122797A1 — publié le 20221111

Des exemples d'implémentations décrits ici ont trait à des systèmes et procédés pour un dispositif concentrateur serveur qui est configuré pour exécuter des modèles d'intelligence artificielle/de réseau neuronal via traitement de données d'entrée et génération de métadonnées ou d'instructions vers des dispositifs périphériques. Dans des exemples d'implémentations, les opérations d’IA/de RN sont menées en exécutant des décalages logiques (par ex. par des circuits décaleurs) sur des paramètres quantifiés logarithmiquement correspondant à de telles opérations. SYSTEMES ET PROCEDES IMPLIQUANT INTELLIGENCE ARTIFICIELLE ET LA TECHNOLOGIE EN NUAGE POUR SYSTEME DE SERVEUR SUR PUCE ARRIERE-PLAN RENVOI A UNE/DES DEMANDE(S) CONNEXE(S) Cette demande revendique le bénéfice de la priorité de la Demande Provisoire US, Numéro de Série 63/184,576, intitulée « Systems and Methods Involving Artificial Intelligence and Cloud Technology for Edge and Server SOC » (de l’anglais : "Systèmes et Procédés impliquant l'intelligence artificielle et la technologie cloud pour Edge et Server SOC") et déposée le 5 mai 2021, de la Demande Provisoire US, Numéro de Série 63/184,630, intitulée « Systems and Methods Involving Artificial Intelligence and Cloud Technology for Edge and Server SOC » et déposée le 5 mai 2021, et de la Demande PCT/US22/27035, intitulée « IMPLEMENTATIONS AND METHODS FOR PROCESSING NEURAL NETWORK IN SEMICONDUCTOR HARDWARE » (de l’anglais « IMPLEMENTATIONS ET PROCEDES DE TRAITEMENT DE RESEAU NEURONAL DANS UN MATERIEL SEMI-CONDUCTEUR »). La présente invention concerne généralement des systèmes et des architectures pour le traitement d'intelligence artificielle/de réseau neuronal (IA/RN, de l’anglais « Artificial Intelligence/Neural Network », ou « AI/NN »), et plus spécifiquement, des systèmes et des procédés impliquant l'IA et la technologie cloud (de l’anglais, soit en français « nuage ») pour un système de serveur sur puce (SoC, de l’anglais « System on Chip »). De nombreuses formes de contenu numérique existent aujourd'hui. Tout d'abord pour définir le terme, le "contenu numérique" est tout contenu visuel, audible et textuel que les consommateurs assimilent. Par exemple, un contenu numérique par télévision (TV) implique des images, des vidéos, du son et des textes. Les mécanismes de distribution de ces contenus numériques incluent l’Ethernet, le satellite, les câbles, le réseau de téléphonie cellulaire, internet et le WIFI, et/ou similaire. Les dispositifs utilisés pour distribuer les contenus peuvent comprendre une télévision (TV), un téléphone mobile, un affichage automobile, un affichage de caméra de surveillance, un ordinateur personnel (PC), une tablette, des dispositifs de réalité augmentée/réalité virtuelle (RA/RV) et divers dispositifs de l’internet des objets (IoT, de l’anglais « Internet of Things »). Du contenu numérique peut également être divisé en contenu « en temps réel », tels les événements sportifs en direct, ou en contenu « préparé », comme les films et les séries ou autres événements préenregistrés, ou qui ne sont pas en direct. Aujourd'hui, les contenus numériques « en temps réel » aussi bien que « préparés » sont présentés aux consommateurs sans aucun supplément ni traitement supplémentaire. Résumé Les exemples d’implémentations décrits ici impliquent une nouvelle approche pour traiter du contenu numérique afin de récolter des informations intelligentes quant au contenu, tel que des informations provenant d’une détection d'objets, d’un classement d'objets, d’une reconnaissance faciale, d’une détection de texte, d’un traitement du langage naturel, et de connecter/d’annoter des informations appropriées et pertinentes trouvées dans le nuage/internet/n'importe où avec les parties du contenu numérique qui sont traitées pour être prêtes à être présentées aux consommateurs. Les exemples d'implémentations fournissent un procédé de connexion/d'annotation de contenu numérique traité avec les informations pertinentes et appropriées trouvées dans le nuage/internet tel qu'implémenté dans du matériel, logiciel ou une combinaison de ceux-ci. Les exemples d'implémentations décrits ici impliquent en outre le classement de contenu visuel et audio. Des exemples d'implémentations classent/identifient les personnes, objets, concepts, scènes, le texte et le langage dans un contenu visuel. Des exemples d'implémentations peuvent convertir un contenu audio en texte et identifier des informations pertinentes dans le texte converti. Les exemples d'implémentations décrits ici impliquent en outre l'obtention de toute information appropriée à partir du nuage/d'internet et complètent les informations trouvées avec le contenu visuel et audio. Les exemples d'implémentations décrits ici impliquent en outre la présentation du contenu supplémenté aux consommateurs. Les processus de classement/identification dans les exemples d'implémentations décrits ici impliquent une étape qui traite l'image, la vidéo, le son et le langage pour identifier des personnes (par ex. qui est quelqu'un), la classe d'objets (tel que voiture, bateau, etc.), la signification d'un texte/du langage, d'un concept ou d'une scène quelconque. Un exemple d'un procédé qui peut accomplir cette étape de classement est divers modèles d'intelligence artificielle (IA) qui peuvent classer des images, des vidéos et le langage. Cependant, il pourrait y avoir d'autres méthodes alternatives telles que des algorithmes conventionnels. Dans la présente divulgation, « le nuage » peut impliquer toute information présente sur internet, tout serveur, toute forme de base de données, toute mémoire d'ordinateur, tout dispositif de stockage ou tout dispositif grand public. Des aspects de la présente invention peuvent impliquer un dispositif, qui peut comprendre une mémoire configurée pour stocker un modèle de détection d'objet sous une forme de réseau neuronal entraîné représenté par une ou plus valeur(s) de paramètre(s) quantifiées logarithmiquement, le modèle de détection d'objet étant configuré pour classer un ou plus objet(s) sur des données d'image via une ou plus opération(s) de réseau neuronal selon les valeurs de paramètres quantifiées logarithmiquement du réseau neuronal entraîné ; un système sur puce (SoC), configuré pour admettre les données d'image ; exécuter le modèle de détection d'objet pour classer l'un ou plus objet(s) à partir des données d'image via une ou plus opération(s) de réseau neuronal, l'une ou plus opération(s) de réseau neuronal étant exécutée(s) par des opérations de décalage logique sur les données d'image sur la base de l'une ou plus valeur(s) de paramètre quantifiées de manière logarithmique lue(s) à partir de la mémoire ; et générer des métadonnées pour annoter les données d'image sur la base du ou des objet(s) classé(s) à partir des données d'image ; et une interface configurée pour transmettre les métadonnées à un ou plus autre(s) dispositif(s) recevant les données d'image. Des aspects de la présente divulgation peuvent impliquer un programme informatique, qui peut comporter des instructions impliquant l’admission des données d'image ; l'exécution du modèle de détection d'objet pour classer l'un ou plus objet(s) à partir des données d'image via une ou plus opération(s) de réseau neuronal, l'une ou plus opération(s) de réseau neuronal étant exécutée(s) par des opérations de décalage logique sur les données d'image sur la base de l'une ou plus valeur(s) de paramètre quantifiées de manière logarithmique lue(s) à partir de la mémoire ; la génération de métadonnées pour annoter les données d'image sur la base du ou des objet(s) classé(s) à partir des données d'image ; et transmission des métadonnées à un ou plus autre(s) dispositif(s) recevant les données d'image. Le programme informatique et les instructions peuvent être stockés dans un support lisible par ordinateur non éphémère pour exécution par un ou plus processeur(s). Des aspects de la présente divulgation peuvent impliquer un procédé, qui peut comporter l’admission des données d'image ; l'exécution du modèle de détection d'objet pour classer l'un ou plus objet(s) à partir des données d'image via une ou plus opération(s) de réseau neuronal, l'une ou plus opération(s) de réseau neuronal étant exécutée(s) par des opérations de décalage logique sur les données d'image sur la base de l'une ou plus valeur(s) de paramètre quantifiées de manière logarithmique lue(s) à partir de la mémoire ; la génération de métadonnées pour annoter les données d'image sur la base du ou des objet(s) classé(s) à partir des données d'image ; et transmission des métadonnées à un ou plus autre(s) dispositif(s) recevant les données d'image. Dans un exemple de mode de réalisation, un procédé selon la présente divulgation peut être implémenté par une entité informatique et peut comprendre les étapes de : stockage d’un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s), l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) étant configuré(s) pour traiter des données d'image via une ou plus opération(s) de réseau neuronal ; admission des données d'image ; exécution de l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) pour traiter les données d'image via l'une ou plus opération(s) de réseau neuronal ; génération de métadonnées pour fournir du contenu supplémentaire pour les données d'image sur la base du traitement des données d'image, les métadonnées générées sur la base d'informations récupérées à partir d’une connexion à un autre dispositif à travers une interface ; et transmission, par l'intermédiaire de l'interface, des métadonnées à un ou plus autre(s) dispositif(s) qui admettent les données d'image. Des aspects de la présente divulgation peuvent impliquer un système, qui peut comporter des moyens pour l’admission des données d'image ; l'exécution du modèle de détection d'objet pour classer l'un ou plus objet(s) à partir des données d'image via une ou plus opération(s) de réseau neuronal, l'une ou plus opération(s) de réseau neuronal étant exécutée(s) par des opérations de décalage logique sur les données d'image sur la base de l'une ou plus valeur(s) de paramètre quantifiées de manière logarithmique lue(s) à partir de la mémoire ; des moyens de génération de métadonnées pour annoter les données d'image sur la base du ou des objet(s) classé(s) à partir des données d'image ; et des moyens pour transmettre les métadonnées à un ou plus autre(s) dispositif(s) recevant les données d'image. Des aspects de la présente invention impliquent un dispositif, qui peut comprendre une mémoire configurée pour stocker un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s), l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) étant configuré(s) pour traiter des données d'image via une ou plus opération(s) de réseau neuronal ; une interface ; et un système sur puce (SoC), configuré pour admettre les données d'image ; exécuter l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) pour traiter les données d'image via l'une ou plus opération(s) de réseau neuronal ; générer des métadonnées pour fournir du contenu supplémentaire pour les données d'image sur la base du traitement des données d'image, les métadonnées générées sur la base d'informations récupérées à partir d’une connexion à un autre dispositif à travers l'interface ; et transmettre, par l'intermédiaire de l'interface, les métadonnées à un ou plus autre(s) dispositif(s) qui admettent les données d'image. Des aspects de la présente invention impliquent un dispositif, qui peut comprendre une mémoire configurée pour stocker un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s), l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) étant configuré(s) pour traiter des données d'image via une ou plus opération(s) de réseau neuronal ; une interface ;et un système sur puce (SoC), configuré pour admettre les données d'image ; exécuter l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) pour traiter les données d'image via l'une ou plus opération(s) de réseau neuronal ; générer des métadonnées pour fournir du contenu supplémentaire pour les données d'image sur la base du traitement des données d'image, les métadonnées générées sur la base d'informations récupérées à partir d’une connexion à un autre dispositif à travers l'interface ; et transmettre, par l'intermédiaire de l'interface, les métadonnées à un ou plus autre(s) dispositif(s) qui admettent les données d'image. Des aspects de la présente divulgation impliquent un procédé, qui peut comporter l’admission des données d'image ; exécution de l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) pour traiter les données d'image via l'une ou plus opération(s) de réseau neuronal ; génération de métadonnées pour fournir du contenu supplémentaire pour les données d'image sur la base du traitement des données d'image, les métadonnées générées sur la base d'informations récupérées à partir d’une connexion à un autre dispositif à travers l’interface ; et transmission, par l'intermédiaire de l'interface, des métadonnées à un ou plus autre(s) dispositif(s) qui admettent les données d'image. Des aspects de la présente divulgation impliquent un programme informatique, qui peut comporter des instructions impliquant l’admission des données d'image ; exécution de l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) pour traiter les données d'image via l'une ou plus opération(s) de réseau neuronal ; génération de métadonnées pour fournir du contenu supplémentaire pour les données d'image sur la base du traitement des données d'image, les métadonnées générées sur la base d'informations récupérées à partir d’une connexion à un autre dispositif à travers l’interface ; et transmission, par l'intermédiaire de l'interface, des métadonnées à un ou plus autre(s) dispositif(s) qui admettent les données d'image. Le programme informatique et les instructions peuvent être stockés sur un support lisible par ordinateur non éphémère et configurés pour être exécutés par un ou plus processeur(s). Des aspects de la présente divulgation impliquent un système, qui peut comporter des moyens pour l’admission des données d'image ; des moyens d’exécution de l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) pour traiter les données d'image via l'une ou plus opération(s) de réseau neuronal ; des moyens de génération de métadonnées pour fournir du contenu supplémentaire pour les données d'image sur la base du traitement des données d'image, les métadonnées générées sur la base d'informations récupérées à partir d’une connexion à un autre dispositif à travers l’interface ; et des moyens de transmission, par l'intermédiaire de l'interface, des métadonnées à un ou plus autre(s) dispositif(s) qui admettent les données d'image. Des aspects de la présente invention peuvent impliquer un dispositif, qui peut impliquer une mémoire configurée pour stocker un modèle de réseau neuronal entraîné représenté par une ou plus valeur(s) de paramètre(s) quantifiées logarithmiquement, le modèle de réseau neuronal entraîné configuré pour mener des analyses sur des données d'entrée via une ou plus opération(s) de réseau neuronal selon les valeurs de paramètres quantifiées logarithmiquement du réseau neuronal entraîné ; et un système sur puce (SoC), configuré pour exécuter le modèle de réseau neuronal entraîné pour mener des analyses sur les données d'entrée via une ou plus opération(s) de réseau neuronal, l'une ou plus opération(s) de réseau neuronal étant exécutée(s) par des opérations de décalage logique sur les données d'entrée sur la base de l'une ou plus valeur(s) de paramètre quantifiées de manière logarithmique lue(s) à partir de la mémoire ; et contrôler un autre dispositif sur la base de l'analyse des données d'entrée via une interface. Des aspects de la présente divulgation peuvent impliquer un procédé impliquant l’exécution du modèle de réseau neuronal entraîné pour mener des analyses sur les données d'entrée via une ou plus opération(s) de réseau neuronal, l'une ou plus opération(s) de réseau neuronal étant exécutée(s) par des opérations de décalage logique sur les données d'entrée sur la base de l'une ou plus valeur(s) de paramètre quantifiées de manière logarithmique lue(s) à partir de la mémoire ; et le contrôle d’un autre dispositif sur la base de l'analyse des données d'entrée via une interface. Des aspects de la présente divulgation peuvent impliquer un programme informatique impliquant des instructions pour l’exécution du modèle de réseau neuronal entraîné pour mener des analyses sur les données d'entrée via une ou plus opération(s) de réseau neuronal, l'une ou plus opération(s) de réseau neuronal étant exécutée(s) par des opérations de décalage logique sur les données d'entrée sur la base de l'une ou plus valeur(s) de paramètre quantifiées de manière logarithmique lue(s) à partir de la mémoire ; et le contrôle d’un autre dispositif sur la base de l'analyse des données d'entrée via une interface. Le programme informatique et les instructions peuvent être stockés sur un support lisible par ordinateur non éphémère et exécutés par un ou plus processeur(s). Des aspects de la présente divulgation peuvent impliquer un système impliquant des moyens pour l’exécution du modèle de réseau neuronal entraîné pour mener des analyses sur les données d'entrée via une ou plus opération(s) de réseau neuronal, l'une ou plus opération(s) de réseau neuronal étant exécutée(s) par des opérations de décalage logique sur les données d'entrée sur la base de l'une ou plus valeur(s) de paramètre quantifiées de manière logarithmique lue(s) à partir de la mémoire ; et des moyens pour le contrôle d’un autre dispositif sur la base de l'analyse des données d'entrée via une interface. D’autres caractéristiques, détails et avantages de l’invention apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels : Fig. 1A, 1B et 1C , et illustrent des exemples d'une architecture de système globale conformément à des exemples d'implémentations ; Fig. 2 illustre un exemple d'ordinogramme du serveur ou du dispositif concentrateur avec SoC d’IA, conformément à un exemple d’implémentation ; Fig. 3 illustre un exemple de métadonnées supplémentaires qui peuvent être fournies pour accompagner le contenu par un serveur ou un dispositif concentrateur avec SoC d’IA, conformément à un exemple d'implémentation ; Fig. 4A et 4B et illustrent un exemple de métadonnées supplémentaires qui peuvent être fournies pour accompagner le contenu par un serveur ou un dispositif concentrateur avec SoC d’IA, conformément à un exemple d'implémentation ; Fig. 4C illustre un exemple d'un mappage d'étiquettes de sortie dans du contenu supplémentaire, conformément à un exemple d’implémentation ; Fig. 5 illustre un exemple d'architecture du SoC d’IA, conformément à un exemple d’implémentation ; Fig. 6 illustre un exemple de schéma de circuit de l’Elément de Traitement par IA (AIPE), conformément à un exemple d'implémentation ; Fig. 7 illustre un exemple de matrice d’AIPE, conformément à un exemple d'implémentation ; Fig. 8 illustre un exemple de flux d’une architecture modèle d’IA, conformément à un exemple d’implémentation ; Fig. 9 illustre un exemple de contenu numérique supplémenté par des informations de nuage et des informations de réseaux sociaux, conformément à un exemple d'implémentation ; Fig. 10 illustre un exemple de contenu numérique supplémenté par des informations de nuage et des informations de commerce électronique, conformément à un exemple d'implémentation ; Fig. 11 illustre un exemple d’une sortie à partir d’un algorithme de détection, conformément à un exemple d'implémentation ; Fig. 12 illustre un exemple de contenu digital personnalisé, conformément à un exemple d'implémentation ; Fig. 13 illustre un exemple de configuration d’un serveur ou dispositif concentrateur avec SoC d’IA, conformément à un exemple d’implémentation ; Fig. 14 illustre un exemple de système sur lequel des exemples d'implémentations du serveur/dispositif concentrateur de la peut être implémentée, conformément à un exemple d’implémentation. Dispositif, comprenant : une mémoire configurée pour stocker un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s), l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) étant configuré(s) pour traiter des données d'image via une ou plus opération(s) de réseau neuronal ; une interface ; et un système sur puce (SoC), configuré pour : admettre les données d'image ; exécuter l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) pour traiter les données d'image via l'une ou plus opération(s) de réseau neuronal ; générer des métadonnées pour fournir du contenu supplémentaire pour les données d'image sur la base du traitement des données d'image, les métadonnées générées sur la base d'informations récupérées à partir d’une connexion à un autre dispositif à travers l'interface ; et transmettre, par l'intermédiaire de l'interface, les métadonnées à un ou plus autre(s) dispositif(s) qui admettent les données d'image. Dispositif selon la revendication 1, les métadonnées comprenant des informations associées à une ou plus publication(s) de médias sociaux devant être fournies pour être le contenu supplémentaire sur les données d'image comme une ou plus superposition(s) par l'un ou plus autre(s) dispositif(s). Dispositif selon la revendication 1, le SoC étant configuré pour exécuter l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) par un ou plus circuit(s) décaleur(s) dans le SoC. Dispositif selon la revendication 1, le SoC étant configuré pour exécuter l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) par un réseau de portes programmables in situ (FPGA). Dispositif selon la revendication 4, le FPGA étant configuré pour exécuter l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) via une ou plus opération(s) de décalage logique. Dispositif selon la revendication 1, le SoC étant configuré pour exécuter l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) par un ou plus processeur(s) matériel(s). Dispositif selon la revendication 6, l'un ou plus processeur(s) matériel(s) étant configuré(s) pour exécuter l'un ou plus réseau(x) neuronal(-aux) entraîné(s) via une ou plus opération(s) de décalage logique. Dispositif selon la revendication 1, le dispositif étant un serveur et les données d'image étant des données vidéo de télévision. Dispositif selon la revendication 1 : ledit autre dispositif étant un serveur de contenu ; la mémoire étant configurée pour stocker une autre sortie de mappage d'informations par traitement des données d'image par l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) dans les informations récupérées du serveur de contenu ; le SoC étant configuré pour lire les autres informations à partir de la mémoire et fournir un mappage correspondant en tant que métadonnées. Dispositif selon la revendication 9, les informations mappant des objets classés dans des informations relatives à des objets disponibles à l'achat ; le SoC étant configuré pour lire les informations depuis la mémoire et récupérer les objets correspondants disponibles à l'achat auprès du serveur de contenu via l'interface, les objets correspondants disponibles à l'achat étant fournis en tant qu'informations basées sur un ou plus objet(s) classé(s) à partir des données d'image classées par l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s). Dispositif selon la revendication 1, l'interface étant configurée pour récupérer un ou plus paramètre(s) quantifié(s) logarithmiquement à partir d'un serveur et stocker l'un ou plus paramètre(s) quantifié(s) logarithmiquement dans la mémoire, l'une ou plus opération(s) de réseau neuronal étant représentée(s) par l'un ou plus paramètre(s) quantifié(s) logarithmiquement ; le SoC étant configuré pour exécuter l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) pour traiter les données d'image via des instructions de décalage dérivées de l’un ou plus paramètre(s) quantifié(s) logarithmiquement de l'une ou plus opération(s) de réseau neuronal. Dispositif selon la revendication 1, les métadonnées comprenant un identifiant pour une trame dans les données d'image, des coordonnées au sein de la trame et des données associées aux coordonnées. Dispositif selon la revendication 12, les données associées aux coordonnées comprenant une publication sur les réseaux sociaux à utiliser comme superposition. Dispositif selon la revendication 12, les données associées aux coordonnées comprenant une ou plus superposition(s) récupérée(s) à partir d'un serveur de contenu. Dispositif selon la revendication 1, les métadonnées comprenant des instructions exécutables pour le ou les autre(s) dispositif(s). Dispositif selon la revendication 1, le dispositif étant configuré pour transmettre les données d'image à l’un ou plus autre(s) dispositif(s) via l'interface. Procédé implémenté par une entité informatique, comprenant les étapes de : stockage d’un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s), l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) étant configuré(s) pour traiter des données d'image via une ou plus opération(s) de réseau neuronal ; admission des données d'image ; exécution de l'un ou plus modèle(s) de réseau(x) neuronal(-aux) entraîné(s) pour traiter les données d'image via l'une ou plus opération(s) de réseau neuronal ; génération de métadonnées pour fournir du contenu supplémentaire pour les données d'image sur la base du traitement des données d'image, les métadonnées générées sur la base d'informations récupérées à partir d’une connexion à un autre dispositif à travers une interface ; et transmission, par l'intermédiaire de l'interface, des métadonnées à un ou plus autre(s) dispositif(s) qui admettent les données d’image.