Brevet FR3112011A1 — publié le 20211231

L’invention concerne un procédé de caractérisation de la nature et de la quantité d’aliments contenus dans un ou plusieurs récipients consistant à acquérir au moins une image numérique du ou desdits récipients et à appliquer un traitement informatique de reconnaissance automatique à ladite image numérique pour déterminer pour chacun desdits aliments la nature et la quantité présente. L’acquisition d’image numérique comprend l’acquisition d’une paire d’images comprenant une image numérique en lumière visible et une image tridimensionnelle. Elle comprend en outre une étape de segmentation des parties de la paire d’image en fonction des aliments segmentés. Ledit traitement informatique comprend : un premier moyen d’identification de l’appartenance de chacun desdits aliments segmentés à une classe d’aliments par une méthode d’apprentissage supervisé ; un second moyen de détermination du volume de chacun desdits aliments présent par une méthode de reconstitution des caractéristiques géométriques de chaque récipient et de calcul du volume de chacun desdits aliments segmentés à partir de ladite paire d’images numériques de chacun desdits aliments segmentés et desdites caractéristiques géométriques reconstituées du récipient contenant l’aliment segmenté. Système et procédé de caractérisation de la nature et de la quantité d’aliments contenus dans un ou plusieurs récipients DOMAINE DE L’INVENTION La présente invention concerne le domaine de la reconnaissance automatique d’aliments et de la caractérisation qualitative et quantitative, en particulier pour l’évaluation du volume et de la nature des déchets alimentaires dans la restauration collective. Les progrès en matière d’analyse d’images ont permis de développer diverses solutions permettant d’identifier automatiquement la nature d’un aliment à partir d’une image photographique, par exemple pour déterminer la nature des aliments présents sur un plat, et de fournir des informations sur les qualités nutritionnelles, ou encore pour des applications médicales, pour piloter une pompe à insuline ou faciliter le suivi d’un régime alimentaire par exemple. ETAT DE LA TECHNIQUE La société Medibotics a en particulier développé un bracelet muni d’une caméra de prise de vue couplée à un calculateur réalisant une analyse automatique des images délivrés par cette caméra, afin d’identifier et quantifier les aliments consommés par un utilisateur. La demande de brevet US20160034764A1 par exemple, décrit un système portable pour l'identification et la quantification d'aliments comprenant: au moins un élément d'imagerie, dans lequel cet élément d'imagerie prend des photos et / ou enregistre des images d'aliments à proximité, et dans lequel ces images et / ou images d'aliments sont automatiquement analysées pour identifier les types et les quantités d'aliments; un capteur optique, dans lequel ce capteur optique collecte des données concernant la lumière qui est transmise à travers ou réfléchie par les aliments à proximité, et dans lequel ces données sont automatiquement analysées pour identifier les types d'aliments, les types d'ingrédients dans les aliments et / ou les types de nutriments dans la nourriture; un ou plusieurs mécanismes de fixation, ces mécanismes de fixation étant configurés pour maintenir l'élément d'imagerie et le capteur optique à proximité immédiate de la surface du corps d'une personne; et un élément d'analyse d'image qui analyse automatiquement les images et / ou les images des aliments. Le brevet américain US8363913B2 décrit une autre solution pour déterminer la consommation alimentaire, consistant à enregistrer une image d’un plat contenant différents aliments, à segmenter l’image pour isoler les différents aliments et appliquer ensuite un classificateur pour déterminer la nature de chacun des aliments, ainsi que son volume. Le brevet américain US9165398B2 décrit une autre solution d’un procédé consistant à déterminer un volume de chaque aliment reconnu dans une première image et un volume de chaque aliment dans une seconde image numérique en analysant la première image numérique et la seconde image numérique à l'aide d'une technique de traitement d'image numérique. Ce procédé de l’art antérieur consiste à afficher sur un écran la quantité d'aliments ingérés pour le repas sur la base d'une différence entre le volume de chaque aliment dans la première image numérique et le volume de chaque aliment dans la seconde image numérique. Le brevet américain US9892656B2 décrit un autre procédé connu pour déterminer la valeur nutritionnelle d'un aliment. Le système et le procédé utilisent un récipient alimentaire en tant que modèle pour régler divers types de distorsions qui existent dans une image instantanée du récipient alimentaire contenant l'aliment. L'image instantanée peut être comparée à l'image modèle du récipient alimentaire pour corriger d'éventuelles distorsions. Le récipient alimentaire comprend une frontière qui présente une couleur prédéterminée. La couleur prédéterminée de la frontière peut être utilisée pour régler la configuration de couleurs de l'image instantanée, augmentant ainsi la précision de l'identification des aliments. Inconvénients de l’art antérieur Les solutions de l’art antérieur ne sont pas totalement satisfaisantes car la détermination du volume d’un aliment reste très approximative, en raison du masquage partiel d’un aliment par un autre et en raison de l’imprécision de la détermination de l’épaisseur de la couche d’un aliment. Les images acquises par une caméra contiennent des informations essentiellement bidimensionnelles, et ne permettent d’estimer que partiellement le volume réel, surtout si la forme tridimensionnelle du récipient contenant l’aliment n’est pas connue par avance. Solution apportée par l’invention Afin de répondre à ces inconvénients, l’invention concerne selon son acception la plus générale un procédé de caractérisation de la nature et de la quantité d’aliments contenus dans un ou plusieurs récipients consistant à acquérir au moins une image numérique du ou desdits récipients et à appliquer un traitement informatique de reconnaissance automatique à ladite image numérique pour déterminer pour chacun desdits aliments la nature et la quantité présente, caractérisé en ce que l’acquisition d’image numérique comprend l’acquisition d’une paire d’images comprenant une image numérique en lumière visible et une image avec profondeur de champs infra-rouge stéréoscopique, une étape de segmentation des parties de la paire d’image en fonction des aliments segmentés en ce que ledit traitement informatique comprend un premier moyen d’identification de l’appartenance de chacun desdits aliments segmentés à une classe d’aliments par une méthode d’apprentissage supervisé un second moyen de détermination du volume de chacun desdits aliments présent par une méthode de reconstitution des caractéristiques géométriques de chaque récipient et de calcul du volume de chacun desdits aliments segmentés à partir de ladite paire d’images numériques de chacun desdits aliments segmentés et desdites caractéristiques géométriques reconstituées du récipient contenant l’aliment segmenté. Avantageusement le procédé comporte une étape préalable d’identification d’un plateau supportant ledit ou lesdits récipients et de commande de l’étape d’acquisition de ladite paire d’images numériques en fonction du passage dudit plateau dans le champ optique d’acquisition de ladite paire d’images numérique. Selon une application particulière, le procédé comporte une étape de regroupement des données volumétriques provenant d’un site, pour chacun des aliments segmentés, pendant une plage temporelle déterminée. De préférence, le procédé selon l’invention comporte des étapes d’enregistrement, pour chaque élément segmenté, d’informations numériques additionnelles et des étapes de calcul d’un indicateur global prenant en compte lesdites informations numériques et les données volumétriques provenant d’un site, pour chacun des aliments segmentés, pendant une plage temporelle déterminée. Selon un mode de mise en œuvre particulier, le procédé comporte une étape initiale de détermination desdites caractéristiques géométriques des récipients consistant à entraîner un réseau de neurones avec des paires d’images de récipients vides et un masque de perturbation de configuration connue. L’invention concerne aussi un système de caractérisation de la nature et de la quantité d’aliments contenus dans un ou plusieurs récipients comprenant un capteur d’images et des moyens de traitement informatique de reconnaissance automatique de ladite image numérique pour déterminer pour chacun desdits aliments la nature et la quantité présente caractérisé en ce que ledit capteur d’images comprenant un capteur d’images en lumière visible et un capteurs d’image tridimensionnel, notamment un capteur avec profondeur de champs infra-rouge stéréoscopique, ou encore un lidar ou tout autre moyen d’acquisition d’informations tridimensionnelles. Avantageusement, le système comporte un équipement intégrant une caméra à profondeur de champ, une source de lumière, un calculateur pour un prétraitement des images acquises et leur transmission par l’intermédiaire d’un module de communication à un serveur. Selon une variante, le système de caractérisation de la nature et de la quantité d’aliments comporte une table de tri pour la dépose de plateaux supportant les récipients d’aliments, ledit capteur d’images étant positionné de sorte à ce que le champ optique corresponde à une partie de ladite table de tri. Selon une autre variante, le système de caractérisation de la nature et de la quantité d’aliments comporte un tapis roulant pour la dépose et le déplacement de plateaux supportant les récipients d’aliments, ledit capteur d’images étant positionné de sorte à ce que le champ optique corresponde à une partie de ledit tapis roulant. BREVE DESCRIPTION DES FIGURES La présente invention sera mieux comprise à la lecture de la description qui suit, concernant un exemple non limitatif de réalisation illustré par les dessins annexés où : la représente une vue schématique d’un système selon l’invention la représente une vue schématique de l’équipement d’acquisition d’images la représente une vue schématique de l’étape d’analyse la représente l’algorithme du procédé selon l’invention. Description de l’architecture matérielle Le système décrit à titre d’exemple non limitatif comprend un tapis roulant (1) sur lequel sont déposés de manière connus dans la restauration collective les plateaux (10, 20) chargés généralement des récipients (11 à 13 ; 21 à 23 contenant les aliments non consommés, ainsi que des restes alimentaires (14, 24). Un équipement d’acquisition d’images (100) est disposé au-dessus du tapis roulant (1). Il est formé par un boîtier intégrant une caméra de champ (101), des diodes électroluminescentes (102, 103) et un circuit électronique comprenant un module radiofréquence muni d’une antenne (104). La caméra de champ (101) est par exemple une caméra de champ Microsoft Kinect comportant plusieurs capteurs dans le visible et dans l’infrarouge, ou encore une caméra de champ commercialisée sous le nom commercial de INTEL REALSENSE D415 ET D435. La caméra de champ (101) peut aussi être constitué par un LIDAR fournissant une image sous forme de nuages de points, associé à un capteur d’image fournissant une image 2D de forme RGB. La caméra peut être orientable, le support orientable étant alors commandé pour que le champ optique de la caméra recouvre une zone de passage des plateaux (1). Le calculateur intégré dans l’équipement (100) réalise un prétraitement des images numériques fournies par la caméra de champ (101) et commande la transmission des données prétraités à un serveur distant ou dans le cloud pour faciliter le déploiement de multiples systèmes en mutualisant les traitements des images. Procédé de traitement des images Le process consiste en 3 phases : La récolte des données (Etape 200) ; L’analyse des données (étapes 201 à 210) ; La visualisation des résultats (Etape 211). La récolte de donnée est réalisée par l’équipement (100). Il permet de capter (étape 201) de manière automatique des images numériques standards (202) et 3D (203) de plateaux repas (10). Sur un environnement mobile (tapis roulant) ou stable (table de tri), le dispositif permet d’identifier (Etape 200) automatiquement la présence d’un plateau (10) dans le champ grâce à un algorithme d’apprentissage-machine. La forme du plateau (10) ainsi que son contenu est analysé afin de s’assurer d’avoir une photo claire et centrée de chaque plateau (10). Dans un environnent mobile (tapis roulant), le dispositif prend en compte l’avancée progressive du plateau dans le champ afin de le photographier en entier et éviter les problèmes de coupure. A Chaque image « normale » (RGB) captée (202), une image avec profondeur de champ (IR stereo) (203) est associée à l’aide de la caméra à profondeur de champ (101), permettant d’analyser le volume. Chaque paire d’images (202, 203) est ensuite envoyée sur un cloud afin d’être traitée. L’analyse des données consiste à appliquer aux paires d’images (202, 203) transmises par un équipement (100) divers traitements afin d’identifier les aliments présents sur le plateau (10) et d’en percevoir la quantité (illustration par la ). Un algorithme d’apprentissage machine entraîné sur plusieurs milliers de photos d’aliments va permettre de reconnaitre les aliments gaspillés dans chaque plateau par un classificateur (204) en les segmentant (identification par pixel) (étape 205). En parallèle les photos de profondeur de champs sont traitées afin de calculer le volume des aliments gaspillés. Afin d’obtenir la précision maximale, chaque contenant de nourriture est reconstruit en entier à l’aide d’algorithme d’apprentissage profond, afin de connaitre parfaitement la profondeur (Etape 206) et les caractéristiques du récipient (assiette, ramequin, bol). Cela permet de connaître avec précision la profondeur exacte du récipient sans l’aliment (étape 207) à analyser et ainsi pouvoir calculer son volume (Etape 208). Chaque volume d’aliment identifié (segmenté) est ensuite calculé en effectuant la différence entre la profondeur de chaque pixel de l’aliment et chaque pixel du récipient caché par l’aliment (reconstruit). L’intégration de ces différences sur l’ensemble des pixels de l’aliment donne le volume total. Les résultats des identifications et du calcul des volumes sont ensuite intégrés dans une base de données (210) sur le cloud (Etape 209). La visualisation (211) consiste à exploiter ces données pour calculer des recommandations sous une forme textuelle ou graphique. Les données recueillies sur le gaspillage sont associées à une base de données contenant la masse volumique, le coût et l’impact environnemental ou la valeur nutritionnelle pour chaque aliment et mis à disposition du client sur une plateforme dédiée. Cet outil d’analyse permet de visualiser de manière immédiate le gaspillage dans son intégralité avec une modularité par filtre (aliments, période, ..). L'agrégation des données permet par ailleurs de connaître le volume précis des aliments pour des analyses de la valeur nutritionnelle. Autre variante de réalisation Selon une variante de l’invention, on procède également à une acquisition d’images en amont de la consommation, par des prises de vues des plateaux fournis aux consommateurs, afin de déterminer par différenciation le pourcentage de chaque aliment qui a été consommé. Les plateaux peuvent comporter un marqueur visuel pour faciliter l’appariement des images amont et aval. – Procédé de caractérisation de la nature et de la quantité d’aliments contenus dans un ou plusieurs récipients consistant à acquérir au moins une image numérique du ou desdits récipients et à appliquer un traitement informatique de reconnaissance automatique à ladite image numérique pour déterminer pour chacun desdits aliments la nature et la quantité présente, caractérisé en ce que l’acquisition d’image numérique comprend l’acquisition d’une paire d’images comprenant une image numérique en lumière visible et une image tridimensionnelle, ledit traitement informatique comprend un premier moyen d’identification de l’appartenance de chacun desdits aliments à une classe d’aliments par une méthode d’apprentissage supervisé un second moyen de détermination du volume de chacun desdits aliments présent par une méthode de reconstitution des caractéristiques géométriques de chaque récipient et de calcul du volume de chacun desdits aliments à partir de ladite paire d’images numériques de chacun desdits aliments et desdites caractéristiques géométriques reconstituées du récipient contenant ledit aliment. - Procédé de caractérisation de la nature et de la quantité d’aliments selon la revendication 1 caractérisé en ce que ladite image tridimensionnelle est acquise par un capteur avec profondeur de champs infra-rouge stéréoscopique. - Procédé de caractérisation de la nature et de la quantité d’aliments selon la revendication 1 caractérisé en ce qu’il comporte une étape préalable d’identification d’un plateau supportant ledit ou lesdits récipients et de commande de l’étape d’acquisition de ladite paire d’images numériques en fonction du passage dudit plateau dans le champ optique d’acquisition de ladite paire d’images numérique. - Procédé de caractérisation de la nature et de la quantité d’aliments selon la revendication 1 caractérisé en ce qu’il comporte une étape de regroupement des données volumétriques provenant d’un site, pour chacun des aliments segmentés, pendant une plage temporelle déterminée. - Procédé de caractérisation de la nature et de la quantité d’aliments selon la revendication précédentes caractérisé en ce qu’il comporte des étapes d’enregistrement, pour chaque élément segmenté, d’informations numériques additionnelles et des étapes de calcul d’un indicateur global prenant en compte lesdites informations numériques et les données volumétriques provenant d’un site, pour chacun des aliments segmentés, pendant une plage temporelle déterminée. - Procédé de caractérisation de la nature et de la quantité d’aliments selon la revendication 1 caractérisé en ce qu’il comporte une étape initiale de détermination desdites caractéristiques géométriques des récipients consistant à entraîner un réseau de neurones avec des paires d’images de récipients vides et un masque de perturbation de configuration connue. – Système de caractérisation de la nature et de la quantité d’aliments contenus dans un ou plusieurs récipients comprenant un capteur d’images et des moyens de traitement informatique de reconnaissance automatique de ladite image numérique pour déterminer pour chacun desdits aliments la nature et la quantité présente caractérisé en ce que ledit capteur d’images comprenant un capteur d’images en lumière visible et un capteurs d’image avec profondeur de champs infra-rouge stéréoscopique. – Système de caractérisation de la nature et de la quantité d’aliments selon la revendication précédente caractérisé en ce que qu’il comporte un équipement intégrant une caméra à profondeur de champ, une source de lumière, un calculateur pour un prétraitement des images acquises et leur transmission par l’intermédiaire d’un module de communication à un serveur. – Système de caractérisation de la nature et de la quantité d’aliments selon la revendication 7 caractérisé en ce que qu’il comporte un tapis roulant pour la dépose et le déplacement de plateaux supportant les récipients d’aliments, ledit capteur d’images étant positionné de sorte à ce que le champ optique corresponde à une partie dudit tapis roulant. – Système de caractérisation de la nature et de la quantité d’aliments selon la revendication 7 caractérisé en ce que qu’il comporte une table de tri pour la dépose de plateaux supportant les récipients d’aliments, ledit capteur d’images étant positionné de sorte à ce que le champ optique corresponde à une partie de ladite table de tri.