Brevet FR3130377A1 — publié le 20230616

Procédé d’estimation automatique de la qualité d’un produit agricole Procédé d’estimation automatique de la qualité d’un produit agricole (7), notamment du raisin, contenu en vrac dans des caisses (3), le procédé comportant : l’acquisition d’au moins une image (2) sur laquelle le produit (7) contenu dans chacune des caisses (3) est visible, la segmentation de ladite au moins une image (2) par un premier réseau de neurones (4) entraîné pour isoler une zone d’intérêt représentant au moins une caisse et dans laquelle seul le produit (7) contenu dans la caisse (3) est visible, et la classification du contenu de chaque caisse visible sur la zone d’intérêt en générant un score (A ; C) représentatif de la qualité du produit (7) à l’aide d’un deuxième réseau de neurones (6) entraîné pour ce faire. Figure pour l’abrégé : Fig. 1 Procédé d’estimation automatique de la qualité d’un produit agricole La présente invention concerne l’estimation de la qualité d’un produit agricole, notamment un produit agricole frais comme le raisin. L'invention concerne plus particulièrement un procédé d’estimation automatique de la qualité d’un produit agricole, un procédé d’apprentissage de réseaux de neurones en vue de la mise en œuvre du procédé d’estimation, ainsi qu’un dispositif pour la mise en œuvre du procédé d’estimation. La qualité des produits agricoles est appréciée à l’aune de différents critères tels que les taux de leurs constituants (eau, sucres, minéraux) et les conditions environnementales dans lesquelles ils sont conservés. Après sa récolte, un produit agricole tel que le raisin est stocké dans des caisses. Avant de le passer au pressoir, un opérateur expert inspecte le produit visuellement dans le but de détecter d’éventuelles maladies. Il peut mesurer le degré d’alcool avec une sonde. Une note est alors attribuée au produit. Une telle évaluation est non seulement assez subjective mais aussi chronophage et relativement peu fiable. Il est connu de l’état de l’art des procédés visant à automatiser l’estimation de la qualité d’un produit agricole. On peut citer à titre d’exemple la demande WO 2018/002841 proposant une méthode de détection de fruits et légumes endommagés à partir d’une image capturée de ces fruits et légumes et à l’aide d’un classifieur non linéaire CNN (réseau de neurones convolutif), en numérisant des fenêtres de l’image de tailles variables. Le modèle d’utilité DE 20 2004 021 395 divulgue une méthode pour déterminer automatiquement et quantitativement la qualité de grains, comprenant l'enregistrement des grains à l'aide d'un dispositif d'imagerie, la segmentation des images en comparant l'image originale avec un masque d'image obtenu à partir de l'image originale, la détermination des caractéristiques des grains en tant qu'objets de l'enregistrement d'image, la classification en comparant les caractéristiques des objets avec les caractéristiques stockées et l'affichage et/ou le stockage des objets en fonction de la qualité. Le brevet EP 2 188 067 décrit une machine de tri sélectif de récolte de baies comprenant un système d'amenée agencé pour permettre d'étaler la récolte sur une seule couche, d'aligner, d'isoler individuellement et de déplacer les composants de la récolte, afin de faire défiler individuellement lesdits composants au travers d’un système comportant un dispositif de vision artificielle permettant d'acquérir des images des composants issus du système d'amenée, et un dispositif de traitement apte à analyser ces images pour reconnaître les composants de la récolte et les discriminer en fonction de critères préétablis. La demande IN201841024812 divulgue un procédé comprenant l'obtention, par un dispositif électronique, d'au moins une image d’un objet tel qu’un fruit ou un légume ou une graine, la segmentation de l’image, l'extraction d'au moins une particule de l’image segmentée et la classification de la particule extraite dans au moins une catégorie. Le procédé comprend en outre la mesure de la qualité de l'objet en fonction de la catégorie classée. La demande IN201811003366 décrit un système de détection des aliments opérationnel via une interface utilisateur pour identifier et détecter la fraîcheur des aliments sous observation. Le système de détection comprend un capteur d’images des aliments et un serveur pour la mise en correspondance de l'image avec un ensemble prédéfini de données d'image et à l'aide de réseaux neuronaux convolutifs (CNN) ou d'un outil d'apprentissage machine, et un composant d'affichage des résultats sur la fraîcheur et la qualité des aliments. Il existe un besoin pour perfectionner encore les procédés d’estimation automatique de la qualité d’un produit agricole, afin notamment de s’affranchir le plus possible des aléas pouvant biaiser l’estimation, tout en assurant un moindre coût, une simplicité d’utilisation, une rapidité de traitement et une fiabilité des résultats. L’invention vise à répondre à cet objectif et a pour objet, selon l’un de ses aspects, un procédé d’estimation automatique de la qualité d’un produit agricole, notamment du raisin, contenu en vrac dans des caisses, le procédé comportant : l’acquisition d’au moins une image sur laquelle le produit contenu dans chacune des caisses est visible, la segmentation de ladite au moins une image par un premier réseau de neurones entraîné pour isoler une zone d’intérêt représentant au moins une caisse et dans laquelle seul le produit contenu dans la caisse est visible, et la classification du contenu de chaque caisse visible sur la zone d’intérêt en générant un score représentatif de la qualité du produit à l’aide d’un deuxième réseau de neurones entraîné pour ce faire. Grâce à l’implémentation de deux étapes successives gérées par deux réseaux de neurones différents (une segmentation suivie d’une classification), le procédé selon l’invention permet d’analyser des images en conditions réelles représentant plusieurs caisses simultanément. En outre, cela permet d’avoir une estimation plus rapide, plus fiable et plus précise. Par ailleurs, le procédé selon l’invention permet d’estimer la qualité des produits à l’entrepôt ou sur le site de pressurage. De préférence, la segmentation se fait par un modèle encodeur-décodeur, l’encodeur permettant d’extraire des caractéristiques à partir de l’image, ces caractéristiques étant ensuite placées en entrée du décodeur chargé de générer un masque de segmentation comprenant la zone d’intérêt et une zone de fond. De préférence, le premier réseau de neurones est préalablement entraîné pour prendre en compte toute variation de la luminosité. Ainsi, le procédé peut être mis en œuvre à n’importe quel moment de la journée, qu’il y ait du soleil ou que le ciel soit couvert, ou le soir, sans que les performances du procédé d’estimation ne soient affectées par les différences de luminosité. Les caisses sont avantageusement éclairées par la lumière du jour, sans nécessiter d’autre éclairage. Le premier réseau de neurones est de préférence préalablement entraîné pour ignorer tout objet externe pouvant cacher une surface du produit. Cela permet de supprimer les éléments inutiles, comme les feuilles de vigne ou la couleur de la caisse ou le sol, pouvant biaiser le modèle de segmentation et fausser l’estimation. De préférence, le score attribué à la majorité des caisses de l’image est attribué à l’ensemble des caisses de cette image. En cas d’égalité de scores, un modèle ensembliste est préférentiellement adopté prenant une décision sur le score à attribuer par un vote majoritaire sur les prédictions d’un nombre impair de sous-modèles, notamment trois sous-modèles, choisis pour la classification. Les scores attribués peuvent être choisis parmi : « sains », « malades faiblement », « malades conséquents » et « malades trop conséquents ». Les scores attribués peuvent alternativement être choisis parmi : « excellente qualité », « qualité moyenne », « mauvaise qualité », « très mauvaise qualité » et « non qualitatif ». Les scores attribués peuvent dépendre d’au moins deux critères d’évaluation tels que la présence d’une atteinte à la qualité et la quantité de produit touché par l’atteinte à la qualité. La zone d’intérêt représente préférentiellement quatre caisses. De préférence, la caméra est placée au-dessus des caisses, notamment surplombant une table de pesée des caisses. Les caisses sont notamment ouvertes sur le dessus. Le produit agricole dont on estime la qualité est en particulier du raisin. L’image peut être une image en couleur, notamment de type RGB. L’invention a encore pour objet, selon un autre de ses aspects, un procédé d’apprentissage de réseaux de neurones en vue de la mise en œuvre du procédé d’estimation selon l’invention dans lequel la taille de la base de données d’apprentissage est artificiellement augmentée par l’obtention de nouvelles images synthétiques en appliquant, de préférence de façon aléatoire, des transformations aux images existantes, notamment des rotations et/ou des symétries et/ou des variations de luminosité et/ou des agrandissements et/ou remplacement du fond de l’image et/ou l’ajout de faux objets externes au produit comme des feuilles. Ledit au moins un réseau de neurones est préférentiellement de type CNN. De préférence, l’entrainement dudit au moins un réseau de neurones se fait par apprentissage profond et une régularisation L2 est préférentiellement appliquée sur une couche entièrement connectée dudit au moins un réseau de neurones. La couche entièrement connectée étant celle contenant le plus de paramètres, la régularisation L2 qui lui est appliquée permet de limiter le sur-apprentissage causé par un manque de données. De manière avantageuse, lors de l’entrainement dudit au moins un réseau de neurones, la pondération la plus importante de la fonction de coût est attribuée aux images associées au score minoritaire. Ceci permet de résoudre le problème de déséquilibre entre les classes de produit, une classe correspondant à un score donné indiquant la qualité du produit. De préférence, le procédé d’apprentissage comporte une étape d’évaluation de la qualité de segmentation, notamment via l’emploi de l’indice de Jaccard, connu en anglais sous le nom de la métrique Intersection over Union définie par le rapport entre la surface de chevauchement entre le masque prédit par le modèle de segmentation et le masque étiqueté, et la surface de ces deux masques unis. L’invention a également pour objet, selon un autre de ses aspects, un dispositif pour la mise en œuvre du procédé d’estimation selon l’invention, comportant : au moins une caméra, un premier réseau de neurones pour traiter les images provenant de la caméra afin d’isoler une zone d’intérêt représentant chacune des caisses et dans laquelle seul le produit contenu dans la caisse est visible, et un deuxième réseau de neurones pour classifier le contenu d’au moins une caisse visible sur la zone d’intérêt en générant un score représentatif de la qualité du produit. De préférence, les réseaux de neurones sont intégrés à la caméra. Le dispositif peut comporter un capteur de composés organiques volatils. Ce capteur permet d’affiner les résultats de la classification en détectant les composés organiques volatils des maladies affectant le produit. L’invention pourra être mieux comprise à la lecture de la description détaillée qui va suivre, d’exemples non limitatifs de mise en œuvre de celle-ci, et à l’examen du dessin annexé, sur lequel : la illustre schématiquement les étapes du procédé d’estimation selon l’invention, la représente un exemple d’interface graphique d’un logiciel pour la saisie de données d’apprentissage selon l’invention, la illustre de façon schématique un exemple de segmentation d’une image avec le procédé d’estimation selon l’invention, la représente schématiquement un exemple de modèle de classification des raisins noirs, et la illustre de façon schématique un exemple de modèle de classification des raisins blancs. Procédé d’estimation automatique de la qualité d’un produit agricole (7), notamment du raisin, contenu en vrac dans des caisses (3), le procédé comportant : l’acquisition d’au moins une image (2) sur laquelle le produit (7) contenu dans chacune des caisses (3) est visible, la segmentation de ladite au moins une image (2) par un premier réseau de neurones (4) entraîné pour isoler une zone d’intérêt représentant au moins une caisse et dans laquelle seul le produit (7) contenu dans la caisse (3) est visible, et la classification du contenu de chaque caisse visible sur la zone d’intérêt en générant un score (A ; C) représentatif de la qualité du produit (7) à l’aide d’un deuxième réseau de neurones (6) entraîné pour ce faire. Procédé selon la revendication précédente, la segmentation se faisant par un modèle encodeur-décodeur, l’encodeur permettant d’extraire des caractéristiques à partir de l’image (2), ces caractéristiques étant ensuite placées en entrée du décodeur chargé de générer un masque de segmentation (5) comprenant la zone d’intérêt et une zone de fond. Procédé selon l'une des deux revendications précédentes, le premier réseau de neurones (4) étant préalablement entraîné pour prendre en compte toute variation de la luminosité. Procédé selon l'une quelconque des revendications précédentes, les caisses (3) étant éclairées par la lumière du jour. Procédé selon l'une quelconque des revendications précédentes, le premier réseau de neurones (4) étant préalablement entraîné pour ignorer tout objet externe pouvant cacher une surface du produit. Procédé selon l'une quelconque des revendications précédentes, le score (A ; C) attribué à la majorité des caisses (3) de l’image (2) étant attribué à l’ensemble des caisses (3) de cette image (2). Procédé selon l'une quelconque des revendications précédentes, dans lequel en cas d’égalité de scores (A ; C), un modèle ensembliste est adopté, prenant une décision sur le score (A ; C) à attribuer par un vote majoritaire sur les prédictions d’un nombre impair de sous-modèles, notamment trois sous-modèles, choisis pour la classification. Procédé selon l'une quelconque des revendications précédentes, les scores attribués étant choisis parmi : « sains », « malades faiblement », « malades conséquents » et « malades trop conséquents ». Procédé selon l'une quelconque des revendications 1 à 7, les scores attribués étant choisis parmi : « excellente qualité », « qualité moyenne », « mauvaise qualité », « très mauvaise qualité » et « non qualitatif ». Procédé selon l'une quelconque des revendications précédentes, les scores attribués dépendant d’au moins deux critères d’évaluation tels que la présence d’une atteinte à la qualité et la quantité de produit touché par l’atteinte à la qualité. Procédé selon l'une quelconque des revendications précédentes, le produit (7) étant du raisin. Procédé d’apprentissage de réseaux de neurones en vue de la mise en œuvre du procédé d’estimation selon l’une quelconque des revendications précédentes, dans lequel la taille de la base de données d’apprentissage est artificiellement augmentée par l’obtention de nouvelles images synthétiques en appliquant, de préférence de façon aléatoire, des transformations aux images existantes, notamment des rotations et/ou des symétries et/ou des variations de luminosité et/ou des agrandissements et/ou remplacement du fond de l’image et/ou l’ajout de faux objets externes au produit comme des feuilles. Procédé d’apprentissage selon la revendication précédente, l’entrainement dudit au moins un réseau de neurones se faisant par apprentissage profond et une régularisation L2 étant appliquée sur une couche entièrement connectée dudit au moins un réseau de neurones. Procédé d’apprentissage selon la revendication 12 ou 13, lors de l’entrainement dudit au moins un réseau de neurones, la pondération la plus importante de la fonction de coût étant attribuée aux images associées au score minoritaire. Procédé d’apprentissage selon l’une quelconque des revendications 12 à 14, comportant une étape d’évaluation de la qualité de segmentation, notamment via l’emploi de l’indice de Jaccard. Dispositif pour la mise en œuvre du procédé d’estimation selon l'une quelconque des revendications 1 à 11, comportant : au moins une caméra (1), un premier réseau de neurones (4) pour traiter les images (2) provenant de la caméra (1) afin d’isoler une zone d’intérêt représentant chacune des caisses (3) et dans laquelle seul le produit (7) contenu dans la caisse est visible, et un deuxième réseau de neurones (6) pour classifier le contenu d’au moins une caisse visible sur la zone d’intérêt en générant un score (A ; C) représentatif de la qualité du produit (7). Dispositif selon la revendication précédente, les réseaux de neurones étant intégrés à la caméra (1). Dispositif selon la revendication 16 ou 17, comportant un capteur de composés organiques volatils.