Brevet FR3157620A1 — publié le 20250627

Procédé d’apprentissage par renforcement d’un système (SYS) de manutention individuelle d’articles, le système (SYS) comprenant une unité (CONV) de déplacement collectif des articles (IT) jusqu’à une zone de prélèvement (PickZ) et un bras (MA) de prélèvement individuel des articles (IT), le procédé comprenant les étapes suivante: simulation du système (SYS) ; génération d’images numérique représentatives du système simulé ; analyse des images générées et calcul de caractéristiques d’articles simulés dans l’image générée ; détermination d’un article à saisir parmi les articles simulés et des trajectoires du bras manipulateur simulé pour manipulation de l’article déterminé ; simulation de l’effet de la manipulation sur le système simulé ; établissement d’un rapport (REP) indicatif de problèmes éventuellement rencontrés au cours de la manipulation simulée ; génération d’une récompense (REC) en réponse au rapport ; et ajustement de paramètres opérationnels du système en réponse à la récompense. Figure à publier avec l’abrégé : Fig. 2 Procédé d’apprentissage renforcé pour un système de manutention individuelle d’articles DOMAINE TECHNIQUE DE L’INVENTION L'invention concerne un procédé d’apprentissage destiné à optimiser le fonctionnement d’un système de manutention individuelle d’articles, par exemple pour la saisie et le déplacement de ces articles lors d’une opération de dévracage dans une installation de tri. ARRIERE PLAN TECHNOLOGIQUE Le tri d’articles tels que des colis postaux se fait au sein de centre de tri comprenant des lignes de tri destinées à procéder à un tri automatisé d’articles, chacune traitant un flux d’articles. Les articles sont manipulés le long des lignes au moyen de systèmes de convoyage collectifs mais nécessitent, par exemple pour du dévracage ou du placement individuel, d’être prélevés individuellement lors d’une opération dite « prélève et place », ou « pick and place » en terminologie anglaise, mise en œuvre au moyen d’un bras manipulateur robotisé, comme décrit par exemple dans le document FR 3 019 068 B1. Un exemple de bras manipulateur utilisant des ventouses comme dispositif de préhension des articles est décrit dans le document FR 3 031 046 A1. Bien entendu, afin de rentabiliser les lignes de tri, celles-ci doivent traiter un flux d’articles aussi important que possible et la rapidité d’exécution de l’opération de « pick and place » est primordiale. La fonction du bras manipulateur est de saisir un article arrivant à une zone dite zone de prélèvement, formant par exemple une extrémité d’une bande de convoyages d’articles où ils arrivent en vrac, déplacer cet article jusqu’à un emplacement prédéterminé, puis le relâcher. Cette opération doit être rapide tout en restant fiable afin de limiter les erreurs de manipulation. Un premier exemple d’erreur de manipulation est le « fly-out » en terminologie anglaise, qui consiste en un lâcher imprévu de l’article alors que celui-ci est déplacé à grande vitesse par le bras et peut résulter en une éjection de l’article hors de la ligne de tri. La qualité de saisie d’un article peut dépendre de la nature de son emballage : la géométrie (plane ou irrégulière) et le matériau (souple ou rigide) emballant l’article ont une grande influence sur le risque de fly-out, par exemple lorsque la saisie est opérée au moyen de ventouses aspirantes. Plus spécifiquement, la qualité de la saisie d’une boîte rigide présentant une face plane et régulière par les ventouses aspirantes d’un bras manipulateur est meilleure que la qualité de saisie d’un emballage souple, de sorte que l’accélération imposée à la boîte par le bras manipulateur sans provoquer de fly-out peut être plus élevée que celle imposée à l’emballage souple par le même bras manipulateur. Ainsi, on comprend que pour un niveau donné de fiabilité de la manipulation d’un article par le bras manipulateur, celui-ci pourra imposer à une boîte rigide une accélération plus forte et donc une vitesse plus élevée que celle qu’il pourra imposer à un emballage souple. Optimiser le débit global de traitement des articles requiert donc de trouver un compromis entre la qualité de la saisie des articles et la vitesse de déplacement du bras, ce compromis devant tenir compte de la nature de l’emballage de chaque article Un second exemple d’erreur de manipulation est la collision entre un article saisi et un élément de son environnement, par exemple un autre article ou une pile d’articles se situant sur le chemin suivi par le bras robotisé pour le déplacer de son point de saisie à son point de destination. Les collisions peuvent mener à des lâchers ou des endommagements d’articles. Eviter ce type d’erreur requiert la prise en compte des positions de chacun des articles dans la zone de prélèvement ainsi que des positions relatives des articles les uns par rapport aux autres, et éventuellement les caractéristiques du dispositif de manipulation qui pourrait lui aussi heurter des articles. Un troisième exemple d’erreur est celui de la saisie simultanée de plus d’un article par le bras manipulateur, on parle alors de « prise multiple ». Il arrive en effet que la tête de préhension du bras manipulateur saisisse accidentellement plus d’un article. C’est par exemple le cas lorsqu’une tête de préhension emploie une pluralité de ventouses aspirantes pour saisir des articles, et que certaines des ventouses s’attachent à un premier article et que d’autres s’attachent à un second article. Un tel événement est accidentel et préférablement évité en raison de ces conséquences, allant d’une erreur de tri à un bourrage d’une machine de tri recevant plus d’un article simultanément, et parfois même la casse d’un élément de cette machine de tri. Chacune des erreurs mentionnées ci-dessus affecte la qualité du traitement, pouvant mener à des Nous voyons que la manipulation individuelle d’articles arrivant en vrac à une zone de prélèvement requiert d’anticiper un à un des problèmes distincts relevant de la prise en compte de paramètres également distincts. Conventionnellement, le pilotage du bras manipulateur prend en compte ces problèmes, mais chacun traités indépendamment des autres en vue d’un objectif qui est d’obtenir un compromis entre la qualité et la vitesse de manipulation des articles. On peut se référer aux demandes de brevet français FR2301782, FR2305495 et FR2309639. Il reste difficile d’optimiser le traitement indépendant de chacun de ces problèmes tout en optimisant le traitement global du flux d’articles arrivants à traiter. Le traitement indépendant de chacun des problèmes susceptibles de survenir lors de la manipulation individuelle des articles peut être décrit comme un fonctionnement en boucle ouverte, c’est-à-dire que les effets des actions entreprises pour parer à l’un des problèmes ne sont pas prises en compte dans la résolution des autres problèmes ou pour l’objectif global qui est de se rapprocher d’un compromis optimal entre la vitesse et la qualité de la manipulation individuelle des articles. Un objet de l’invention est un procédé d’apprentissage par renforcement pour un système de manutention individuelle d’articles, prévu pour apprendre à un système de manutention individuelle d’articles à choisir un article arrivant à une zone de prélèvement, le saisir et le déplacer jusqu’à un point d’arrivée. En vue de la réalisation de ce but, un aspect de l’invention est un procédé d’apprentissage par renforcement d’un système de manutention individuelle d’articles, le système comprenant une unité de déplacement collectif des articles jusqu’à une zone de prélèvement, un bras manipulateur configuré pour saisir et déplacer individuellement des articles situés dans la zone de prélèvement, un capteur configuré pour acquérir des images représentatives de la zone de prélèvement, le procédé comprenant la mise en œuvre des étapes suivante au moyen d’un système informatique : simulation du système dans état ; génération d’images numérique représentatives de la zone de prélèvement du système simulé ; analyse d’au moins une des images générées et calcul de caractéristiques représentatives d’articles simulés visibles dans l’image générée ; sur la base des caractéristiques calculées à l’étape d’analyse, détermination d’un article à saisir parmi les articles simulés et des trajectoires du bras manipulateur simulé pour aller saisir cet article et l’amener à une zone de dépose ; simulation d’un effet sur l’état du système simulée de la manipulation de l’article à saisir par le bras manipulateur en réponse à la détermination ; établissement d’un rapport indicatif (i) d’une durée représentative pour que le bras manipulateur aille saisir l’article à saisir et l’amène à la zone de dépose et (ii) de problèmes éventuellement rencontrés au cours de la manipulation simulée ; génération d’une récompense sous forme d’un nombre en réponse au rapport ; et ajustement de paramètres opérationnels du système, comprenant au moins des paramètres opérationnels du bras de manutention de l’étape de détermination en réponse la récompense. A l’issu de son apprentissage, le système est capable de gérer les risques de fly-out, de collision ou encore de prise multiple, de manière à optimiser le traitement individuel des articles d’un flux articles arrivant à la zone de prélèvement. En outre, l’appareillage préexistant d’une ligne de tri peut être suffisant pour mettre en œuvre le procédé, permettant ainsi une amélioration des performances en qualité et en débit de traitement du système. Selon des caractéristiques additionnelles non-limitatives du premier aspect de l’invention, considérées individuellement ou selon toute combinaison techniquement réalisable : - les paramètres opérationnels du bras manipulateur peuvent être choisis parmi un choix d’un article à saisir parmi les articles simulés visibles et une configuration d’une tête de préhension du bras manipulateur ; - le procédé peut en outre comprendre une étape de détermination d’une stratégie d’alimentation en articles de la zone de prélèvement du système simulé au moyen de l’unité de déplacement collectif des articles, l’étape d’ajustement des paramètres opérationnels du système comprenant en outre un ajustement de paramètres opérationnels de l’unité (CONV) de déplacement collectif des articles ; - les paramètres opérationnels de l’unité de déplacement collectif des articles sont choisis parmi des paramètres de contrôle de la mise en route et de l’arrêt d’un convoyeur, de modulation d’une vitesse de convoyage des articles, et d’égrenage des articles ; - le rapport peut être représentatif d’un temps nécessaire à la réalisation des actions du bras manipulateur, d’une longueur de trajets du bras manipulateur, d’un succès de la manipulation d’un article et des problèmes éventuellement rencontrés : prise multiple, collision, et/ou fly-out ; - les problèmes éventuellement rencontrés peuvent être choisis parmi une prise multiple d’articles par le bras de manutention, un fly-out d’article en cours de manipulation par le bras de manutention et une collision d’un article en cours de déplacement par le bras manipulateur ; - l’étape de détermination des trajectoires du bras manipulateur simulé peut être effectuée au moyen d’un algorithme de recherche de chemin tel que l’algorithme de Dijkstra. L’invention s’étend à un procédé de manutention individuelle d’articles au moyen du système ayant suivi le procédé d’apprentissage selon l’invention, comprenant la mise en œuvre des étapes suivantes au moyen d’un système informatique : capturer une image numérique et former une carte topographique de la zone de prélèvement au moyen d’un capteur ; capture d’une image numérique et génération d’une carte topographique de la zone de prélèvement au moyen d’un capteur ; analyse de l’image numérique et de la carte topographique de manière à détecter et isoler des articles visibles dans l’image numérique, et calcul de caractéristiques individuelles de chacun de ces articles ; définition d’un prochain article à manipuler sur la base des caractéristiques individuelles des articles et des paramètres opérationnels ; et en réponse à la définition du prochain article à manipuler, manipulation du prochain article à manipuler au moyen du bras manipulateur. L’invention s’étend également à un système de mise en œuvre du procédé de manutention individuelle d’articles selon l’invention, comprenant une zone de prélèvement ; un capteur configuré pour acquérir des images représentatives de la zone de prélèvement ; une première unité de déplacement collectif d’articles configurée pour amener des articles à la zone de prélèvement ; un bras manipulateur configuré pour manipuler individuellement des articles situés dans la zone de prélèvement ; et un système informatique de mise en œuvre d’une application logique prévue pour le pilotage du bras manipulateur et de la première unité de déplacement collectif d’articles. BREVE DESCRIPTION DES FIGURES D’autres caractéristiques et avantages de l’invention ressortiront de la description détaillée de l’invention qui va suivre en référence aux figures annexées sur lesquels : FIG. 1 La FIG. 1 représente une vue globale d’une installation dans laquelle peut s’appliquer le procédé selon l’invention ; FIG. 2 La FIG. 2 illustre un système auquel peut s’appliquer le procédé d’apprentissage selon l’invention, intégré dans l’installation de la FIG. 1 ; FIG. 3 La FIG. 3 illustre des modules logiques mise en œuvre dans un procédé de manipulation auquel s’applique l’apprentissage selon l’invention ; FIG. 4 La FIG. 4 est un diagramme illustrant une mise en œuvre du procédé d’apprentissage selon l’invention ; FIG. 5 La FIG. 5 représente schématiquement une tête de préhension munie de ventouses ; et FIG. 6 La FIG. 6 est un diagramme illustrant une mise en œuvre du procédé de manipulation d’articles selon l’invention. DESCRIPTION DETAILLEE DE L’INVENTION Mode de réalisation Les figures 1 à 4 illustrent un mode de réalisation d’un procédé d’apprentissage par renforcement pour un système de manutention individuelle d’articles, appliqué au cas particulier pris en exemple d’un système intégré à une installation de tri de ces articles. La FIG. 1 illustre une installation FAC de tri d’articles, comprenant une zone de prélèvement PickZ dans laquelle des articles IT à trier amenés par un camion Trck sont amenés en vrac au moyen d’une première unité CONV de déplacement collectif d’articles. Un bras manipulateur MA robotisé, constituant une unité de manutention individuelle d’articles, est configuré pour saisir un à un les articles IT et les déposer sur une seconde unité INS de déplacement collectif d’articles. La seconde unité de déplacement collectif d’articles est dans le présent mode de réalisation un inserteur INS configuré pour insérer des articles dans une machine de tri SORT. Cette machine de tri peut par exemple comprendre une bande de convoyage circulaire CCB recevant les articles de l’inserteur INS et des sorties de tri Out (trois sorties représentées ici) vers lesquelles des articles sont dirigés en fonction de leur destination finale. Les unités CONV et INS de déplacement collectif d’articles sont des systèmes de déplacement collectif des articles et peuvent indépendamment être constituées d’un ou plusieurs convoyeurs tels que des bandes ou des rouleaux de convoyage. L’installation peut, par exemple, être prévue pour trier des colis postaux et les répartir en tournées de distribution correspondant chacune à l’une des sorties de tri Out. La FIG. 2 illustre plus spécifiquement un système SYS de manutention individuelle d’article intégré à l’installation FAC de tri, avec la première unité CONV de déplacement collectif d’articles CONV avec sa zone de prélèvement PickZ, la seconde unité INS de déplacement collectif d’articles avec sa zone de dépose DZ, et le bras manipulateur MA de manipulation individuelle d’article avec sa tête de préhension GH. La première unité CONV de déplacement collectif d’articles déplace les articles IT depuis une zone de déchargement en vrac du camion Trck jusque vers la zone de prélèvement PickZ selon une direction Dir 1 représentée par une flèche dans la FIG. 2 . La tête de préhension GH peut être munie de ventouses reliées à un système de pompage, chaque ventouse peut être contrôlée individuellement de manière à appliquer un vide à la surface d’un article à saisir dans la zone de prélèvement PickZ. La FIG. 5 illustre une tête de préhension GF munie de six ventouses SUC. Le nombre et la répartition des ventouses à utiliser pour saisir un article particulier font parties des paramètres opérationnels de contrôle du bras robotisé, qu’il est nécessaire de contrôler pour s’adapter à la configuration (dimensions, orientation…) propre à chaque article à déplacer. Une unité CONT de pilotage de la ligne de tri, et donc du système SYS de manutention individuelle d’articles, comprend un appareil de prise de vue numérique, tel qu’une caméra, en tant que capteur d’images CAM1, et un système informatique INF comprenant un calculateur électronique tel qu’un processeur et une mémoire informatique, et étant fonctionnellement connecté au capteur CAM1, au bras manipulateur MA et à l’unité CONV de de déplacement collectif d’articles. Le capteur CAM1 est configuré pour acquérir des images représentant chacune une vue générale de la zone de prélèvement PickZ. Le premier capteur CAM1 peut être adapté à l’acquisition d’une image couleur de type RGB et d’une paire d’images numériques aptes à former une carte de profondeur de ladite scène selon des principes connus de photogrammétrie. La carte de profondeur pourrait être obtenue par d’autres techniques, telles que la triangulation laser ou la méthode du temps de vol. Dans le présent mode de réalisation, les articles IT amenés dans la zone de prélèvement PickZ par la première unité de déplacement collectif d’articles, qui sont alors manipulés par le bras manipulateur MA de manière à les faire passer d’un état désordonné issu du déchargement en vrac du camion Trck sur la première unité de déplacement d’articles CONV à un état ordonné sur la seconde unité INS de déplacement collectif d’articles. Le bras manipulateur MA a pour fonction de manipuler individuellement ces articles en les saisissant un par un pour les déposer un par un dans une zone de dépose DZ de la seconde unité INS de déplacement. L’état désordonné se caractérise par une répartition irrégulière des articles, avec éventuellement des articles entassés les uns sur les autres ou simplement accolés les uns aux autres. L’état ordonné se caractérise par exemple par un placement des articles un à un sur une bande de convoyage en rotation continue, de manière telle que chacun des articles est placé au milieu de la bande de convoyage, de préférence selon un pas P constant et défini comme la distance séparant deux des articles placés consécutivement sur la bande de convoyage par le bras manipulateur. La seconde unité INS de déplacement collectif d’articles est configurée de manière à déplacer les articles qui y sont posés vers une entrée de la machine de tri SORT, dans une direction Dir 2 qui est définie comme allant d’une zone DZ de dépose des articles par le bras manipulateur MA sur la seconde unité de déplacement d’articles INS vers une entrée de la machine de tri SORT. Les articles, confiés de manière ordonnée à la seconde unité de déplacement d’articles INS, peuvent être correctement traités par la machine de tri SORT. L’ambition de la présente invention est, dans le présent mode de réalisation, un procédé d’optimisation du traitement des articles par le système illustré par la FIG. 2 , en particulier le contrôle du bras manipulateur MA, mais également le contrôle de la première unité de déplacement d’articles CONV. Ce procédé d’optimisation repose sur un apprentissage par renforcement de manipulation des articles par le système SYS, s’appliquant en premier lieu au contrôle du bras manipulateur MA. La FIG. 3 illustre trois blocs logiques ALIM, VIS et PICK inclus dans une application logique APP du système informatique INF, qui peuvent être utilisés pour décrire le contrôle du système SYS par l’unité CONT de pilotage. L’application APP peut être mise en œuvre par le système informatique INF. Le système informatique INF comprend également un bloc de simulation SIM configuré pour simuler le système SYS et son fonctionnement. Le premier bloc logique ALIM d'alimentation est conçu de manière à contrôler l’alimentation de la zone de prélèvement en articles. Le bloc ALIM contrôle la première unité CONV de déplacement collectif d’articles : mise en route et arrêt d’une bande de convoyage et/ou modulation de la vitesse de convoyage des articles, par exemple. Ce bloc logique est également en charge, le cas échéant, de l’égrenage des articles afin d’aérer le vrac et de faciliter la saisie des articles. L’égrenage peut être mis en œuvre par des moyens conventionnels quelconques équipant la première unité de déplacement CONV. Le second bloc logique VIS de visualisation est conçu pour analyser les images de la zone de prélèvement capturées par le capteur d’image CAM1 et, une carte topographique issue de ces images, selon des procédés conventionnels. Ces images comprennent les articles amenées de la zone de prélèvement en réponse au contrôle du premier bloc logique ALIM Le bloc VIS effectue en particulier une segmentation des images de manière à détecter et isoler chacun des articles visibles, et calcule les caractéristiques individuelles de chacun de ces articles isolés, telles que leurs positions (hauteurs, emplacements occupés dans le plan formé par la zone de prélèvement), leurs orientations dans un repère orthogonal associé à la zone de prélèvement (lacet, tangage, roulis), et leurs couleurs et/ou textures, ces dernières étant indicatives des natures des emballages des articles (typiquement, boîtes rigides telles que des boîtes en carton ou emballages souples tels que des films plastiques). Les demandes de brevets FR2305495 et FR2301782 détaillent des implémentations de telles fonctions. Le troisième bloc logique PICK est conçu pour déterminer une stratégie de prélèvement des articles identifiés par le second bloc logique VIS. : choix du prochain article à saisir par le bras manipulateur, trajectoire d’approche de ce dernier et trajectoire de déplacement de l’article saisi de son point de prélèvement à son point de destination, ici la zone de dépose DZ. La stratégie de prélèvement est déterminée en fonctions d’informations sur la localisation du point de dépose DZ, la localisation de chacun des articles, les éventuels chevauchements entre des articles, la hauteur des articles, les configurations du bras manipulateur et de la tête de préhension, éventuellement les choix des ventouses de saisie à activer (mise en œuvre de l’aspiration pour chaque ventouse indépendamment des autres) ou, le cas échéant le choix d’une zone de dépose, par exemple située sur l’un de plusieurs inserteurs. Le bloc de simulation SIM est basé sur un jumeau numérique tridimensionnel du système SYS, qui intègre un moteur dynamique et un automatisme qui reproduisent en particulier des configurations réalistes d’articles en vrac sur l’unité de convoyage CONV et dans la zone de prélèvement PickZ. Sur chaque article simulé est appliqué une texture extraite d’une image d’un article réel. Les trois blocs logiques ALIM, VIS et PICK peuvent d’abord être pré-entraînés par des approches statistiques classiques ou des méthodes heuristiques déterminant des paramètres opérationnels de ces blocs logiques optimisant la réponse du système à une situation donnée, définie par la configuration des articles à traiter et la configuration du système lui-même, le bras manipulateur en particulier. Par la suite seulement, ces blocs peuvent bénéficier d’un apprentissage par renforcement comme décrit ci-dessous. Un avantage de cet apprentissage en deux temps est de réduire le temps de convergence de l’algorithme d’apprentissage. Alternativement, ces blocs logiques peuvent être directement entraînés au moyen de l’apprentissage par renforcement de manière à définir leurs paramètres opérationnels. Dans tous les cas, les paramètres opérationnels des blocs logiques doivent être déterminés de manière telle que le système dans son ensemble réponde de la manière la plus adéquate possible à une situation donnée, c’est-à-dire de manière à maximiser le débit de traitement des articles tout en minimisant la survenue de problèmes tels que les collisions, les fly-outs ou encore les prises multiples. Les occurrences de prises multiples et de fly-outs peuvent par exemple être déterminées par vérification du nombre d’articles déposées sur l’inserteur INS. Les occurrences de collisions peuvent être déterminées par des calculs de trajectoires, la topographie de l’environnement été les caractéristiques des articles et du bras manipulateur étant connus. La FIG. 4 illustre un procédé d’apprentissage par renforcement pour les blocs logiques. Principe Le principe des procédés d’apprentissage par renforcement est d’entraîner un agent intelligent à réaliser des actions dans une simulation afin qu’il soit capable de les réaliser en conditions réelles une fois l’apprentissage fait. L’apprentissage par renforcement comporte deux éléments principaux : l’agent, et l’environnement. L’agent est l’algorithme qui va chercher à apprendre, et dont on attend à terme qu’il soit capable de contrôler le bras manipulateur et la première unité de déplacement collectif pour l’alimentation en articles de la zone de prélèvement. Il est dans ce mode de réalisation constitué de l’application logique APP, qui contrôle le bras manipulateur MA et la première unité CONV de déplacement collectif d’articles. C’est cette application dont on cherche à optimiser le fonctionnement au moyen de l’apprentissage par renforcement. L’environnement est défini par les caractéristiques individuelles de chacun de ces articles (nature, positionnement) de la zone de prélèvement PickZ, les caractéristiques du bras de manutention, et celles de l’unité de convoyage. C’est dans cet environnement que l’agent se situe et c’est sur cet environnement qu’il agit. Trois types d’informations sont à considérer dans l’espace défini par l’agent et l’environnement : les actions, les états et les récompenses. Une action a est une action sur l’environnement réalisée par l’agent à la suite d’une décision de sa part. Il s’agit ici en particulier du choix d’un article à manipuler par le bras manipulateur et de la façon dont le bras manipulateur effectue cette manipulation (chemin effectué…). Il peut aussi s’agir du pilotage de l’unité de convoyage. Un état s est une situation à un temps t de l’agent dans l’environnement. L’état est mis à jour après chaque action réalisée par l’agent. Une récompense r est une note indicatrice de la qualité d’une action appliquée à un état donné de l’environnement, bonne (par exemple : article manipulé de manière adéquate, c’est-à-dire amené à la zone de dépose DZ) ou mauvaise (par exemple : occurrence d’une collision, d’une prise multiple, d’un fly-out…). Une récompense peut être un nombre positif pour les bonnes actions, et négative pour les mauvaises actions. L’apprentissage par renforcement consiste à apprendre à l’agent à agir de manière à maximiser la somme des récompenses générées. Ainsi, il cherchera au cours de l’apprentissage à identifier les actions qui lui permettront de maximiser les récompenses générées dans une situation, c’est-à-dire un état de l’environnement, donnée. Algorithme Q-learning Un algorithme d’apprentissage par renforcement est le Q-learning, qui utilise le concept de qualité (ou valeur) d’un tuple état-action, c’est-à-dire la récompense totale générée par une action a dans un état s. Une action se définit par les paramètres opérationnels de l’élément (bras manipulateur et sa tête de préhension, première unité de déplacement collectif d’articles) qui la met en œuvre. La définition formelle de la qualité peut être définie ainsi pour le Q-learning : Eq. 1 L’équation Eq. 1 définit mathématiquement la Q-valeur d’un tuple état-action, r(s,a) définissant la récompense d’une action a de l’agent appliquée à un état s de l’environnement, représentant un facteur de dévaluation compris entre 0 et 1, et représentant la récompense maximale possible de l’action a dans un état s’. Les états s et s’ appartiennent à un espace d’état S. l’action a appartient à un espace d’actions A. Ces algorithmes « apprennent » la qualité Q(s, a) de chaque tuple état-action à mesure de l’exploration de l’espace A des actions a de chaque état s. Les Q-valeurs sont utilisées pour choisir quelle action a est réalisée pour chaque état s. Au début de l’apprentissage, les Q-valeurs sont initialisées aléatoirement. A mesure que l’apprentissage progresse, les Q-valeurs apprises seront de plus en plus exploitées. Mise en œuvre du Q-learning Une mise en œuvre 100 de l’algorithme Q-learning au moyen du système informatique INF et de l’application APP est illustrée par la FIG. 4 . Cette mise en œuvre est une phase d’apprentissage de l’application logique APP de contrôle du système SYS. L’environnement utilisé pour l’apprentissage est, au moins dans un premier temps, une simulation du système SYS, afin d’éviter d’endommager le système réel. A une étape S10, une simulation SIMUL d’un état S SYS du système SYS est générée par le module de simulation SIM, en fonction de paramètres opérationnels Param.ALIM de contrôle de l’unité de déplacement d’article CONV, et donc de l’alimentation de la zone de prélèvement en articles. Ces paramètres contrôlent la mise en route et l’arrêt d’une bande de convoyage, la modulation de la vitesse de convoyage des articles, ou encore l’égrenage des articles. A une étape S20, l’application APP génère une image numérique IMG.Virt en couleurs et une carte de profondeur de la zone de prélèvement virtuelle, telles qu’elles seraient perçues par le capteur CAM1 dans le système réel. Le rendu de l’image générée est de préférence photoréaliste de manière à rapprocher la simulation des conditions d’exploitation du système SYS réel. A une étape S30, le bloc logique VIS analyse l’image numérique en segmentant l’image numérique en couleur et en exploitant la carte de profondeur de manière à détecter et isoler chacun des articles visibles, et calcule les caractéristiques individuelles CAR de chacun de ces articles : positions (hauteurs, emplacements occupés dans le plan formé par la zone de prélèvement), orientations, couleurs et/ou textures, comme indiqué plus haut dans le cas de l’analyse d’images de système réel. L’analyse est effectuée en fonction de paramètres opérationnels Param.VIS du bloc VIS, prédéterminés par le praticien pour la mise en œuvre de l’analyse d’image. A une étape S40, le bloc logique PICK effectue une première tâche, qui est de définir une stratégie STR de manipulation des articles en définissant le prochain article IT à manipuler sur la base (i) des caractéristiques individuelles CAR des articles calculées à l’étape S30 et (ii) des caractéristiques du bras manipulateur et, le cas échéant, de sa tête de préhension. Les paramètres opérationnels Param.PICK sont des paramètres de contrôle du bras manipulateur MA, et sont représentatifs du prochain article qu’il a été décidé de saisir et des caractéristiques de cet articles : position, orientations, dimensions, ou encore nature de l’emballage. A cette étape, la détermination des trajectoires du bras manipulateur pour aller saisir le prochain article à manipuler et l’amener à la zone de dépose peut être faite par l’apprentissage par renforcement, mais, dans ce mode de réalisation, elles sont déterminées par des algorithmes classiques de recherche de chemin, ou « pathfinding » en terminologie anglaise, tels que l’algorithme de Dijkstra. Cette détermination est basée les données topologiques de la scène obtenues au moyen du capteur CAM1 : image RGB en couleurs, carte de profondeur et la géométrie et les dimensions du bras manipulateur. En revanche, la prise en compte des situations à problème (prise multiple, nature de l’emballage de l’article, collisions, fly-out) se fait par l’apprentissage par renforcement. Ainsi, parmi les paramètres opérationnels Param.PICK de contrôle du bras manipulateur, des paramètres d’un premier ensemble de paramètres qui sont dédiés à la définition des trajectoires du bras manipulateur peuvent être déterminés par un algorithme de recherche de chemin, tandis que des paramètres d’un second ensemble de paramètres qui sont dédiés à la prise en compte des situations à problèmes sont déterminés par l’apprentissage par renforcement. A une étape S50, le bloc de simulation SIM simule l’application de la stratégie de manipulation définie à l’étape S40, qui correspond, en termes de Q-learning, à une action a appliquée par l’agent, qui est ici le bras manipulateur, à un état courant s de l’environnement pour arriver à un nouvel état s : déplacement du bras manipulateur jusqu’à l’article qu’il a été décidé de saisir, saisie de cet article, puis transport et dépose de l’article jusqu’à son point de dépose. A une étape S60, le bloc logique ALIM d’alimentation effectue une seconde tâche ALIM?, qui est de déterminer une stratégie de gestion de l’alimentation en articles de la zone de prélèvement. La gestion de l’alimentation se fait au moyen de l’unité de déplacement CONV. La gestion de l’alimentation peut consister en la mise en route pour une durée variable de l’unité de déplacement CONV, en la détermination d’une vitesse de convoyage des articles par l’unité de convoyage CONV, ou en l’application d’une opération d’égrenage des articles en vrac par l’unité de convoyage. La détermination se fait sur la base de la nouvelle configuration des articles simulée par le bloc de simulation SIM éventuellement traitée de la même manière que lors des étapes S20 et S30. L’impossibilité pour le bras manipulateur de saisir un article peut également représenter un signal indiquant la nécessité pour l’unité de convoyage CONV de vider la zone de prélèvement en articles, par exemple en faisant basculer les articles en bout de bande de convoyage dans un bac de récupération. A une étape S70, l’application établit un rapport REP représentatif du temps nécessaire à la réalisation des actions du bras manipulateur, de la longueur des trajets du bras manipulateur, au succès de la manipulation d’un article (effectivement déposé ou non dans la zone de dépose) et des éventuels problèmes rencontrés : prise multiple, collision, et/ou fly-out. A une étape S80, l’application APP calcule la récompense REC pour les actions effectuées à l’étape S50 par le bras manipulateur MA sur la base du rapport établi à l’étape S70. Le principe est de générer une récompense d’autant plus élevée que la manipulation de l’article se passe sans encombre, c’est-à-dire que les potentiels problèmes tels que la prise multiple et la collision n’arrivent pas, et que l’alimentation est fluide, c’est-à-dire permet un haut débit d’articles manipulés (information dérivant du temps de réalisation des actions par le bras manipulateur de déplacement de chaque article). Le tableau suivant synthétise une façon de générer les récompenses dans le cadre de l’algorithme Q-learning. Les récompenses sont générées en réponse au rapport REP qui indique les performances globales du système en ce qui concerne le déplacement des articles et le débit du système, sans évaluer individuellement chacune des actions (listées dans l’Espace d’action A menant à ces performances globales, et qui correspondent aux actions menées par le système pour remplir les fonctions des étapes S40 et S60 (première tâche et seconde tâche), mises en œuvre respectivement par le bloc logique PICK et le bloc logique ALIM. La colonne Espace d’état S liste les paramètres pris en compte dans la détermination des actions à accomplir (chacune définies par des paramètres opérationnels des mécanismes chargés de les mettre en œuvre), qui appartiennent à l’Espace d’action. Tâches Espace d’état S Espace d’action A Récompenses Choix de l’article à manipuler Configuration du bras manipulateur en début de séquence Saisies de chacun des articles de la zone de prélèvement Vider la scène (aucune saisie d’article n’est possible) Configuration de la tête de préhension +1 pour chaque article déposé dans la zone de dépose -1 pour chaque occurrence d’un problème (prise multiple, collision, fly-out) Alimentation en articles de la zone de prélèvement Configuration des articles en zone de prélèvement Configuration des articles sur l’unité CONV Hauteur de l’article choisi Position de la zone de dépose Mise en route de l’unité de déplacement CONV, oui ou non Durée de la mise en route de l’unité de déplacement CONV Vitesse de déplacement Nécessiter de remplir la scène A une étape S90, en réponse à la récompense, les paramètres Param.ALIM, et Param.PICK sont ajustés, on peut également envisager l’ajustement des paramètres Param.VIS au cours de cette étape. Les étapes S10 à S90 sont répétées jusqu’à ce que les paramètres convergent suffisamment, selon un critère établi par l’opérateur du système SYS, ou bien qu’un niveau de performance attendu du système soit atteint. Une fois les paramètres ajustés, le système est prêt à être employé pour le tri d’articles dans le système réel. Le procédé 200 de manipulation est illustré par la FIG. 6 . A une étape S210, dans le système SYS, des articles IT sont amenés sur la zone de prélèvement par l’unité de déplacement d’article CONV, sur la base des paramètres Param.ALIM ajustés. A une étape S220, le capteur d’image CAM1 capture une image numérique IMG.Real de la zone de prélèvement et une carte topographique de cette zone de prélèvement est générée, incluant les articles qui ont été amenés à cette zone à l'étape S210, éventuellement au moyen d’une paire d’images numériques, cette image et cette carte sont stockées dans une mémoire du système informatique INF. A une étape S230, le bloc logique VIS analyse l’image numérique IMG.Real et la carte topographique de manière à détecter et isoler chacun des articles visibles, et calcule les caractéristiques individuelles CAR de chacun de ces articles, de manière similaire à l’étape S30 de la phase d’apprentissage à la différence près que des données réelles et non pas virtuelles ou de simulation sont cette fois-ci analysées. A une étape S240, le bloc logique PICK définit une stratégie STR de manipulation des articles en définissant le prochain article IT à manipuler sur la base des caractéristiques individuelles CAR des articles calculées à l’étape S230 et des paramètres opérationnels Param.PICK. A une étape S250, la stratégie définie à l’étape S240 est mise en œuvre : le bras manipulateur va saisir l’article qu’il a été décidé de saisir et le déplace jusqu’à sa destination sur l’inserteur INS. A une étape S260, le bloc logique ALIM détermine une stratégie de gestion de l’alimentation en articles de la zone de prélèvement, éventuellement sur la base de nouvelles données de description de la zone de prélèvement obtenues au moyen du capteur. La séquence d’étapes S210 à S260 se répète cycliquement tant qu’il y a des articles à traiter. Les étapes S230, S240, et S260 de mise en œuvre du système réel sont similaires aux étapes S30, S40 et S60 de la phase d’apprentissage, la seule différence tenant à l’origine des données employées : simulations (image, carte topographique) pour l’apprentissage 100 et données représentatives d’une situation réelle pour la mise en œuvre du procédé 200 de manipulation d’articles. Dans ce document, les figures ne sont pas nécessairement à l'échelle. Certaines caractéristiques et certains composants peuvent être représentés exagérés par rapport à d’autres composants ou sous une forme quelque peu schématique, et certains détails d'éléments conventionnels peuvent ne pas être représentés dans l'intérêt de la clarté et de la concision. Bien entendu l'invention n'est pas limitée au mode de mise en œuvre décrit et on peut y apporter des variantes de réalisation sans sortir du cadre de l'invention tel que défini par les revendications. Procédé (100) d’apprentissage par renforcement d’un système (SYS) de manutention individuelle d’articles, le système (SYS) comprenant une unité (CONV) de déplacement collectif des articles (IT) jusqu’à une zone de prélèvement (PickZ), un bras manipulateur (MA) configuré pour saisir et déplacer individuellement des articles (IT) situés dans la zone de prélèvement (PickZ), un capteur (CAM1) configuré pour acquérir des images représentatives de la zone de prélèvement (PickZ), le procédé comprenant la mise en œuvre des étapes suivante au moyen d’un système informatique (INF) : - simulation (S10) du système (SYS) dans état (S SYS ) ; - génération (S20) d’images numérique (IMG.Virt) représentatives de la zone de prélèvement du système simulé ; - analyse (S30) d’au moins une des images générées et calcul de caractéristiques (CAR) représentatives d’articles simulés visibles dans l’image générée ; - sur la base des caractéristiques calculées à l’étape (S30) d’analyse, détermination (S40) d’un article à saisir parmi les articles simulés et des trajectoires du bras manipulateur simulé pour aller saisir cet article et l’amener à une zone de dépose ; - simulation (S50) d’un effet sur l’état du système simulée de la manipulation de l’article à saisir par le bras manipulateur en réponse à la détermination (S40) ; - établissement (S70) d’un rapport (REP) indicatif (i) d’une durée représentative pour que le bras manipulateur aille saisir l’article à saisir et l’amène à la zone de dépose et (ii) de problèmes éventuellement rencontrés au cours de la manipulation simulée ; - génération (S80) d’une récompense (REC) sous forme d’un nombre en réponse au rapport (REP) ; et - ajustement (S90) de paramètres opérationnels du système, comprenant au moins des paramètres opérationnels (Param.PICK) du bras de manutention de l’étape de détermination en réponse la récompense (REC). Le procédé selon la revendication 1, dans lequel les paramètres opérationnels (Param.PICK) du bras manipulateur (MA) sont choisis parmi un choix d’un article à saisir parmi les articles (IT) simulés visibles et une configuration d’une tête (GH) de préhension du bras manipulateur (MA). Le procédé selon la revendication 1 ou 2, comprenant en outre une étape (S60) de détermination d’une stratégie d’alimentation en articles de la zone de prélèvement du système simulé au moyen de l’unité (CONV) de déplacement collectif des articles, l’étape (S90) d’ajustement des paramètres opérationnels du système comprenant en outre un ajustement de paramètres opérationnels (Param.ALIM) de l’unité (CONV) de déplacement collectif des articles. Le procédé selon la revendication 3, dans lequel les paramètres opérationnels (Param.ALIM) de l’unité (CONV) de déplacement collectif des articles sont choisis parmi des paramètres de contrôle de la mise en route et de l’arrêt d’un convoyeur, de modulation d’une vitesse de convoyage des articles, et d’égrenage des articles. Le procédé selon l’une quelconque des revendications 1 à 4, dans lequel le rapport (REP) est représentatif d’un temps nécessaire à la réalisation des actions du bras manipulateur, d’une longueur de trajets du bras manipulateur, d’un succès de la manipulation d’un article et des problèmes éventuellement rencontrés : prise multiple, collision, et/ou fly-out. 6. Le procédé selon l’une quelconques des revendications précédentes, dans lequel les problèmes éventuellement rencontrés sont choisis parmi une prise multiple d’articles par le bras de manutention, un fly-out d’article en cours de manipulation par le bras de manutention et une collision d’un article en cours de déplacement par le bras manipulateur. 7. Le procédé selon l’une quelconque des revendications 1 à 6, dans lequel l’étape (S40) de détermination des trajectoires du bras manipulateur simulé est effectuée au moyen d’un algorithme de recherche de chemin tel que l’algorithme de Dijkstra. Procédé (200) de manutention individuelle d’articles au moyen du système (SYS) ayant suivi le procédé d’apprentissage selon l’une quelconque des revendications 1 à 7, comprenant la mise en œuvre des étapes suivantes au moyen d’un système informatique (INF) : - capture (S220) d’une image numérique (IMG.Real) et génération d’une carte topographique de la zone de prélèvement (PickZ) au moyen d’un capteur (CAM1) ; - analyse (S230) de l’image numérique (IMG.Real) et de la carte topographique de manière à détecter et isoler des articles visibles dans l’image numérique (IMG.Real), et calcul de caractéristiques individuelles (CAR) de chacun de ces articles ; - définition (S240) d’un prochain article (IT) à manipuler sur la base des caractéristiques individuelles (CAR) des articles et des paramètres opérationnels (Param.PICK) ; et - en réponse à la définition (S240) du prochain article à manipuler, manipulation (250) du prochain article à manipuler au moyen du bras manipulateur (MA). Système (SYS) de mise en œuvre du procédé (200) de manutention individuelle d’articles selon la revendication 8, comprenant : - une zone de prélèvement (PickZ) ; - un capteur (CAM1) configuré pour acquérir des images représentatives de la zone de prélèvement (PickZ) ; - une première unité (CONV) de déplacement collectif d’articles configurée pour amener des articles à la zone de prélèvement (PickZ) ; - un bras manipulateur (MA) configuré pour manipuler individuellement des articles (IT) situés dans la zone de prélèvement ; et - un système informatique (INF) de mise en œuvre d’une application logique (APP) prévue pour le pilotage du bras manipulateur et de la première unité (CONV) de déplacement collectif d’articles.