Brevet FR3103941A1 — publié le 20210604

L’invention concerne un procédé de détermination de la position relative d’un préhenseur comportant des organes allongés mâles (1, 2) par rapport à un récepteur comportant des logements femelles complémentaires desdites organes allongés (1, 2) comprenant, les étapes suivantes : - l'acquisition répété d'une image d'un environnement physique, dans le champ d’une caméra (10), - pour chaque pixel de ladite image, convertir l'emplacement bidimensionnel du pixel dans le plan de ladite image et la valeur de profondeur de l’image en un point tridimensionnel correspondant à un pixel étant défini par trois composantes de coordonnées (x , y, z). Figure de l’abrégé : figure 1 PROCEDE DE DETERMINATION DE LA POSITION RELATIVE D’UN PREHENSEUR DOMAINE DE L'INVENTION La présente invention concerne de manière générale les véhicules de manutention présentant une fourche de préhension d’une palette, et plus particulièrement un système d'imagerie et de localisation d'une palette à prélever par le véhicule. CONTEXTE DE L'INVENTION Dans un entrepôt ou un centre de distribution classique, les articles en stock palettisés sont stockés dans des étagères ou autres structures de stockage alignées de chaque côté d'allées généralement longues et parallèles. Pour maximiser l'espace disponible, il est fréquent que plusieurs structures de stockage soient empilées verticalement, de sorte que le stock puisse être stocké à des hauteurs élevées. En conséquence, un opérateur d'un véhicule de manutention qui récupère et/ou range un stock peut être amené à regarder vers le haut depuis une position de fonctionnement du véhicule pour identifier la hauteur et la position latérale des fourches pour récupérer ou ranger le stock. Au moment du travail de positionnement, le conducteur doit manipuler le levier de levage tout en vérifiant avec les yeux si les fourches sont positionnées sur des trous dans la palette ou légèrement au-dessus de la surface du plateau en regardant vers le haut (3 à 6 mètres par exemple). Il est toutefois extrêmement difficile de déterminer si les fourches et une palette ou similaire sont positionnées horizontalement avec les yeux en regardant vers le haut depuis le bas, et même une personne qualifiée a besoin de temps pour ce positionnement. En cas de déplacement progressif des fourches vers une charge ou une crémaillère en manipulant, par exemple, le levier de levage, le travail doit être effectué avec précaution, réduisant ainsi l'efficacité de travail. Une formation approfondie peut être nécessaire pour effectuer efficacement les ajustements de positionnement nécessaires. Même avec une capacité suffisante, un positionnement correct peut prendre plus de temps que souhaité pour une utilisation efficace du véhicule de manutention et de l'opérateur. De plus, dans les entrepôts ou autres environnements de manutention utilisant des véhicules entièrement autonomes pour prélever ou placer des articles, la disposition et le positionnement des étagères et des palettes ont tendance à être rigoureusement espacés et espacés horizontalement. Certains chariots-élévateurs récents comportent une caméra attachée au chariot pour permettre au conducteur de voir une image d'un rack ou d'une palette vue devant les fourches via l'écran d'un dispositif d'affichage au siège du conducteur afin de résoudre le problème ci-dessus. Cet appareil facilite le travail de positionnement des fourches en hauteur. La caméra est fixée à la partie d'extrémité distale ou à la partie latérale des fourches ou à une position prédéterminée du mât. État de la technique On connaît dans l’état de la technique différentes solutions utilisant une caméra pour aider le conducteur d’un engin de manutention à positionner la fourche par rapport à une palette. On connaît notamment le brevet européen EP3000771 décrivant le principe général d’un chariot élévateur à fourche comprenant un support de charge, un détecteur optique ayant un premier champ de vision et agencé pour fournir une sortie, dans lequel le détecteur optique peut être déplacé avec le support de charge, une unité d'analyse optique agencée pour analyser la sortie dudit détecteur optique, caractérisé en ce que l'unité d'analyse optique est agencée pour analyser la sortie du détecteur optique de manière à identifier un premier objet tridimensionnel, ledit premier objet tridimensionnel étant le support de charge, et un deuxième objet tridimensionnel sur la base de la sortie du détecteur optique, et à déterminer la position tridimensionnelle du support de charge identifié par rapport au deuxième objet tridimensionnel identifié. Le brevet américain US7320385 décrit un véhicule industriel équipé d'un appareil de manutention de fret pour soulever et descendre un chariot de transport de marchandises le long d'un mât prévu sur une carrosserie de véhicule et un système de levage d’une caméra pour capter une image d'une zone de travail de l'appareil de transport de marchandises. Le mécanisme de déplacement déplace la caméra par rapport à l'appareil de transport de marchandises. Le brevet européen EP1641704 décrit un autre exemple de dispositif de détection pour chariot élévateur à fourche, constitué par un capteur de charge mobile permettant la reconnaissance et la surveillance d'une charge. Ce capteur de charge permet de détecter la charge, la fourche élévatrice et l'environnement situé en face du chariot élévateur à fourche. Les données détectées sont évaluées à l'aide d'une unité de calcul. Le brevet américain US9990535B2 décrit un procédé d'analyse d'une image comprenant: - l'acquisition, par un ordinateur, d'une image d'un environnement physique, dans laquelle l'image comprend une pluralité de pixels, chaque pixel comprenant un emplacement de pixel bidimensionnel dans un plan de l'image et une valeur de profondeur correspondant à une distance entre une région du environnement physique et plan de l'image; - pour chaque pixel, convertir l'emplacement de pixels bidimensionnel et la valeur de profondeur en un point tridimensionnel correspondant dans l'environnement physique, chaque point tridimensionnel correspondant à un pixel étant défini par trois composantes de coordonnées (x , y, z), dont chacune a une valeur en unités de mesure physiques; - déterminer un ensemble de points de bord dans la pluralité de points tridimensionnels sur la base, au moins en partie, de la composante de coordonnées z d'un ou de plusieurs de la pluralité de points; - générer une carte de distance, la carte de distance comprenant une matrice de cellules; - identifier pour chaque cellule de la carte de distance, un des points de bord les plus proches; - attribuer à chaque cellule de la carte de distance, une valeur de distance respective représentant une distance entre la cellule et le point de bord le plus proche de cette cellule; et en se basant sur les valeurs de distance respectives dans les cellules de la carte de distance, déterminer l'emplacement d'au moins une palette ou un rack dans l'environnement physique. Le brevet américain US9025827B2 concerne une autre solution de commande de fourches d'un véhicule. Pendant que les fourches du véhicule se déplacent verticalement, on procède aux étapes suivantes : - acquérir une série d'images d'une scène d'un environnement physique dans laquelle une pluralité de palettes sont visibles; identifier dans chaque image, par un système informatique, un ou plusieurs objets candidats notés, chacun correspondant potentiellement à une palette respective de la pluralité de palettes; - pour chacun des objets candidats notés, suivre, par le système informatique, un emplacement respectif dans chacune d'au moins deux images de la série; déterminer pour chacun des un ou plusieurs objets candidats notés une hauteur associée respective dans l'environnement physique. On connait aussi la demande de brevet EP3000773 décrivant un procédé pour chariot élévateur à fourche destiné à déterminer une position de chargement dans un râtelier de chargement, par l’intermédiaire de moyens de détection optique. On connaît également le brevet EP3000771 décrivant un chariot élévateur à fourche comprenant un détecteur optique ayant un premier champ de vision et agencé pour fournir une sortie, dans lequel le détecteur optique peut être déplacé avec le support de charge ainsi qu’une unité d'analyse optique agencée pour analyser la sortie dudit détecteur optique. L'unité d'analyse optique est agencée pour analyser la sortie du détecteur optique de manière à - identifier un premier objet tridimensionnel, ledit premier objet tridimensionnel étant le support de charge, et un deuxième objet tridimensionnel sur la base de la sortie du détecteur optique et - déterminer la position tridimensionnelle du support de charge identifié par rapport au deuxième objet tridimensionnel identifié. Inconvénients de l’art antérieur Les solutions de l’art antérieur sont basées sur une image de la face frontale d’une palette acquise dans le référentiel de la fourche par une caméra, généralement mobile en hauteur et éventuellement transversalement, par rapport à la fourche. Toutefois, pour obtenir la précision de la position calculée est fortement dépendante de la position angulaire de la caméra par rapport à la fourche. En effet, la précision de la position relative de la fourche par rapport à la palette doit être de l’ordre de quelques millimètres. Pour une distance caméra-palette typiquement de trois mètres, un désalignement angulaire de 2° de la caméra se traduit par une erreur de position calculée de 100 millimètres. Solution apportée par l’invention Afin de répondre à cet inconvénient, l’invention propose selon son acception la plus générale un procédé de détermination de la position relative d’un préhenseur comportant des organes allongés mâles par rapport à un récepteur comportant des logements femelles complémentaires desdites organes allongés comprenant, les étapes suivantes : - l'acquisition répété d'une image d'un environnement physique, dans le champ d’une caméra, - pour chaque pixel de ladite image, convertir l'emplacement bidimensionnel du pixel dans le plan de ladite image et la valeur de profondeur de l’image en un point tridimensionnel correspondant à un pixel étant défini par trois composantes de coordonnées (x , y, z), caractérisé en ce que la caméra est positionnée de sorte à ce que ladite image comprenne une partie au moins desdits organes males et une partie au moins desdits logements femelles et en ce qu’il comporte en outre : - une étape d’extraction de ladite image D’un premier ensemble de pixels correspondant audit préhenseur D’un premier ensemble de pixels correspondant audit récepteur une étape de localisation d’un référentiel Ref r dudit récepteur, constitué d’un trièdre de coordonnées cartésiennes d’une origine 0 r (x r ,y r , z r , A r , B r , C r ) dans le référentiel de ladite caméra dont l’origine correspond au point focal de ladite caméra et l’orientation de référence correspond à l’axe optique, ledit référentiel Ref r étant déterminé par rapport à un point de référence 0 r,réf sur un modèle numérique du récepteur une étape de localisation d’un référentiel Ref p dudit préhenseur, constitué d’un trièdre de coordonnées cartésiennes d’une origine 0 P (x p ,y p , z p , A p , B p , C p ) dans le référentiel de ladite caméra dont l’origine correspond au point focal de ladite caméra et l’orientation de référence correspond à l’axe optique, ledit référentiel Ref p étant déterminé par rapport à un point de référence 0 p ,réf sur un modèle numérique du préhenseur une étape de calcul de la distance cartésienne et l’orientation relatives entre ledit référentiel Ref r dudit récepteur et ledit référentiel Ref p dudit préhenseur . Le référentiel de la fourche n’est pas nécessairement confondu avec le référentiel de la caméra (jeu, réglage, alignement,…) Selon une première variante, ledit référentiel Ref p est déterminé par rapport à un point de référence 0 p ,réf sur un modèle numérique du préhenseur par un traitement de reconnaissance et de superposition d’au moins une zone caractéristique (arête, rectangle). Selon une deuxième variante, ledit référentiel Ref p est déterminé par rapport à un point de référence 0 p ,réf sur un modèle numérique du préhenseur par un traitement de reconnaissance et de superposition d’un profil ou d’une forme caractéristique de l’image de référence et l’image réelle. Avantageusement, ledit référentiel Ref p est déterminé par rapport à un point de référence 0 p ,réf sur un modèle numérique du préhenseur par un traitement de reconnaissance et de superposition homothétique d’un profil ou d’une forme caractéristique de l’image de référence et l’image réelle. Selon une première variante, l’image de référence et l’image réelle sont des images bidimensionnelles. Selon une deuxième variante, l’image de référence et l’image réelle sont des images tridimensionnelles. L’invention concerne aussi l’application du procédé selon l’invention pour la détermination de la position d’une fourche d’un engin de manutention par rapport à une palette. L’invention concerne également un engin de manutention comportant une fourche et une caméra d’acquisition d’une image de la zone de préhension de ladite fourche, ainsi qu’un calculateur pour l’exécution d’un traitement conforme à l’invention. De préférence, ladite caméra est mobile en hauteur et/ou latéralement. Avantageusement, la fourche est mobile latéralement. Description détaillée d'un exemple non limitatif de l'invention La présente invention sera mieux comprise à la lecture de la description détaillée d'un exemple non limitatif de l'invention qui suit, se référant aux dessins annexés où : la figure 1 représente une vue de face d’un engin de manutention selon l’invention la figure 2 représente un exemple d’image acquise par la caméra la figure 3 représente un exemple d’image d’une palette extraite depuis une image acquise par la caméra la figure 4 représente un exemple de reconnaissance d’angles et de barycentre sur une image de palette extraite depuis une image acquise par la caméra Description générale de l’engin de manutention La figure 1 représente une vue de face d’un engin de manutention selon l’invention dont les caractéristiques mécaniques sont usuelles, avec deux fourches (1, 2) supportées par un châssis (3) mobile verticalement par rapport à une potence (4). Le châssis (3) est prolongé par un cadre grillagé (5), protégeant le conducteur de l’engin et supportant à sa partie supérieure une caméra 360° (20) ou un lidar pour le positionnement de l’engin. Le châssis (5) supporte à sa partie inférieure une caméra (10) disposée en partie proximale (c’est-à-dire éloignée de l’extrémité des fourches (1, 2)) positionnée pour que son champ de prise de vue inclus une partie avant de l’une des fourches et la zone dans laquelle se trouve la partie frontale de la palette au moment de l’engagement de la fourche (1, 2). Cette caméra (10) est fixée sur une platine (11) mobile verticalement pour permettre son positionnement en dessous des fourches (1, 2) lorsque les fourches sont en position élevée (la distance entre l’axe optique de la caméra (10) et la surface inférieure des fourches (1, 2) est alors d’environ 300 mm), et son escamotage entre les fourches (1, 2) lorsque les fourches sont proches du sol. Image acquise par la caméra (10) La figure 2 représente un exemple d’image acquise par la caméra (10). On distingue l’image (31, 32) de l’extrémité des fourches respectivement (1, 2), et le contour de la face frontale de la palette, notamment les montants latéraux (33, 34) et médian (35), la face supérieure (38) et les ouvertures frontales des deux logements (36, 37) dans laquelle les fourches (1, 2) devront s’engager. Traitement de l’image acquise par la caméra (10) Le but des traitements est de caractériser les coordonnées tridimensionnelles de points caractéristiques (par exemple les barycentres des ouvertures frontales) de la palette et des fourches, à partir d’une image unique. Ces points caractéristiques sont ainsi déterminés dans le référentiel de la caméra, quelle que soit la position de la caméra par rapport à l’engin. Ces informations permettent ensuite de déterminer les écarts entre les coordonnées des points caractéristiques de la palette d’une part, et des points caractéristiques de la fourche d’autre part, puis de calculer la trajectoire des fourches pour minimiser ces écarts. Pour cela, on déterminer à partir de l’image acquise par la caméra (10) les coordonnées et les orientations en 6° de liberté de la fourche dans le référentiel caméra et les coordonnées et les orientations en 6° de liberté de la palette dans référentiel caméra. A partir de l’image dont la figure 2 représente un exemple, on procède à un filtrage de cette image avec un modèle numérique de la face frontale de la palette pour extraire l’image de la palette seule (figure 3). L’étape suivante consiste à procéder à un traitement de reconnaissance d’angles (41 à 48) et de barycentre (50, 51) des zones encadrées par les angles (41 à 44) et (45 à 48). Procédé de détermination de la position relative d’un préhenseur comportant des organes allongés mâles (1, 2) par rapport à un récepteur comportant des logements femelles complémentaires desdites organes allongés (1, 2) comprenant, les étapes suivantes : - l'acquisition répété d'une image d'un environnement physique, dans le champ d’une caméra (10), - pour chaque pixel de ladite image, convertir l'emplacement bidimensionnel du pixel dans le plan de ladite image et la valeur de profondeur de l’image en un point tridimensionnel correspondant à un pixel étant défini par trois composantes de coordonnées (x, y, z), caractérisé en ce que la caméra (10) est positionnée de sorte à ce que ladite image comprenne une partie au moins desdits organes males et une partie au moins desdits logements femelles et en ce qu’il comporte en outre : - une étape d’extraction de ladite image D’un premier ensemble de pixels correspondant audit préhenseur D’un premier ensemble de pixels correspondant audit récepteur une étape de localisation d’un référentiel Ref r dudit récepteur, constitué d’un trièdre de coordonnées cartésiennes d’une origine 0 r (x r ,y r , z r , A r , B r , C r ) dans le référentiel de ladite caméra dont l’origine correspond au point focal de ladite caméra et l’orientation de référence correspond à l’axe optique, ledit référentiel Ref r étant déterminé par rapport à un point de référence 0 r,réf sur un modèle numérique du récepteur une étape de localisation d’un référentiel Ref p dudit préhenseur , constitué d’un trièdre de coordonnées cartésiennes d’une origine 0 P (x p ,y p , z p , A p , B p , C p ) dans le référentiel de ladite caméra dont l’origine correspond au point focal de ladite caméra et l’orientation de référence correspond à l’axe optique, ledit référentiel Ref p étant déterminé par rapport à un point de référence 0 p ,réf sur un modèle numérique du préhenseur une étape de calcul de la distance cartésienne et l’orientation relatives entre ledit référentiel Ref r dudit récepteur et ledit référentiel Ref p dudit préhenseur . Procédé de détermination de la position relative selon la revendication 1 caractérisé en ce que ledit référentiel Ref r p est déterminé par rapport à un point de référence 0 r p ,réf sur un modèle numérique du préhenseur par un traitement de reconnaissance et de superposition d’au moins une zone caractéristique (arête, rectangle). Procédé de détermination de la position relative selon la revendication 1 caractérisé en ce que ledit référentiel Ref r p est déterminé par rapport à un point de référence 0 r p ,réf sur un modèle numérique du préhenseur par un traitement de reconnaissance et de superposition d’un profil ou d’une forme caractéristique de l’image de référence et l’image réelle. Procédé de détermination de la position relative selon la revendication précédente caractérisé en ce que ladite superposition est constituée par une superposition homothétique d’un profil ou d’une forme caractéristique de l’image de référence et l’image réelle. Procédé de détermination de la position relative selon la revendication 2 à 4 caractérisé en ce que l’image de référence et l’image réelle sont des images bidimensionnelles. Procédé de détermination de la position relative selon la revendication 2 à 4 caractérisé en ce que l’image de référence et l’image réelle sont des images tridimensionnelles. Application du procédé selon l’une quelconque des revendications précédentes pour la détermination de la position d’une fourche d’un engin de manutention par rapport à une palette. Engin de manutention comportant une fourche et une caméra d’acquisition d’une image de la zone de préhension de ladite fourche, ainsi qu’un calculateur pour l’exécution d’un traitement conforme à la revendication 1. Engin de manutention selon la revendication 8 caractérisé en ce que ladite caméra est mobile en hauteur. Engin de manutention selon la revendication 8 caractérisé en ce que la fourche est mobile latéralement.