Brevet FR2658624A1 — publié le 19910823

L'invention est née avec la mise au point d'un robot de cueillette de fruits. Un robot de cueillette de fruits, tels que des pommes, comprend un chariot, automobile pas à pas entre deux haies ou rangées d'arbres, avec au moins une plate-forme, mobile verticalement, qui porte une caméra de détection de fruits et un bras de cueillette, au moins un panier de récolte élémentaire, au moins une palette de récolte globale et une centrale de commande de la caméra et du bras. Le panier de récolte élémentaire est à priori destiné à recevoir tous les fruits d'un même arbre. Quand il est plein, il est déversé dans la palette. Quand celle-ci est pleine et avant d'être remplacée par une autre, se trouvant avantageusement déjà à bord du chariot, elle est déplacée par un convoyeur et déposée dans l'allée entre les deux rangées d'arbres où il ne reste plus qu'à l'emporter sur un chariot élévateur. Au panier et à la palette sont associés des moyens de vérification de leur remplissage, généralement à ultrasons. Le chariot de récolte automoteur est doté d'un système automatique de guidage, plus précisément de centrage, entre les feuillages des deux rangées d'arbres, également à ultrasons. A chaque pas, la caméra prend une série de vues de scènes, une après chaque cueillette d'un fruit. Pour chaque vue, la centrale de commande saisit les fruits qui y apparaissent, détermine leurs coordonnées et lance le bras de cueillette, tout en optimisant ses déplacements. Quand plus aucun fruit n'apparait sur une vue d'une même scène, la caméra change de scène, deux scènes successives se recouvrant verticalement, jusqu'à ce que tous les fruits d'un même pas soient cueillis, après quoi le chariot avance d'un pas. Les coordonnées des fruits d'une scène sont déterminées dans un plan vertical parallèle à la rangée d'arbres dont les fruits sont cueillis. La cueillette d'un fruit s'effectue en dirigeant sensiblement perpendiculairement au plan de coordonnées l'extrémité de préhension du bras de cueillette sur le point de coordonnées du fruit. L'extrémité du bras est lancée à vitesse accélérée. Sous l'action d'un détecteur à ultrasons, elle décélère à proximité du fruit. La cueillette s'effectue par aspiration du fruit et l'arrêt de l'extrémité du bras est provoqué par la variation de pression. Une fois le fruit aspiré et cueilli, il est déposé dans le panier. La saisie des fruits n'est pas facile en raison des conditions d'éclairage fluctuantes dues au soleil et aux nuages, des ombres portées et des contre-jours. En outre, les images détectées par la caméra peuvent devenir floues à cause du vent. Or le seuil de décision de la présence d'un fruit, dans la centrale de commande, ne peut raisonnablement pas varier. Bref, l'observation de scènes dans des conditions naturelles pose un problème dès lors qu'il n'est pas possible, comme dans les applications industrielles, d'utiliser des enceintes et autres dispositifs d'étanchéité à la lumière. L'utilisation de moyens d'éclairage supplémentaires, tels que flashes ou lampes de forte puissance, résoud en partie le problème, mais celui-ci subsiste quand-même. La présente invention vise donc à le résoudre de façon satisfaisante. Les sources naturelles d'éclairage sont de forte puissance - environ 900 Wm 2 pour le soleil - et continues. L'énergie reçue de ces sources est une fonction linéaire du temps t. En considérant une caméra de prise de vues à capteur de type CCD, on a représenté, sur la figure 1, les droites représentatives de l'énergie E reçue, en fonction du temps d'observation, par le capteur, abstraction faite du phénomène de sa saturation, et provenant du soleil vu en direct (Es), du ciel vu en direct (Ec) et d'une scène ambiante (EA). Les sources artificielles d'éclairage sont de puissance faible ou forte, selon ces sources, mais l'énergie reçue d'elles n'est pas nécessairement une fonction linéaire du temps. En considérant un flash, et en référence à la figure 2, la courbe représentative de la puissance émise P présente, depuis l'origine, une montée quasiment linéaire jusqu'au maximum, qui peut, par exemple au temps t = 0,1 ms, atteindre 300 kWm 2 pour les flashes du commerce, puis une descente exponentielle. Par intégration, on peut déduire, de la courbe de la figure 2, la courbe EF représentative de l'énergie renvoyée par la scène ambiante éclairée par le flash et reçue par le capteur et la reporter sur la figure 1. En fait, les courbes de la figure 1 sont obtenues par analyse photométrique.Pour fixer les idées, les courbes ES et EF peuvent se couper pour une valeur de t voisine de 10 ms. Ces constatations étant faites, la demanderesse propose son invention. La présente invention concerne un système de détection d'objets à localiser dans une scène, comprenant une caméra de prise de vues, un flash et des moyens de traitement d'images, caractérisé par le fait que la caméra est une caméra du type à capteur CCD et à temps d'intégration variable et les moyens de traitement d'images comprennent des moyens pour déclencher le flash de façon synchrone avec les périodes d'intégration de la caméra et l'arrêter pour qu'il ne délivre que 1 l'énergie nécessaire pendant ces périodes d'intégration. Grâce à ces caractéristiques du système de détection de l'invention, la qualité des images obtenues, et donc de la détection des objets à localiser, est quasiment indépendante des conditions météorologiques et de l'éclairage. De préférence, les moyens de déclenchement et d'arrêt du flash sont agencés pour arrêter le flash au top de transfert d'une trame de balayage sur deux de la caméra et le déclencher un peu avant le début d'intégration des trames considérées de la caméra. De préférence encore, le fonctionnement du flash est déclenché pendant les trames de balayage impaires de la caméra. De préférence toujours, le flash est commandé par une bascule monostable à temporisation variable, elle-même contrôlée par les dits moyens de déclenchement et d'arrêt. Avantageusement, le système de détection d d'objets est utilisé dans un robot de cueillette, notamment de fruits. Dans ce cas, le robot de cueillette peut comprendre, outre le système de détection, un bras de cueillette associé à la caméra, un bloc de gestion de cueillette, un bloc de commande du bras commandé par le bloc de gestion de cueillette, un bloc de gestion du robot, un bloc de guidage du robot et un bloc de manutention commandés par le bloc de gestion du robot. L'invention sera mieux comprise à l'aide de la description suivante d'un robot de cueillette comprenant le système de détection de l'invention, en référence aux dessins annexés, sur lesquels - la figure 1 représente différentes courbes d'énergies reçues par un capteur CCD suivant plusieurs éclairages; - la figure 2 représente la courbe d'émission du rayonnement lumineux d'un flash; - la figure 3 représente schématiquement un robot de cueillette de fruits; - la figure 4 représente le schéma fonctionnel du robot de la figure 3; - la figure 5 représente le schéma fonctionnel du bloc de traitement d'images et d'un groupe de prise de vues du robot de la figure 3;; - les figures 6A - 6F représentent les sifférents signaux échangés entre le bloc de traitement d'images et le groupe de prise de vues de la figure 5 et - la figure 7 représente la bascule monostable à temporisation variable de commande du flash. Comme cela a été souligné dans le préambule de cette description, l'invention est née avec la mise au point d'un robot de cueillette de fruits. Bien qu'il ne s'agisse donc pas de la seule application possible de l'invention, celleci va quand même être décrite, pour mieux la faire comprendre, dans cette application. Toutefois, certains des éléments du robot de cueillette ne seront que très succinctement abordés, soit parce qu'ils sont connus de l'homme du métier, soit parce que leur description détaillée serait parfaitement inutile à la compréhension de l'invention même. Le robot, schématiquement représenté à la figure 3, est un engin, ou chariot, automobile monté sur roues, sur le châssis 1 duquel est fixée une potence principale 2 et sur lequel est monté un convoyeur 3. Une plate-forme élévatrice 4 est montée, mobile verticalement, sur la potence 2 et reçoit deux groupes 5, 6 de prise de vues et de cueillette, respectivement pour les deux rangées d'arbres entre lesquelles le robot doit évoluer. Chaque groupe comporte une caméra de prise de vues 7, un flash 14, un bras de cueillette 8 et un panier de récolte élémentaire 9. Sous les groupes de cueillette est disposée une palette de récolte 10. Sur le châssis 1 est fixée une plate-forme secondaire 11 de réception d'une deuxième palette 12, en attente de remplacement de la palette 10 après son remplissage.La potence 2 supporte également une centrale 13 de commande, de traitement, de gestion et de guidage. En fait, la palette 10, à l'aide d'un sabot, avait été tirée de la plate-forme 11 sur une fourche élévatrice en position haute, non représentée, par souci de clarté, sur la figure 3. Sur celle-ci, la palette 10 est en position basse, avant d'être poussée par le sabot sur le convoyeur 3 pour évacuation. La centrale 13, en référence à la figure 4, comporte, schématiquement, et en ne considérant qu'un seul des groupes de cueillette, un bloc 5, 6 (7, 14) de prise d'images, un bloc 16 de détection d'objets, en l'occurence des fruits, et ici des pommes, relié au bloc 5, 6, un bloc 17 de gestion de cueillette, relié au bloc 16 et contrôlant un bloc 18 de commande d'un bras 8. Un bloc 19 de gestion du chariot porteur, relié au bloc de gestion de cueillette 17 contrôle un bloc de guidage 20 et un bloc 21 de manutention et de commande de la plate-forme 4, de la fourche élévatrice, du sabot et du convoyeur 3. Chaque groupe de prise d'images 5, 6 comporte donc une caméra de prise de vues 7, un flash 14 et, en outre, un module 22 de commande du flash. La caméra 7 est du type à capteur CCD et à temps d'intégration variable, la demanderesse ayant utilisé ici une caméra TM 760 de la Société PULNIX, dont le temps d'intégration peut varier de 100 fis à 20 ms. Quant au flash utilisé, il s'agit ici d'un flash 60 CT4 de la Société METZ. Le bloc de détection 16 comporte essentiellement un module 23 de traitement d'images, du commerce, celui adopté en l'espèce étant un module D256 de la Société IRI VISION. Le module de commande de flash 22, en l'espèce, est une bascule monostable à temporisation programmable. Le module de traitement d'images 23, la caméra 7 et la bascule de commande de flash 22 sont reliés entre eux par un bus parallèle 24. Les tops de synchronisations verticale et horizontale de la caméra sont envoyés par le module 23 sur deux liaisons 25, 26. Les tops de commande du flash sont envoyés par le module 23 à la bascule monostable 22 sur une liaison 27. La caméra 7 délivre son signal vidéo au module de traitement d'images 23 sur une liaison 38 (figure 5). L'éclairage par le flash 14 de chaque scène, et donc des diodes photosensibles du capteur CCD de la caméra 7, s'effectue en fin de chaque trame impaire du balayage de la caméra. Les courants de détection sont intégrés pendant sensiblement le temps d'éclairage et ainsi transformés en une certaine quantité de charges. Ces charges, stockées dans des puits de stockage, sont ensuite transférées, pendant la trame paire suivante, dans des puits de lecture. La figure 6A représente le signal de synchronisation trame de la caméra, avec des tops de début et de fin de trame décalés ici de T = 20 ms (standard CCIR). La figure 6B représente le signal de transfert des charges intégrées, avec des tops de transfert concomitants avec des tops de synchronisation trame à des instants t; (modulo T) définis ci-après. La figure 6C représente le signal de commande de déclenchement du flash, avec des tops de commande légèrement antérieurs, d'une durée cÇ, , ici de 0,1 ms, aux débuts ti des temps d'intégration z des trames impaires. La figure 6D représente le signal de commande d'arrêt du flash, avec des tops d'arrêt concomitants avec les tops de transfert de fin de trame impaire. En se reportant à la figure 1, on constate qu'il est facile, en réglant le temps d'intégration ?D, de rendre la lumière naturelle (EC + EA), hormis celle du soleil en direct (Es) et pour ce qui concerne les niveaux de gris, négligeable par rapport à la lumière due au flash et réfléchie par la scène, avec une fin du temps d'intégration antérieure à l'instant où les courbes EF et Es se coupent. Il est aussi facile, en réglant le début du temps d'intégration un peu après le déclenchement du flash, soit un temps S après, de s'affranchir du bruit. La figure 6E représente la puissance émise par le flash entre les tops de déclenchement et d'arrêt, c'est-à-dire une portion de la courbe de la figure 2. La figure 6F représente le signal vidéo fourni par la caméra, dont seule la portion comprise entre les instants ti et ti + z est donc prise en compte. En définitive, le flash est déclenché de façon synchrone et parfaitement contrôlée avec les périodes d'intégration de la caméra et il est arrêté pour ne délivrer que l'énergie nécessaire pendant ces périodes d'intégration. Il en résulte un gain important sur le temps de recharge du flash et par conséquent sur la durée de cycle du procédé d'acquisition des images. On adapte le temps d'intégration à å la scène à observer, à sa distance, aux conditions de filtrage, notamment, de façon à réduire au minimum la durée d'éclairage et donc son énergie et à pouvoir définir l'ouverture du diaphragme de la caméra pour disposer d'une bonne profondeur de champ et d'une dynamique de scène correcte, sans saturation excessive ni amplitude des niveaux d'éclairement trop faible. A titre purement d'exemple, la demanderesse a réalisé des essais avec des pommes "golden", avec un temps d'intégration de 100 pus et une ouverture de 5, 6 et avec un temps d'intégration de 250 ps et une ouverture de 8, ainsi qu'avec des pommes "reine de reinette", avec un temps d'intégration de 100 ps et une ouverture de 2,8, avec un temps d'intégration de 250 ps et une ouverture de 4 et avec un temps d'intégration de 500 jis et une ouverture de 5,6. Lors de ces cinq expériences, les images obtenues étaient quasiment les mêmes, indépendemment des conditions météorologiques et d'éclairage, de jour comme de nuit. Le module de traitement d'images 23 est paramétré avec les données de la caméra, telles qu'elles viennent d'être définies. Les tops de déclenchement du flash, comme indiqué cidessus, sont fournis à travers la liaison 27 et la bascule monostable proprement dite 28, en l'occurence du commerce, par le module de traitement d'images 23. Les tops d'arrêt du flash sont fournis par la bascule 28 contrôlée, à cet effet, par l'intermédiaire du bus 24 et en fonction du temps d'intégration, par le module de traitement d'images 23. La temporisation de la bascule monostable 28 est déterminée par un code, représentatif du temps d'intégration et fourni sur le bus 24, qui commande un commutateur 29 qui connecte une résistance particuliere d'un jeu de résistances 30 en série entre une source de tension V et un condensateur 31, dont le temps de charge, fonction de la valeur de la résistance en série, définit la temporisation (figure 7). La bascule 28 contrôle la fermeture et l'ouverture d'un interrupteur 32 en série avec la lampe 33 du flash 14. Les coordonnées des objets détectés, selon deux ou trois dimensions, sont fournies de manière classique par le module de traitement d'images 23. - On se reportera utilement aux articles suivants : "M.K. Hu, Visual pattern recognition hy moment invariants, IRE Trans. Inf. Theory, IT - 8, 2, February 1962, 179-187" et "F.L. Alt, Digital pattern recognition by moments, JACM, 9, 2, April 1962, 240-258". Sommairement, après numérisation des pixels sur plusieurs bits, afin de détecter plusieurs niveaux de gris, et au-delà d'un seuil déterminé, on isole, par analyse de connexité, les taches correspondant aux objets et on détermine les centres de gravité. Quant au bras de cueillette, il peut, d'une part, pivoter et être déplacé en translation parallèlement à lui-même dans un plan et, d'autre part, tourner sur lui-même. Revendications 1. Système de détection d'objets à localiser dans une scène, comprenant une caméra de prise de vues, un flash et des moyens de traitement d'images, caractérisé par le fait que la caméra est une caméra (7) du type à capteur CCD et à temps d'intégration variable et les moyens de traitement d'images (16) comprennent des moyens (23) pour déclencher le flash (14) de façon synchrone avec les périodes d'intégration de la caméra (7) et l'arrêter pour qu'il ne délivre que l'énergie nécessaire pendant ces périodes d'intégration. 2. Système de détection selon la revendication 1, dans lequel les moyens (23) de déclenchement et d'arrêt du flash (14) sont agencés pour arrêter le flash au top de transfert d'une trame de balayage sur deux de la caméra (7) et le déclencher un peu avant le début d'intégration des trames considérées de la caméra. 3. Système de détection selon l'une des revendications 1 et 2, dans lequel le fonctionnement du flash (14) est déclenché pendant les trames de balayage impaires de la caméra (7). 4. Système de détection selon l'une des revendivations 1 à 3, dans lequel le flash (14) est commandé par une bascule monostable (22) à temporisation variable, elle-même contrôlée par les dits moyens de déclenchement et d'arrêt (23). 5. Robot de cueillette, caractérisé par le fait qu'il utilise le systeme de détection de l'une des revendications 1 à 4. 6. Robot selon la revendication 5, dans lequel il est prévu, outre le système de détection, un bras de cueillette (8) associé à la caméra (7), un bloc (17) de gestion de cueillette, un bloc (18) de commande du bras commandé par le bloc (17) de gestion de cueillette, un bloc (19) de gestion du robot, un bloc (20) de guidage du robot et un bloc (21) de manutention commandés par le bloc de gestion du robot (19).