Brevet FR3136723A1 — publié le 20231222

L’invention concerne un dispositif de détection de pluie (110) embarqué dans un véhicule comprenant un module d’acquisition d’image (111) configuré pour récupérer des données d’image provenant d’une caméra (101) de parebrise du véhicule, caractérisé en ce qu’il comporte en outre : - un module d’acquisition de son (112), configuré des données sonore provenant d’un microphone (102) dans l’habitacle du véhicule, - un module de perception (113) configuré pour utiliser les données d’image et les données sonore pour déterminer la présence de pluie. . Figure pour l’abrégé : Figure 1 Procédé et dispositif de détection de pluie L’invention concerne un dispositif de détection de pluie notamment sur un vitrage. Arrière-plan technologique Ce type de dispositif est utilisé pour détecter la pluie présente sur les vitrages de véhicules automobiles, pour permettre notamment le déclenchement automatique d'un essuie-glace. Il est connu d’utilisé un capteur de détection dédié au niveau du parebrise. Mais ce type de capteur renchéri le cout du véhicule. De plus en plus de véhicule sont équipés d’une caméra de parebrise utilisées par des systèmes d’aide à la conduite du véhicule. Il a été proposé d’utiliser cette caméra pour détecter la présence de pluie en se passant d’un capteur dédié sur le parebrise. Un tel système est notamment décrit dans le document US 2021/0101564. Ces systèmes ne donnent pas entière satisfaction car la fiabilité de la détection est inférieure à celle d’un capteur dédié. Un but de la présente invention est de pallier tout ou partie des inconvénients de l'art antérieur relevés ci-dessus. Un objet de la présente invention est de proposer une solution pour détecter la pluie efficacement sans augmenter le coût du véhicule, en particulier sans ajouter d'équipements dédiés. A cette effet, l’invention a pour objet, un dispositif de détection de pluie embarqué dans un véhicule comprenant un module d’acquisition d’image configuré pour récupérer des données d’image provenant d’une caméra de parebrise du véhicule, caractérisé en ce qu’il comporte en outre : - un module d’acquisition de son, configuré des données sonore provenant d’un microphone dans l’habitacle du véhicule, - un module de perception configuré pour utiliser les données d’image et les données sonore pour déterminer la présence de pluie. En utilisant deux sources de données distinctes l’invention permet d’améliorer la qualité de la détection de la pluie. En outre en utilisant des capteurs déjà présents dans le véhicule, permet d’obtenir un détecteur efficace sans utiliser d’équipement dédié et donc renchérir le coût du véhicule. Selon un premier mode de réalisation, le module de perception est configuré pour : - Combiner les données d’image et les données sonores, - Déterminer la présence de pluie à partir des données combinées en mettant en œuvre un réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage. Selon un deuxième mode de réalisation, le module de perception est configuré pour : - déterminer une première estimation de présence de pluie à partir des données d’image, en mettant en œuvre un premier réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage, - déterminer une deuxième estimation de présence de pluie à partir des données sonores en mettant en œuvre un deuxième réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage, - Déterminer la présence de pluie à partir de la première et la deuxième estimation. Selon un mode de réalisation de l’invention, le module de perception est configuré pour déterminer la présence de pluie à partir d’uniquement les données de l’un de la caméra et du microphone, lorsque l’autre de la caméra et du microphone est défectueux. Avantageusement, le module de détection (113) émet un signal d’actionnement des essuie-glaces (104) à destination d’un module de commande (103) d’essuie-glaces, lorsqu’il détermine la présence de pluie. L’invention concerne aussi un programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé selon l’invention. L’invention concerne aussi un procédé de détection de pluie par un dispositif embarqué dans un véhicule comprenant des étapes de : - Acquisition de données d’image provenant d’une caméra de parebrise du véhicule, - Acquisition de données sonore provenant d’au moins un micro de l’habitacle du véhicule, - Détermination, par un module de perception, de la présence de pluie à partir des données d’image et des données sonores. L’invention concerne aussi un véhicule comportant un dispositif de détection de pluie selon l’invention. Brève description des figures D’autres caractéristiques et avantages de l’invention ressortiront de la description des modes de réalisation non limitatifs de l’invention ci-après, en référence aux figures annexées, sur lesquelles : illustre de façon fonctionnelle un dispositif, selon un exemple de réalisation particulier de la présente invention ; illustre schématiquement un exemple de réalisation particulier de la présente invention ; La montre un exemple de réalisation d’un dispositif de détection de pluie selon l’invention. Le dispositif de détection de pluie 110, embarqué dans un véhicule, comprend un module d’acquisition d’image 111 configuré pour récupérer des données d’image provenant d’une caméra 101 de parebrise du véhicule. Le dispositif de détection de pluie 110 comporte aussi un module d’acquisition de son 112, configuré des données sonores provenant d’un microphone 102 dans l’habitacle du véhicule. Le dispositif de détection de pluie 110 comporte aussi un module de perception 113 configuré pour utiliser les données d’image et les données sonore pour déterminer la présence de pluie. Lorsqu’il détecte la présence de pluie, le module de perception 113 émet un signal à destination d’un contrôleur d’essuie-glaces 103 pour commander l’actionnement d’essuie-glaces du véhicules 104. Selon un premier mode de réalisation, dit de fusion précoce (ou early fusion en anglais), module de perception 113 est configuré pour : - Combiner les données d’image et les données sonores, - Déterminer la présence de pluie à partir des données combinées en mettant en œuvre un réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage. Le module de perception 113 s'appuie, par exemple, sur une approche par apprentissage qui permet d'entrainer un réseau de neurones à détecter la présence de pluie. Lors d’une étape d'apprentissage, le réseau de neurones évolue pour apprendre à reconnaitre un ensemble d'éléments caractéristiques qui permettent de confirmer la présence de pluie. L’étape d’apprentissage comprend la capture des données d'images et des données sonores représentatives de la présence ou non de pluie. Ces données acquises sont éventuellement traitées pour les formater et les coder selon un format et un codage déterminés. Chaque combinaison de données d’image et de données sonore est associée à la présence ou non de pluie pour constituer une base d'apprentissage. L’apprentissage met en œuvre un réseau de neurone à convolution profond recevant itérativement en entrée un couple de données (données d’image et données sonore / présence de pluie) de la base d'apprentissage et optimisant les coefficients du réseau de neurones. Les coefficients optimisés dans l'étape d'apprentissage, sont entrés comme paramètres dans un calculateur du véhicule implémentant ledit réseau de neurones et qui à partir des données acquises par la caméra et le micro et des coefficients optimisés, délivre une estimation de type de présence de pluie. Selon un deuxième mode de réalisation, dit de fusion tardive (ou late fusion en anglais), le module de perception 113 est configuré pour : - déterminer une première estimation de présence de pluie à partir des données d’image, en mettant en œuvre un premier réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage, - déterminer une deuxième estimation de présence de pluie à partir des données sonores en mettant en œuvre un deuxième réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage, - Déterminer la présence de pluie à partir de la première et la deuxième estimation. La première estimation est obtenue avec une approche par apprentissage qui permet d'entrainer le premier réseau de neurones à détecter la présence de pluie. Lors d’une étape d'apprentissage, le premier réseau de neurones évolue pour apprendre à reconnaitre un ensemble d'éléments caractéristiques qui permettent de confirmer la présence de pluie à partir de données d’image. La manière d'obtenir les informations d'apprentissage peut différer (tout en étant compatible) avec la manière d'utiliser le réseau sur le véhicule (par exemple, on peut entrainer le réseau avec des données issues d'une caméra de type 'labo', et utiliser une caméra optimisée pour le véhicule pour l'utilisation du premier réseau de neurones). L’étape d’apprentissage comprend la capture d'une pluralité d'images représentatives de la présence ou non de pluie sur le parebrise du véhicule ; Ces images acquises sont éventuellement traitées pour les formater et les coder selon un format et un codage déterminés. Chaque image est associée à la présence ou non de pluie pour constituer une base d'apprentissage. L’apprentissage met en œuvre un premier réseau de neurone à convolution profond recevant itérativement en entrée un couple de données (image capturée, présence de pluie) de la base d'apprentissage et optimisant les coefficients du premier réseau de neurones. Les coefficients optimisés dans l'étape d'apprentissage, sont entrés comme paramètres dans un calculateur du véhicule implémentant ledit premier réseau de neurones et qui à partir des images acquises par la caméra de parebrise du véhicule et des coefficients optimisés, délivre une estimation de type de présence de pluie. Comme pour la première estimation, la deuxième estimation est obtenue avec une approche par apprentissage qui permet d'entrainer le deuxième réseau de neurones à détecter la présence de pluie. Lors d’une étape d'apprentissage, le deuxième réseau de neurones évolue pour apprendre à reconnaitre un ensemble d'éléments caractéristiques qui permettent de confirmer la présence de pluie à partir de données sonores. La manière d'obtenir les informations d'apprentissage peut différer (tout en étant compatible) avec la manière d'utiliser le réseau sur le véhicule (par exemple, on peut entrainer le deuxième réseau avec des données issues d'un micro de type 'labo', et utiliser un micro optimisé pour le véhicule pour l'utilisation du deuxième réseau de neurones). L’étape d’apprentissage comprend la capture d'une pluralité d’échantillons sonores représentatifs de la présence ou non de pluie à l’extérieur du véhicule ; Ces échantillons sonores acquis sont éventuellement traités pour les formater et les coder selon un format et un codage déterminés. Chaque échantillon sonore est associé à la présence ou non de pluie pour constituer une base d'apprentissage. L’apprentissage met en œuvre un deuxième réseau de neurones à convolution profond recevant itérativement en entrée un couple de données (échantillon sonore capturé, présence de pluie) de la base d'apprentissage et optimisant les coefficients du deuxième réseau de neurones. Les coefficients optimisés dans l'étape d'apprentissage, sont entrés comme paramètres dans un calculateur du véhicule implémentant ledit deuxième réseau de neurones et qui à partir des échantillons sonores acquis par le micro dans l’habitacle du véhicule et des coefficients optimisés, délivre une estimation de type de présence de pluie. Le module de détection 113 est configuré pour utiliser la première et la deuxième estimation pour déterminer la présence de pluie. Ce module utilise par exemple une méthode de fusion de données selon l’art connu. Le premier et le deuxième réseau de neurones produisent, par exemple, chacun un vecteur en sortie. Il est ensuite possible de calculer la distance entre les deux vecteurs, puis à partir de cette distance de faire une classification. Lorsqu’il détecte la présence de pluie, le module de détection 113 émet un signal à destination d’un contrôleur d’essuie-glaces 103 pour commander l’actionnement d’essuie-glaces du véhicules 104. Selon une caractéristique de l’invention, le module de perception 113 est configuré pour déterminer la présence de pluie à partir d’uniquement les données de l’un de la caméra et du microphone, lorsque l’autre de la caméra et du microphone est défectueux. Autrement dit, lorsque la caméra est en panne, le module de perception est capable de fonctionner de façon dégradée et de déterminer la présence de pluie uniquement avec les données sonores provenant du micro. Inversement, lorsque le micro est en panne, le module de perception est capable de fonctionner de façon dégradée et de déterminer la présence de pluie uniquement avec les données d’image provenant de la caméra. L’invention concerne aussi un procédé de détection de pluie par un dispositif 110 embarqué dans un véhicule comprenant des étapes de : Acquisition de données d’image provenant d’une caméra de parebrise du véhicule, Acquisition de données sonore provenant un micro de l’habitacle du véhicule, Détermination, par un module de perception 113, de la présence de pluie à partir des données d’image et des données sonore. La représente un exemple de dispositif de détection de pluie 301 compris dans le véhicule, dans un réseau (« cloud ») ou dans un serveur. Ce dispositif 301 peut être utilisé en tant que dispositif centralisé en charge d’au moins certaines étapes du procédé décrit ci-après en référence à la . Ce dispositif 301 peut prendre la forme d’un boitier comprenant des circuits imprimés, de tout type d’ordinateur ou encore d’un téléphone mobile (« smartphone »). Le dispositif 301 comprend une mémoire vive 302 pour stocker des instructions pour la mise en œuvre par un processeur 303 d’au moins une étape du procédé tel que décrit ci-avant. Le dispositif comporte aussi une mémoire de masse 304 pour le stockage de données destinées à être conservées après la mise en œuvre du procédé. Le dispositif 301 peut en outre comporter un processeur de signal numérique (DSP) 305. Ce DSP 305 reçoit des données pour mettre en forme, démoduler et amplifier, de façon connue en soi ces données. Le dispositif 301 comporte également une interface d’entrée 306 pour la réception des données mises en œuvre par le procédé selon l’invention et une interface de sortie 307 pour la transmission des données mises en œuvre par le procédé selon l’invention. Dispositif de détection de pluie (110) embarqué dans un véhicule comprenant un module d’acquisition d’image (111) configuré pour récupérer des données d’image provenant d’une caméra (101) de parebrise du véhicule, caractérisé en ce qu’il comporte en outre : - un module d’acquisition de son (112), configuré pour récupérer des données sonore provenant d’un microphone (102) dans l’habitacle du véhicule, - un module de perception (113) configuré pour utiliser les données d’image et les données sonore pour déterminer la présence de pluie. Dispositif de détection de pluie (110) selon la revendication 1, dans lequel le module de perception (113) est configuré pour : - Combiner les données d’image et les données sonore, - Déterminer la présence de pluie à partir des données combinées en mettant en œuvre un réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage. Dispositif de détection de pluie selon la revendication 1, dans lequel le module de perception (113) est configuré pour : - déterminer une première estimation de présence de pluie à partir des données d’image, en mettant en œuvre un premier réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage, - déterminer une deuxième estimation de présence de pluie à partir des données sonores en mettant en œuvre un deuxième réseau de neurones à convolution profond comportant des coefficients optimisés lors d’une étape d’apprentissage, - Déterminer la présence de pluie à partir de la première et la deuxième estimation. Dispositif de détection de pluie selon l’une des revendications précédentes, dans lequel le module de perception (113) est configuré pour déterminer la présence de pluie à partir d’uniquement les données de l’un de la caméra ou du microphone, lorsque l’autre de la caméra ou du microphone est défectueux. Dispositif de détection de pluie selon l’une des revendications précédentes, dans lequel le module de détection (113) émet un signal d’actionnement des essuie-glaces (104) à destination d’un module de commande (103) d’essuie-glaces, lorsqu’il détermine la présence de pluie. Procédé de détection de pluie par un dispositif (110) embarqué dans un véhicule comprenant des étapes de : Acquisition de données d’image provenant d’une caméra de parebrise du véhicule, Acquisition de données sonores provenant d’au moins un micro de l’habitacle du véhicule, Détermination, par un module de perception (113), de la présence de pluie à partir des données d’image et des données sonores. Programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé selon la revendication précédente. Véhicule comportant un dispositif de détection de pluie selon l’une des revendications 1 à 5.