Brevet FR3049746A1 — publié le 20171006

Procédé de détection de changement de couleur ou de l'état allumé ou éteint d'un élément prédéfini dans des images d'une séquence filmée. La présente invention concerne un procédé de détection de changement de couleur ou de l'état allumé ou éteint d'un élément prédéfini à reconnaître dans des images filmées. Plus particulièrement, selon un exemple possible, lesdites séquences filmées sont prises au cours d'assemblées/réunions de type conseil municipal ou assemblées d'édiles au cours desquelles des intervenants successifs prennent la parole au moyen d'un microphone qui leur fait face, et le but de l'invention est de pouvoir focaliser automatiquement au moins une des caméras couvrant l'événement sur celui qui parle. L'un des paramètres permettant de distinguer l'orateur est la bague de son micro, qui change de couleur ou passe de l'état éteint à l'état allumé lorsque le micro est activé pendant son intervention : elle peut être de couleur rouge lorsque le micro est inactif, et devenir verte ou bleue dans l'hypothèse où la personne parle. Alternativement, une LED située dans la bague du micro est éteinte lorsque le micro est inactif, et s'allume dans le cas contraire. Elle peut alors prendre une couleur rouge, verte ou bleue. Il faut donc reconnaître, dans les images filmées, l'emplacement du micro et de sa bague, pour pouvoir détecter son état ou un changement de couleur du rouge au vert/bleu, signifiant en pratique que les caméras doivent se focaliser sur la personne qui « occupe » ce micro. Pour aider à cette détection, on note que la zone de positionnement du micro est en réalité incluse dans ou au voisinage d'un objet plus grand, et dérivable de la reconnaissance dudit objet, lequel est de dimensions plus importantes que le micro et beaucoup plus aisé à reconnaître dans les images de la séquence vidéo enregistrée en temps réel que le micro. Dans 3049746 2 l'exemple choisi, il est beaucoup plus facile de reconnaître et de se focaliser dans un premier temps sur l'emplacement de la tête de la personne placée derrière le micro, sachant que la bague, positionnée au voisinage du capteur équipant l'extrémité libre 5 dudit micro, se trouve en tout état de cause dans ou au voisinage de cette zone plus vaste et plus facile à reconnaître que constitue le visage de l'intervenant. Ensuite, selon l'invention, le procédé de détection du changement de couleur de la bague d'un micro comporte les étapes suivantes : 10 - extraction à intervalles prédéterminés d'images de la séquence vidéo dans un premier format colorimétrique; - réduction des dimensions de chaque image par cadrage au moins vertical de l'objet (la tête dans l'exemple référent) dans lequel se situe l'élément, après 15 reconnaissance de l'objet ; - conversion de chaque image réduite du premier format colorimétrique en un second format colorimétrique à n composantes facilitant la détection du changement de couleur ; 20 - binarisation des images réduites par seuillage desdites composantes ; - calcul de l'image intégrale à partir de l'image réduite binarisée ; - recherche de zones lumineuses dans l'image intégrale en 25 traitant successivement des régions de celle-ci de surface prédéterminée de nxm pixels et en définissant des régions d'intérêt au-delà d'un nombre prédéterminé de pixels égaux à 1 ; - enregistrement des positions des régions d'intérêt dans 30 l'image ; - calcul de l'histogramme des composantes de l'image pour chaque région d'intérêt ; - comparaison avec les histogrammes des composantes de l'image d'un modèle d'élément (un microphone dans 3049746 3 l'exemple référent) prédéfini et calcul de la distance dL2 entre leurs classes ; si la distance dL2 est inférieure à une valeur seuil prédéterminée, enregistrement de la région d'intérêt 5 correspondante. La première étape consiste en pratique en l'extraction des images d'une vidéo ou d'un flux GStreamer. Dans le cas d'une vidéo, on extrait de la vidéo des images à intervalles fixes, avant 10 d'effectuer les traitements sur l'ensemble des images successivement. Dans le cas d'un flux GStreamer, une image est extraite à intervalle fixe et l'algorithme correspondant au procédé de l'invention défini ci-dessus est appliqué à chaque extraction. 15 Afin d'accélérer le temps de traitement pour chaque image, sa taille est réduite de préférence uniquement dans une dimension verticale, pour ne s'intéresser de fait qu'à la zone dans laquelle se trouve le microphone, située en l'occurrence entre le sommet de la tête des locuteurs et la table dans l'exemple choisi. 20 Une étape de lissage peut optionnellement être intercalée entre la réduction de l'image et sa conversion en un autre format. Selon une possibilité, le premier format colorimétrique est de préférence le format RGB et le second format colorimétrique est le format HSV. Le second format pourrait cependant également être 25 défini dans l'espace colorimétrique CIELAB. L'étape de seuillage consiste en fait en une segmentation de l'image, et s'effectue pour chacune des composantes (H,S,V) obtenues après la conversion ci-dessus. On obtient une image binaire qui met en exergue les zones de l'image ayant des 30 caractéristiques proches de celles des microphones, à savoir une teinte rouge, bleue ou verte, une saturation faible et une forte brillance. Plus précisément, cette étape de segmentation consiste à seuiller les composantes (H, S, V) de l'image « source » enregistrée, pixel 3049746 4 par pixel, afin d'obtenir une image « but » binaire à partir des pixels ayant une teinte, une saturation et une brillance définies chacune par au moins un seuil inférieur, et de préférence deux seuils supérieur et inférieur. Ainsi, la teinte sera par exemple 5 définie par des seuils angulaires par rapport au disque chromatique, en l'espèce selon les localisations des secteurs angulaires par exemple du vert, du bleu ou du rouge selon le cas. La saturation s'évaluera classiquement sur une échelle de 0 à 1, le ou les deux seuils étant en l'espèce par exemple définis dans 10 la première moitié allant de 0 à 0,5. Il en va de même pour ce qui concerne l'échelle de la brillance, avec un choix d'un ou deux seuil(s) dans ce cas évidemment plus proche de 1. On compare en pratique chaque pixel, pour chaque composante, avec les seuils définis. Si, pour un couple (x,y) définissant les 15 coordonnées d'un pixel, les valeurs mesurées dans les trois composantes sont supérieures au ou comprises entre les seuils prédéterminés, on enregistre la valeur 1, pour lesdites coordonnées (x,y), dans l'image « but » seuillée. Dans le cas contraire, on enregistre la valeur 0. 20 Après avoir ainsi évalué selon ces trois critères chaque pixel de l'image, on obtient par conséquent une image binaire où les pixels à 1 indiquent la position des pixels de l'image « source » ayant des caractéristiques optiques proches de celles qui sont définies et recherchées pour les microphones. 25 Le calcul de l'image intégrale de l'étape ultérieure du procédé permet d'obtenir rapidement le nombre de pixels égaux à 1 dans une zone en temps constant, quelle que soit la taille de ladite zone. Il suffit en effet de 4 accès à l'image pour connaître la somme des pixels de la zone. 30 Une image intégrale ii(x, y) (voir la formule d'obtention ci- dessous) conduit en effet à une représentation sous la forme d'une image de même taille que l'image d'origine (i), qui contient en chacun de ses points (x,y) la somme des pixels situés au-dessus et à gauche de ce point(x' x et y'y). 3049746 5 Afin de calculer la somme des pixels dans une zone, par exemple un rectangle ABCD de coordonnées (xA,yA; xs,ys ; xc,yc ; xi,,yD), seules 5 les valeurs des pixels A,B,C et D sont donc des pixels à l'intérieur du rectangle peut seulement 4 accès, de manière connue en soi, de la forme développée : nécessaires. La somme donc être évaluée en et comme cela résulte 10 La recherche de zones lumineuses s'effectue ensuite par parcours vertical des n pixels de la zone, puis des m pixels horizontaux si le nombre de pixels égaux à 1 est supérieur à un premier seuil partiel dans le trajet vertical. On définit ensuite des régions 15 d'intérêt et on enregistre leurs coordonnées au-delà d'un seuil global, c'est-à-dire un nombre prédéterminé de pixels égaux à 1 dans la zone étudiée. En pratique, les zones traitées pour la recherche de zones lumineuses ont par exemple une dimension de 20x20 pixels. Du fait 20 du caractère sélectif de l'opération de seuillage, ledit nombre prédéterminé qui a valeur de seuil pour la sélection des régions d'intérêt peut par exemple se monter à 20. En d'autres termes, les zones lumineuses sont mémorisées en régions d'intérêt si le seuil global de 20 pixels égaux à 1 est atteint ou dépassé. 25 Pour l'enregistrement des positions des régions d'intérêt dans l'image, des « coordonnées » d'une telle région doivent d'abord être précisées. Selon une possibilité, les positions des régions d'intérêt sont en l'espèce définies par les coordonnées supérieures gauche et aux coordonnées inférieures droite de la 30 région d'intérêt : il s'agit en fait des couples des coordonnées des deux pixels limitant une des diagonales de la région d'intérêt 3049746 6 (x,y ; x+20,y+20). Ces coordonnées sont ensuite enregistrées dans une matrice de résultat. Il est possible que certaines régions d'intérêt soient proches et il peut être intéressant, dans le cadre du procédé de l'invention, 5 de fusionner ces régions afin de ne comptabiliser qu'une seule détection dans la zone correspondante de l'image. Les régions d'intérêt proches sont en pratique fusionnées lorsque leur distance est inférieure à un seuil prédéterminé, par exemple égal à 20 pixels. 10 Les dernières étapes du procédé de l'invention sont décisives pour la détection puisqu'elles effectuent la comparaison avec un modèle préenregistré qui permet d'évaluer le résultat de la détection. Ainsi, pour chaque région d'intérêt définie, on calcule l'histogramme de l'image HSV que l'on compare avec l'histogramme 15 d'un modèle prédéfini de microphone. Il est ensuite, selon l'invention, procédé au calcul de la distance entre les classes de l'histogramme de l'image HSV et celles de l'histogramme du modèle préenregistré de microphone. Si la distance est satisfaisante, c'est-à-dire est en l'occurrence 20 inférieure à un certain seuil, la région d'intérêt correspondante est enregistrée, et la détection du changement de couleur est validée. Plus précisément, la construction de l'histogramme consiste à classer les données résultant de la distribution des brillances 25 des régions d'intérêt dans un nombre de classes au moins égal à 10. Les valeurs des pixels de l'image HSV étant comprises entre 0 et 1, les classes de l'histogramme comportent par conséquent des valeurs qui vont de 0 à 1. Une distribution selon 10 classes permet d'obtenir de bon résultats en terme de qualité de la 30 détection / performance. L'histogramme étant normalisé, la somme de toutes les classes est égale à 1. Le calcul de distance dL2 entre les classes revient donc à calculer la somme des différences entre les classes de 3049746 7 l'histogramme du modèle et les classes de l'histogramme de la région d'intérêt. Plus la somme des distances est faible, plus les deux objets sont statistiquement proches. Selon le procédé de l'invention, cette 5 somme des différences entre les classes desdits histogrammes est inférieure à une valeur seuil de 0,4. Un tel seuil représente un résultat acceptable, signifiant en pratique que les différences prises individuellement dans les 10 classes sont faibles et que les histogrammes dans leur ensemble sont donc proches. 10 L'invention va à présent être décrite plus en détail, en référence à l'unique figure annexée, qui représente un organigramme schématique du procédé de l'invention. En référence à la figure, le bloc images RVB (1) correspond à l'extraction à intervalles prédéterminés d'images de la séquence 15 vidéo dans un premier format colorimétrique RVB. La réduction de l'image (2) est réalisée par réduction des dimensions de chaque image par cadrage au moins vertical de l'objet dans lequel se situe le microphone, après reconnaissance de l'emplacement de la tête du locuteur. Une étape de lissage (3) est optionnellement 20 prévue avant la transformation colorimétrique (4) en un second format colorimétrique, par exemple le format HSV. Le seuillage (5) réalise la binarisation avant d'abord le calcul de l'image intégrale (6) puis la recherche de zones lumineuses (7) dans l'image intégrale en traitant successivement des régions de celle- 25 ci de surface prédéterminée de nxm pixels. Le procédé définit des régions d'intérêt au-delà d'un nombre prédéterminé de pixels égaux à 1 dans la région traitée. Une comparaison (8) des régions d'intérêt (ROI) s'effectue par calcul des histogrammes des composantes de l'image pour chaque région d'intérêt (ROI) puis 30 comparaison avec les histogrammes des composantes d'une image d'un modèle de référence et calcul de la distance entre leurs classes. Le test en (9) indique que si la distance en question, référencée dL2, est inférieure à une valeur prédéterminée, on procède à l'enregistrement (10) de la région d'intérêt correspondante. Une 3049746 8 éventuelle fusion (11) avec les régions d'intérêt proches peut être réalisée lorsque leur distance est inférieure à un seuil par exemple égal à 20 pixels, avant validation de la détection (12). Lorsque le test (9) est négatif, aucune détection n'est validée. 5 L'exemple tel que décrit en référence à l'unique figure n'est pas exhaustif de l'invention, qui englobe au contraire les variantes par exemples définies par des choix de valeurs de seuils proches des seuils tels que sélectionnés pour les calculs. REVENDICATIONS1. Procédé de détection de changement de couleur ou de l'état allumé ou éteint d'un élément prédéfini dont la zone de positionnement est incluse dans ou au voisinage d'un objet et dérivable de la reconnaissance dudit objet de dimensions plus importantes que l'élément prédéfini dans des images d'une séquence vidéo enregistrée en temps réel, caractérisé en ce qu'il comporte les étapes suivantes : extraction à intervalles prédéterminés d'images de la séquence vidéo dans un premier format colorimétrique; réduction des dimensions de chaque image par cadrage au moins vertical de l'objet dans lequel se situe l'élément, après reconnaissance de l'objet ; conversion de chaque image réduite du premier format colorimétrique en un second format colorimétrique à n composantes facilitant la détection du changement de couleur ; binarisation des images réduites par seuillage desdites composantes ; calcul de l'image intégrale à partir de l'image réduite binarisée ; recherche de zones lumineuses dans l'image intégrale en traitant successivement des zones de celle-ci de surface prédéterminée de nxm pixels et en définissant des régions d'intérêt au-delà d'un nombre prédéterminé de pixels égaux à 1 dans chaque zone ; enregistrement des positions des régions d'intérêt dans l'image ; calcul de l'histogramme des composantes de l'image pour chaque région d'intérêt ; comparaison avec les histogramme des composantes de l'image d'un modèle d'élément prédéfini et calcul de la distance dL2 entre leurs classes ; 3049746 10 si la distance dL2 est inférieure à une valeur seuil prédéterminée, enregistrement de la région d'intérêt correspondante. 2. Procédé de détection de changement de couleur ou de l'état allumé ou éteint d'un élément prédéfini selon la revendication précédente, caractérisé en ce qu'une étape de lissage est intercalée entre la réduction de l'image et sa conversion en un autre format. 3. Procédé de détection de changement de couleur ou de l'état allumé ou éteint d'un élément prédéfini selon l'une des revendications précédentes, caractérisé en ce que le premier format colorimétrique est le format RGB et le second format colorimétrique est le format HSV. 4. Procédé de détection de changement de couleur ou de l'état allumé ou éteint d'un élément prédéfini selon l'une des revendications précédentes, caractérisé en ce que la recherche de zones lumineuses s'effectue par parcours vertical des n pixels de la région, puis des m pixels horizontaux si le nombre de pixels égaux à 1 est supérieur à un premier seuil partiel dans le trajet vertical. 5. Procédé de détection de changement de couleur ou de l'état allumé ou éteint d'un élément prédéfini selon la revendication précédente, caractérisé en ce que les zones traitées pour la recherche de zones lumineuses ont une dimension de 20x20 pixels. 6. Procédé de détection de changement de couleur ou de l'état allumé ou éteint d'un élément prédéfini selon la revendication précédente, caractérisé en ce que les zones lumineuses sont mémorisées en régions d'intérêt si le seuil global de 20 pixels égaux à 1 est atteint ou dépassé. 7. Procédé de détection de changement de couleur ou de l'état allumé ou éteint d'un élément prédéfini selon l'une des revendications précédentes, caractérisé en ce que les positions des régions d'intérêts sont définies par les 3049746 11 coordonnées supérieures gauche et les coordonnées inférieures droite de la région d'intérêt. 8. Procédé de détection de changement de couleur ou de l'état allumé ou éteint d'un élément prédéfini selon l'une des revendications précédentes, caractérisé en ce que les régions d'intérêt proches sont fusionnées lorsque leur distance est inférieure à un seuil prédéterminé, par exemple égal à 20 pixels. 9. Procédé de détection de changement de couleur ou de l'état allumé ou éteint d'un élément prédéfini selon l'une des revendications précédentes, caractérisé en ce que le nombre de classes est au moins égal à 10, la distance dL2 entre les classes de l'histogramme du modèle et les classes de l'histogramme de la région d'intérêt, égale à la somme des différences entre les classes de ces histogramme, est inférieure à une valeur seuil de 0,4. 10. Procédé de détection de changement de couleur ou de l'état allumé ou éteint d'un élément prédéfini selon l'une des revendications précédentes, caractérisé en ce que l'élément prédéfini est la bague à couleur variable d'un microphone et que l'objet à reconnaître est la tête d'une personne placée derrière ledit microphone.