Extraction automatique de contour de lèvre à partir du modèle CLNF (Automatic lip contour extraction using CLNF model) (2016)

Abstract: Dans cet article nous proposons une nouvelle solution pour extraire le contour interne des lèvres d’un locuteur sans utiliser d’artifices. La méthode s’appuie sur un algorithme récent d’extraction du contour de visage développé en vision par ordinateur, CLNF pour Constrained Local Neural Field. Cet algorithme fournit en particulier 8 points caractéristiques délimitant le contour interne des lèvres. Appliqué directement à nos données audio-visuelles du locuteur, le CLNF donne de très bons résultats dans environ 70% des cas. Des erreurs subsistent cependant pour le reste des cas. Nous proposons des solutions pour estimer un contour raisonnable des lèvres à partir des points fournis par CLNF utilisant l’interpolation par spline permettant de corriger ses erreurs et d’extraire correctement les paramètres labiaux classiques. Les évaluations sur une base de données de 179 images confirment les performances de notre algorithme.

## introduction cet article traite de l'extraction du contour interne des lèvres à partir d'enregistrements vidéo du visage « naturel » (c.à.d. sans utilisation d'artifices) vu de face dans le contexte du traitement automatique de la parole. ce contour constitue en effet une étape indispensable pour obtenir les paramètres portant l'information visuelle de la parole en suivant une approche forme par opposition à une approche d'apparence (voir par exemple @xcite . les bénéfices de l'information visuelle pour la perception de la parole (lecture labiale) sont bien connus. depuis les travaux de sumby et @xcite , à ceux de benoit et collègues pour la langue française (1992) en passant par summerfield et collègues @xcite , il est bien établi que l'information fournie par le mouvement du visage (principalement celui des lèvres), est utilisée pour améliorer la perception de la parole dans des situations de bruit ambiant. les expériences en shadowing (répétition de la parole de l'autre) ont montré le bénéfice de l'apport de la collaboration audiovisuelle en situation de parole « audio claire » @xcite . l'effet mcgurk manifeste dans le cas où les informations audio et vidéo sont incohérentes la capacité d'intégrer ces informations par l'identification d'un percept différent de celui porté par chacune des deux modalités seules @xcite . le contour des lèvres et les paramètres labiaux (étirement a, aperture b et aire s) qui en sont extraits sont très utiles en traitement automatique et plus particulièrement en décodage visuo-phonétique par la reconnaissance de l'articulation labiale, domaine qui connait un regain d'intérêt pour les enjeux en surveillance ou en communication avec les sourds, réel enjeu de santé publique. historiquement pour extraire ces contours, les lèvres étaient maquillées en bleu avant l'enregistrement vidéo. le contour interne des lèvres était alors obtenu par application d'un simple seuil dans le plan « bleu » de l'image codée rgb @xcite @xcite . plusieurs travaux ont eu pour objectif de s'affranchir de l'utilisation de maquillage des lèvres. ainsi dans le domaine de la parole, @xcite ont proposé d'estimer directement les paramètres labiaux par les coefficients d'une décomposition en cosinus discrets à 2 dimensions de la région d'intérêt des lèvres non maquillées. dans le domaine du traitement des images les approches s'appuyant sur des modèles de contour actif multi-paramétrés ont permis pour les plus récentes méthodes de segmenter les lèvres en ajustant les contours par plusieurs polynômes d'ordre trois et l'application de seuils multiples sur le paramètre de luminance pour ce qui concerne le contour interne @xcite . dans le domaine de la vision par ordinateur, les méthodes s'appuient sur des modèles de formes et d'apparence et le modèle clnf se situe dans ce contexte. l'objectif de notre travail est d'appliquer cette dernière méthode issue du domaine de la vision par ordinateur au traitement automatique de la parole dans le domaine visuel (en phonétique, analyse/synthèse, reconnaissance audio-visuelle) afin d'extraire le contour interne des lèvres sans utilisation de quelque artifice expérimental que ce soit. nous étudions ses performances en tant que méthode générique et proposons des améliorations pour tenir compte des spécificités rencontrées en parole. nous montrons que cette approche permet d'obtenir de manière efficace les paramètres labiaux des lèvres sans passer par des modèles de lèvres complexes. ## la base de données visuelles les données sont composées d'images vidéo vues de faces de voyelles extraites d'un corpus de 50 mots isolés du français prononcés par un sujet et précédemment enregistré dans le contexte d'un travail sur la langue parlée complétée @xcite . on obtient des images toutes les 20 ms. l'enregistrement audio synchrone a permis de segmenter les voyelles. dans ces intervalles on sélectionne 2 à 3 images successives correspondant à la partie stationnaire de chaque voyelle. enfin, afin d'équilibrer la base de données, nous avons fait un tri de ces voyelles dont la répartition est donnée dans la l'ensemble a permis de constituer une base de 179 images. le contour interne des lèvres a été extrait manuellement par un expert, un des auteurs. l'expert a placé une quarantaine de points décrivant fidèlement le contour interne des lèvres tout en s'assurant qu'il s'agit du contour au sens actes de la conférence conjointe jep-taln-recital 2016, volume 1 : jep « articulatori-acoustique ». les paramètres (a, b, s) sont extraits à partir du contour selon la méthode classique en parole visuelle @xcite 3 le modèle clnf en vision par ordinateur, l'algorithme aam active appearance models (cootes et al., 1998) introduit un modèle statistique conjoint de forme (ensemble de points placés sur le visage) et d'apparence en niveaux de gris du visage vu de face ainsi qu'un algorithme d'ajustement linéaire du modèle sur les visages. le modèle clm constrained local model @xcite applique le modèle conjoint pour générer des templates (imagettes rectangulaires d'une dizaine de pixels centrées sur les 68 points du modèle) qui estiment les points à partir d'une relation non linéaire. en effet, les templates sont utilisés pour trouver les bords des segments du visage en optimisant une fonction de réponse de surface sous une contrainte de forme. enfin le modèle clnf constrained local neural field @xcite est une amélioration du modèle clm avec l'estimation des templates par la méthode lnf (local neural fields) et l'utilisation d'une fonction d'optimisation s'appuyant sur la méthode non-uniform rlms. dans la méthode lnf, la probabilité d'une position étant donné le template est calculée à partir d'une distribution sigmoïde dont les paramètres sont estimés par un réseau de neurones artificiels à noyaux convolués. non-uniform rlms @xcite est une méthode pour minimiser une fonction de coût composée du terme rlms dont le terme en jacobien est pondéré par la matrice de covariance des templates. enfin, le modèle clnf a été construit à partir de 4000 visages vus de face extraits des bases de données indépendantes du locuteur helen, lfpw et multi-pie (communication personnelle de tadas baltrusaitis). le clnf améliore l'estimation des templates du module lnf et le module d'optimisation « non-uniform » rlms. ## problèmes rencontrés et solutions proposées dans notre expérience, pour chaque voyelle retenue dans la base de données, la méthode clnf a été appliquée aux images de chacun des mots contenant la voyelle considérée. nous avons retenu les points correspondants aux lèvres en particulier les 8 points du contour interne pour chacune des images de la voyelle considérée. lors de l'application de la méthode sur notre base de données, nous avons constaté qu'elle donne d'excellents résultats pour le contour interne des lèvres dans environ 70% des cas, et ce malgré un nombre relativement faible de points (8 points seulement). nous montrons dans la figure 1.a un exemple. ## evaluation des résultats et discussion nous examinons le paramètre s. la correction apportée au contour se répercute naturellement sur le paramètre s. la valeur de ce paramètre suit maintenant très bien celle issue du contour d'expert, et les écarts sont encore plus homogènes. l'erreur quadratique moyenne concernant s passe finalement de 0,89 cm 2 à 0,35 cm 2 . dans l'ensemble l'erreur absolue obtenue est homogène que l'on considère les grandes ou petites ouvertures aux lèvres, ce qui est caractéristique de la méthode. en conséquence l'erreur relative augmente considérablement pour les petites ouvertures ce qui diminue son intérêt. mais pour pouvoir comparer avec la littérature nous avons reporté dans la ## conclusion en conclusion, nous retenons que le modèle clnf issu du domaine de la vision par ordinateur et développé pour l'extraction de partie du visage complet reste très prometteur pour des données visuelles en production de parole. en effet, ce modèle générique permet d'extraire les paramètres du contour interne correctement dans environ 70% des cas sans aucune intervention spécifique. nous avons montré pour le reste, qu'il a fallu développer des méthodes visant à corriger les erreurs en s'appuyant sur les points centraux fournis par le modèle clnf. en effet, la correction a consisté à les repositionner sur le véritable contour en cherchant le maximum de contraste sur la luminance, en utilisant une interpolation spline ainsi que sa dérivée. et dans le cas des petites ouvertures, nous avons pu proposer une interpolation spline de l'ensemble du contour interne s'appuyant sur les 6 points centraux issus du modèle clnf. les performances atteignent une précision de 1 mm pour le paramètre d'aperture b, de 4 mm pour le paramètre d'étirement a et de 0,35 cm 2 pour l'aire intérolabiale s en terme d'erreur quadratique moyenne. ces résultats sont comparables à ceux de la littérature mais sont obtenus à partir de lèvres sans maquillage. ils indiquent que le modèle générique clnf est tout à fait approprié. enfin les améliorations apportées ici ne touchent pas le coeur du modèle clnf et ses propriétés. comme perspectives, il restera à élargir le corpus de données, en intégrant la variété des unités de parole et la variabilité liée à plusieurs locuteurs. on s'intéressera aussi à l'application de cette méthode à des situations plus complexes telles que par exemple les occlusions main-visage ou les variations dans les conditions d'enregistrement.