Localisation et rehaussement de sources de parole au format Ambisonique: analyse de scènes sonores pour faciliter la commande vocale. (Localization and enhancement of speech from the Ambisonics format)

Cette these s'inscrit dans le contexte de l'essor des assistants vocaux mains libres. Dans un environnement domestique, l'appareil est generalement pose a un endroit fixe, tandis que le locuteur s'adresse a lui depuis diverses positions, sans necessairement s'appliquer a etre proche du dispositif, ni meme a lui faire face. Cela ajoute des difificultes majeures par rapport au cas, plus simple, de la commande vocale en champ proche (pour les telephones portables par exemple) : ici, la reverberation est plus importante ; des reflexions precoces sur les meubles entourant l'appareil peuvent brouiller le signal ; les bruits environnants sont egalement sources d'interferences. A ceci s'ajoutent de potentiels locuteurs concurrents qui rendent la comprehension du locuteur principal particulierement difficile. Afin de faciliter la reconnaissance vocale dans ces conditions adverses, plusieurs pre-traitements sont proposes ici. Nous utilisons un format audio spatialise, le format Ambisonique, adapte a l'analyse de scenes sonores. Dans un premier temps, nous presentons une methode de localisation des sources sonores basee sur un reseau de neurones convolutif et recurrent. Nous proposons des descripteurs inspires du vecteur d'intensite acoustique qui ameliorent la performance de localisation, notamment dans des situations reelles ou plusieurs sources sont presentes et l'antenne de microphones est posee sur une table. La technique de visualisation appelee layerwise relevance propagation (LRP) met en valeur les zones temps-frequence positivement correlees avec la localisation predite par le reseau dans un cas donne. En plus d'etre methodologiquement indispensable, cette analyse permet d'observer que le reseau de neurones exploite principalement les zones dans lesquelles le son direct domine la reverberation et le bruit ambiant. Dans un second temps, nous proposons une methode pour rehausser la parole du locuteur principal et faciliter sa reconnaissance. Nous nous placons dans le cadre de la formation de voies basee sur des masques temps-frequence estimes par un reseau de neurones. Afin de traiter le cas ou plusieurs personnes parlent a un volume similaire, nous utilisons l'information de localisation pour faire un premier rehaussement a large bande dans la direction du locuteur cible. Nous montrons que donner cette information supplementaire au reseau n'est pas suffisant dans le cas ou deux locuteurs sont proches ; en revanche, donner en plus la version rehaussee du locuteur concurrent permet au reseau de renvoyer de meilleurs masques. Ces masques permettent d'en deduire un filtre multicanal qui ameliore grandement la reconnaissance vocale. Nous evaluons cet algorithme dans differents environnements, y compris reels, grâce a un moteur de reconnaissance de la parole utilise comme boite noire. Dans un dernier temps, nous combinons les systemes de localisation et de rehaussement et nous evaluons la robustesse du second aux imprecisions du premier sur des exemples reels.