Projet ANR-11-JS03-0005 – Houle : Apprentissage de structures hiérarchiques pour l’analyse computationnelle de scènes auditives
Programme : JCJC - SIMI 3 - Matériels et logiciels pour les systèmes et les communications (JCJC SIMI 3)
Année de financement : 2011
Coordinateur du projet : Monsieur Mathieu LAGRANGE (INSTITUT DE RECHERCHE ET DE COORDINATION ACOUSTIQUE-MUSIQUE ( IRCAM ))
Partenaires : Sciences et Technologies de la Musique et du Son
Montant : 222000.0 euros
Date de début : 2011
Durée : 36 mois
Résumé : Apprentissage non supervisé hiéarchique et basé objetCe projet étudie un nouveau formalisme d'apprentissage hiérarchique pour l'analyse de scènes auditives.
Approcher l'analyse de scènes auditives de manière non supervisée Les points bloquant les methodes actuellessont : (1) ne pouvant faire d'hypothèse sur la nature des objetstraités, on ne peut les modéliser a priori, (2) les objets mélangésdans la scène ne peuvent être observés en isolation, (3) leurstructure est gouvernée par de nombreuses relations dont la prioritéest difficile à établir.Les caractéristiques dont nous tirons parti pour notre approche sont,l'organisation hiérarchique des scènes audio (atomes rassemblés enobjets qui sont des instances de classes comme «La4 de piano«,elle-même un exemple de «Note de piano«), et la redondance présente à tous les niveaux de cette hiérarchie. Cette redondance nous permet d'identifier des motifs récurrents sur lesquels fonder une représentation riche et robuste.
Regroupement multi niveauÀ cette nouvelle approche de la représentation de scènes audiocorrespond un algorithme d'apprentissage non supervisé spécialementconçu pour traiter ces donneés. Le système est structuré en deuxcomposants : le Regroupement Multi-Niveaux (RMN) opère lastructuration des données, tandis que le «Superviseur« (moduled'adaptation réflexive) incarne l'aspect «apprentissage« en optimisantà la volée le fonctionnement de RMN en référence à une mémoired'executions passées.RMN est constitué de (1) une série de modules de classification detype k-means «empilés« pour produire en partant des atomes desensembles de classes d'abstraction croissante, et (2) un mécanisme derétroaction par lequel la connaissance acquise aux hauts niveaux guidela classification des plus bas niveaux. ainsi, la redondance de hautniveau est mise à profit pour rassembler les atomes en structuresintelligibles.RMN traite des données représentées sous une forme différentielle, parun ensemble de matrices (kernels) reflétant chacune les connectionsexistant entre atomes selon un type de relation prédéfini. Chaqueniveau du RMN considère un kernel spécifique, obtenu par moyennepondérée des matrices de chaque relation. Le choix du poids de chaque kernel conditionne la nature des objets produits par la classification à ce niveau.
Résumé de la soumission : Nous proposons des techniques originales d'apprentissage non supervisépour résoudre CASA (Computational Auditory Scene Analysis), tâcheconsistant à identifier et décrire les objets sonores constituant unescène. CASA est un domaine très actif du traitement du son ayant denombreuses applications. Les points bloquant les methodes actuellessont : (1) ne pouvant faire d'hypothèse sur la nature des objetstraités, on ne peut les modéliser a priori, (2) les objets mélangésdans la scène ne peuvent être observés en isolation, (3) leurstructure est gouvernée par de nombreuses relations dont la prioritéest difficile à établir.Les caractéristiques dont nous tirons parti pour notre approche sont,l'organisation hiérarchique des scènes audio (atomes rassemblés enobjets qui sont des instances de classes comme "La4 de piano",elle-même un exemple de "Note de piano"), et la redondance présente àtous les niveaux de cette hiérarchie. Cette redondance nous permet d'identifierdes motifs récurrents sur lesquels fonder une représentation riche etrobuste.À cette nouvelle approche de la représentation de scènes audiocorrespond un algorithme d'apprentissage non supervisé spécialementconçu pour traiter ces donneés. Le système est structuré en deuxcomposants : le Regroupement Multi-Niveaux (RMN) opère lastructuration des données, tandis que le "Superviseur" (moduled'adaptation réflexive) incarne l'aspect "apprentissage" en optimisantà la volée le fonctionnement de RMN en référence à une mémoired'executions passées.RMN est constitué de (1) une série de modules de classification detype k-means "empilés" pour produire en partant des atomes desensembles de classes d'abstraction croissante, et (2) un mécanisme derétroaction par lequel la connaissance acquise aux hauts niveaux guidela classification des plus bas niveaux. ainsi, la redondance de hautniveau est mise à profit pour rassembler les atomes en structuresintelligibles.RMN traite des données représentées sous une forme différentielle, parun ensemble de matrices (kernels) reflétant chacune les connectionsexistant entre atomes selon un type de relation prédéfini. Chaqueniveau du RMN considère un kernel spécifique, obtenu par moyennepondérée des matrices de chaque relation. Le choix du poids de chaquekernel conditionne la nature des objets produits par la classificationà ce niveau.Le rôle du Superviseur est d'ajuster automatiquement ces poids pouroptimiser la classification, en se basant (1) sur les propriétés desdonnées, en considérant des métriques de cohérence de classes, (2) surla mémoire d'exécutions précédentes sur d'autres scènes(reconnaissance de configurations et objets récurrents). Lesstructures désirées apparaissent ainsi de manière spontanée sansintervention externe.Les objets et classes produits seront décrits par leur structureinterne, grâce aux kernels représentant les relations entre leursatomes, indépendamment de leur interaction avec l'extérieur. Lebénéfice espéré de cela est une plus grande expressivité, et unecomparaison entre objets facilitée par la moindre dépendance auxvariations incidentelles.L'originalité de notre proposition tient dans son détachement desapproches traditionnelles à CASA, en commençant par le paradigme dereprésentation des scènes et objets. L'innovation est principalementprésente dans les méthodes d'apprentissage non supervisé que nousallons développer, dont les applications dépassent largement le cadrede CASA.L'évaluation du système sera conduite sur les suites de test standardde CASA, ainsi que par son application à deux problèmes concrets:identification des types de matériaux dans un scène audio contrainte,et identification des motifs de percussion dans une scène musicale.
Résultats : A remplir
Perspectives : A remplir
Publications et brevets : A remplir