Reconnaissance de parole beatboxée à l’aide d’un système HMM - GMM inspiré de la reconnaissance automatique de la parole ( BEATBOX SOUNDS RECOGNITION USING A SPEECH - DEDICATED HMM - GMM BASED SYSTEM 1 Human beatboxing is a vocal art making use of speech organs to produce percussive sounds and imitate musical instruments) (2020)

Abstract: Le human-beatbox est un art vocal utilisant les organes de la parole pour produire des sons percussifs et imiter les instruments de musique. La classification des sons du beatbox représente actuellement un défi. Nous proposons un système de reconnaissance des sons de beatbox s’inspirant de la reconnaissance automatique de la parole. Nous nous appuyons sur la boîte à outils Kaldi, qui est très utilisée dans le cadre de la reconnaissance automatique de la parole (RAP). Notre corpus est composé de sons isolés produits par deux beatboxers et se compose de 80 sons différents. Nous nous sommes concentrés sur le décodage avec des modèles acoustiques monophones, à base de HMM-GMM. La transcription utilisée s’appuie sur un système d’écriture spécifique aux beatboxers, appelé Vocal Grammatics (VG). Ce système d’écriture s’appuie sur les concepts de la phonétique articulatoire.

## introduction le human-beatbox est apparu durant les années 80, dans le bronx, un quartier de new york, et est associé à la culture hip-hop. il consiste à produire des percussions vocales ainsi que des imitations d'instruments de musique, comme la trompette ou la guitare. la classification des sons de beatbox peut être utilisée pour la recherche d'information musicale, comme une requête, pour la recherche de différents types de musique @xcite ou pour des applications à commande-vocale avec un nombre de classes défini par l'utilisateur @xcite afin de composer des morceaux de beatbox. le beatbox est aussi utilisé dans le cadre de rééduction orthophonique : un système de reconnaissance peut permettre de travailler les exercices. dans la littérature, des taux de classification corrects ont été obtenus sur un éventail limité de classes, c'est-à-dire cinq principaux sons de beatbox : bass drum, open hi-hat, closed hi-hat, k-snare et p-snare @xcite . à notre connaissance, la reconnaissance automatique des sons de beatbox à l'aide d'un système de reconnaissance vocale n'a été explorée que par @xcite . leur base de données se compose de 5 sons percussifs de beatbox : cymbal, hi-hat, kick, rimshot , snare et 8 imitations d'instruments. les performances étaient faibles pour les imitations d'instruments (taux d'erreur de reconnaissance de 41 %), mais plutôt correctes pour les classes se limitant aux sons percussifs (taux d'erreur de reconnaissance de 9 %). en orientant nos efforts vers le développement d'un système de reconnaissance automatique des sons de beatbox efficace et fiable, nous visons à étendre le nombre de classes de sons et à permettre la reconnaissance de variantes subtiles dans la production de sons de beatbox. nous considérons le human-beatbox comme un langage musical composé d'unités sonores que nous appellerons boxèmes en référence aux phonèmes de la parole. par ailleurs, ce travail a été réalisé dans le but de créer un dispositif artistique interactif qui fournit des retours visuels lors de la production de sons de beatbox. le document est structuré comme suit : la section ii présente la base de données. le système de reconnaissance est présenté dans la section iii. différentes expériences sont décrites dans la section iv et leurs résultats sont donnés dans la section v. les sections vi et vii présentent une discussion puis une conclusion, ainsi que les perspectives de nos travaux. par ailleurs, ce travail a été présenté lors du workshop international maveba @xcite . ## corpus et matériel utilisé notre corpus de sons de beatbox appelé beatbox-vg2019 a été enregistré par deux beatboxeurs masculins : un beatboxeur professionnel (troisième auteur, nom de scène andro) et un amateur (deuxième auteur). il est composé de 80 boxèmes et peut être considéré comme un vaste corpus par rapport aux corpus précédemment présentés dans la littérature (et utilisés pour de la classification). seuls les sons isolés sont considérés dans nos travaux, les séquences rythmiques étant écartées dans un premier temps. notre corpus de boxèmes a été enregistré avec six microphones. cinq d'entre eux enregistraient simultanément et le dernier était encapsulé (une ou deux mains recouvrent la capsule du microphone). les microphones différaient en termes de spécificités (par exemple, à condensateur ou dynamique) et de placement. le tableau 1 donne les détails des microphones alors que le tableau 2 récapitule la composition du corpus. l'apprentissage des modèles acoustiques a été réalisé avec la boîte à outils kaldi @xcite . en ce qui concerne les données de test, il s'agit de répétitions de différents sons de beatbox (pas toujours les même à la suite), dont la production est relativement lente (on peut percevoir une légère pause entre chaque son). dans ce cadre de test, l'utilisation d'un système de reconnaissance automatique de la parole continue révèle son intérêt. notre approche part de l'hypothèse que le human-beatbox est structuré comme un langage musical, utilisant les organes de la parole pour produire des unités sonores qui peuvent être distinguées les unes beatboxers adrien (amateur), andro (professionnel) nom du corpus beatbox-vg2019 nombre de boxèmes (= taille du vocabulaire) 80 nombre de boxèmes par beatboxeur adrien : 56/80 andro : 80/80 transcription vocal grammatics microphone 5 simultanés + 1 encapsulé fréquence d'échantillonnage et précision 44100 hz, 16 bits, mono durée totale d'enregistrement ∼206 min apprentissage durée d'enregistrement ∼92 min nombre de répétitions des boxèmes 6 ou 2 test durée d'enregistrement ∼114 min nombre de répétitions des boxèmes 7 en moyenne l'impact de différents paramètres sur la reconnaissance a été testé : le nombre d'états des hmm, les paramètres mfcc, la probabilité d'apparition d'un silence, ainsi que l'ajout ou non d'un phonème de pause dans le lexique . certains choix ont été basés sur l'article de @xcite . nous présentons ici les résultats pour quatre configurations du système de reconnaissance : -configuration a : les quatre paramètres cités ci-dessus sont par défaut, à savoir 3 états hmm, 13 paramètres mfcc, la probabilité d'apparition d'un silence à 0.5 et l'absence de phonème pause dans le lexique ; -configuration b : une pause a été ajoutée dans le lexique et la probabilité d'apparition d'un silence est fixée à 0.8 ; -configuration c : même base que la configuration b. le nombre de coefficients mfcc passe à 22 ; -configuration d : même base que la configuration b. le nombre d'états hmm passe à 5. le lexique d'un système de reconnaissance de la parole est de la forme 'mot : transcription phonétique'. ici, le mot est un boxème. la pause indiquée dans les systèmes ci-dessus a été ajoutée dans le lexique de la façon suivante : 'boxème : pause transcription_phonétique pause'. cette pause n'est pas présente dans la transcription manuelle des corpus de test et n'est pas présente dans l'hypothèse de décodage. les systèmes b, c et d sont donc comparables au système a puisque la valeur de dénominateur du ber est la même. la mesure d'évaluation 'ber' -boxeme error rate-est utilisée pour évaluer le système. elle est directement inspirée du taux d'erreur sur les mots (wer) puisqu'il est calculé en additionnant le nombre de substitutions, d'insertions et de suppressions divisé par le nombre de boxèmes dans la référence. plus la reconnaissance est bonne, plus la valeur du ber est faible. le cbr (taux de boxèmes correct) est également utilisé en en figure 2 nous pouvons observer l'efficacité de chacun des six microphones. nous avons constaté que les microphones à condensateur dpa et les microphones dynamiques shure sm58, placés à proximité ou loin de la bouche du beatboxer, offrent des performances similaires. des taux de reconnaissance plus faibles sont constatés pour les enregistrements avec le microphone dynamique shure beta 58 encapsulé et le microphone à condensateur brauner vm1. nous avons ensuite voulu tester l'incidence de certains paramètres sur la reconnaissance. nous avons sélectionné un microphone pour ces tests : le shure sm58 -'sm58p' -utilisé proche de la bouche. notre choix s'est porté sur celui-ci particulier car c'est un des microphones le plus utilisé par les beatboxeurs à l'échelle mondiale et que l'utilisation du microphone dans cette discipline est le plus souvent effectuée proche de la bouche. un premier test a été de faire varier la probabilité de silence de 0,5 (par défaut) à 0,9 avec un pas fixé à 0,1. notre meilleur modèle a été obtenu avec une probabilité de silence de 0,9, ce qui a donné un ber de 26,94 %. en spécifiant en plus un phonème de "pause" avant et après chaque boxème dans le lexique, nos meilleurs résultats sont de 16,97% de ber. ceux-ci sont obtenus avec une probabilité de silence de 0,8. cela s'explique par la configuration de nos expériences : nous avons demandé aux beatboxers de répéter un même son ; des pauses ont donc artificiellement été ajoutées en début ou fin de chaque son. la figure 3 montre l'évolution des résultats avec différents paramètres : probabilité de silence plus élevée, ajout d'une pause dans le lexique, 22 paramètres mfcc au lieu de 13 par défaut et 5 états par hmm au lieu de 3 par défaut. pour rappel, la configuration a est représentative d'un système avec les quatre paramètres laissés 'par défaut'. l'ensemble d'apprentissage a été réalisé avec des enregistrements de microphones non encapsulés. notre meilleur modèle est obtenu avec la configuration c et donne un ber de 15,13 %. les configurations b et d sont très proches avec des ber de 16,97% et 16,24% respectivement (voir tableau 3 pour les détails concernant les substitutions, les insertions, les suppressions et les taux de boxèmes corrects). dans la figure 3 et le tableau 3, nous observons que chaque changement de paramétrage est bénéfique pour les substitutions, les insertions, les suppressions et les taux de boxèmes corrects. le bénéfice le plus évident est pour le taux d'insertion qui passe à zéro. le taux de boxème correct atteint 85% avec la configuration c. a b c d substitutions 19.19% 12.73% 10.70% 12.36% insertions 9.41% 0.18% 0.18% 0% deletion 5.72% 4.06% 4.24% 3.87% cbr 75.09% 83.21% 85.06% 83.76%