# Extraction de fréquences fondamentales d'un document musical pour sa représentation visuelle dans un système de consultation intractif

Philippe Lepain

► To cite this version:

Philippe Lepain. Extraction de fréquences fondamentales d'un document musical pour sa représentation visuelle dans un système de consultation intractif. 1ères Journées d'informatique musicale (JIM 1994), AFIM (Association Française d'Informatique Musicale), Mar 1994, Bordeaux, France. pp.83-96. hal-03347072

HAL Id: hal-03347072

https://hal.science/hal-03347072

Submitted on 17 Sep 2021

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Extraction de fréquences fondamentales d'un document musical pour sa représentation visuelle dans un système de consultation interactif

Auteur: Philippe LEPAIN

Equipe Applications Culturelles et Artistiques de l'Informatique
Institut de Recherche en Informatique de Toulouse
Université Paul Sabatier
118, route de Narbonne
31062 TOULOUSE CEDEX
e-mail: lepain@irit.irit.fr

Mots clefs: Archives sonores, musique, traitement du signal, analyse temps-fréquence, transcription automatique, notation musicale, interfaces graphiques

**Résumé:** Cet article présente un processus d'extraction de fréquences fondamentales d'un document musical en vue de sa représentation visuelle dans un système de consultation interactif. Le processus explique les données issues d'une analyse temps-fréquence de l'enregistrement numérique en terme de somme de modèles spectraux élémentaires. Les résultats sont ensuites visualisés sous forme d'une ligne dynamique colorée. Après avoir présenté le cadre général dans lequel s'inscrivent ces travaux, nous donnons un exemple de représentation d'un extrait musical.
# I. Introduction

## 1. Système de consultation interactif de documents musicaux

### L'équipe ACAI et l'ensemble de logiciels PERCEPTIF

Les travaux présentés dans cet article ont été effectués au sein de l'équipe "Applications Culturelles et Artistiques de l'Informatique". Cette équipe composée de sept membres est financée principalement par le Ministère de la Culture et de la Francophonie et son domaine de recherche porte sur la conception de postes de consultation de documents de divers médias (texte, image fixe, image animée et son) pour les institutions culturelles (bibliothèques, centres d'archives, musées). L'objectif de ces travaux est de construire un ensemble de logiciels permettant :

- L'extraction de données sur le contenu des documents de chaque média par analyse automatique.

- L'exploitation de ces données dans des interfaces visuelles de consultation.

Sur le plan des interfaces destinées à l'utilisateur final, l'objectif des représentations visuelles est de fournir des points d'appui pour la perception du contenu, des moyens de contrôler la restitution de ce contenu dans le temps et des bases pour l'annotation par l'utilisateur. Le nom choisi pour cet ensemble de logiciels destiné aux usagers des archives culturelles - PERCEPTIF - traduit bien notre projet: construire une médiation pour la perception savante de documents d'images ou de sons.

### Fonctionnalités pour la consultation de documents musicaux

Je renvoie à [Lepain93] pour la définition précise des fonctionnalités nécessaires dans un poste de consultation de documents musicaux. Celles-ci englobent la numérisation, la préparation (segmentation temporelle, indexation automatique, ...), la préconsultation (choix du document et intégration dans l'espace de travail de l'utilisateur), l'édition, l'annotation et l'indexation du document. Trois modes de consultation sont également nécessaires: simplifié (touches de magnétophone par exemple), rapide (accès aux premières mesures de différentes parties musicales par exemple) et détaillé (par réglage ou modification des éléments de la représentation du document suivant la perception qu'on en a). Enfin, les traitements sur la restitution du document, les outils de comparaison de documents, le paramétrage de l'interface et la gestion du carnet de notes de l'utilisateur viennent compléter les fonctionnalités citées ci-dessus dans nos logiciels de consultation de documents musicaux.

## 2. Représentation des documents musicaux

### Notation descriptive

La notation musicale consiste à représenter les paramètres auditifs essentiels de la musique à l'aide de paramètres visuels limités aux deux dimensions du plan. La notation prescriptive indique comment une musique doit être jouée alors que la notation descriptive rend compte de la manière dont une pièce musicale a été jouée lors d'une interprétation particulière. C'est cette dernière forme de notation qui nous intéresse tout particulièrement dans un système de consultation interactif de documents musicaux. Je présente ci-après quelques travaux effectués dans ce domaine:

- Charles Seeger (1886-1979) représentait les documents musicaux sous forme de diagrammes [Seeger91], un diagramme étant constitué de courbes d'évolution de l'intensité et des hauteurs en fonction du temps.
- L'ethnomusicologue Simha Arom opte également pour l'écriture descriptive (manuelle) au sens de Seeger [Arom85].

- A l'aide de véritables photographies spectrales des morceaux de musique (temps en abscisse et octaves en ordonnée), Robert Cogan réalise une vue d'ensemble des éléments perceptifs de pièces d'origines variées [Cogan84].

- Le G.R.M. (Groupe de Recherches Musicales) de l'I.N.A. propose un outil informatique de notation iconographique d'œuvres musicales appelé Acousmographe [Bayle93], [Besson91].

- Certains logiciels permettent de restituer, visualiser et manipuler les documents musicaux (SoundPlayer sur NeXT, Audio Tool et MAestro dans la catégorie des éditeurs multimédias sur Sun, IRCAM Musical Workstation construit autour d'une architecture de type NeXT [Lindemann91]).

La notation descriptive nécessite la transcription de nombreux paramètres précis. Les outils informatiques sont de plus en plus utilisés car la notation manuelle ne peut répondre totalement à cet objectif. Le problème consiste à extraire des éléments perceptifs pertinents dans la masse d'informations que peut apporter une analyse automatique des documents musicaux.

## Transcription automatique

La transcription automatique consiste à traduire un document musical numérisé sous forme de partition. Ce domaine de recherche ne concerne ni la notation prescriptive puisque la transcription s'effectue à posteriori, ni la notation descriptive puisque l'on essaye de transcrire une œuvre sous forme d'une partition traditionnelle (représentation la plus utilisée en notation prescriptive) sans représenter tel ou tel choix d'interprétation (nuances dynamiques et rythmiques en particulier). Cependant, les techniques de transcription automatique nous apportent bien des enseignements sur l'extraction de paramètres fréquentiels et temporels d'une œuvre musicale.

James A. Moorer [Moorer77] propose une méthode de transcription automatique qui utilise un "détecteur de périodicité". Celui-ci fournit un pas d'analyse fréquentielle qui constitue la résolution d'un banc de filtre qui est appliqué à l'ensemble du signal sonore pour en extraire les amplitudes des harmoniques présentes. Ce procédé a l'avantage d'analyser uniquement les bandes de fréquences utiles du signal mais ne permet pas la discrimination de notes jouées dans un rapport non harmonique. Dans une deuxième phase, des notes sont inférées à partir des différentes harmoniques. L'harmonique (de fréquence f0) d'amplitude la plus élevée est candidate, ainsi que celles de fréquences f0/2 et f0/3. La note est élue suivant la présence ou l'absence de ses harmoniques impaires. La dernière phase consiste à regrouper et afficher les différentes voies du morceau de musique en estimant la durée de chacune des notes qui les constituent.

Martin Piszczalski, Bernard A. Galler et Ann Arbor proposent également une méthode de transcription automatique en trois phases. La première consiste à déterminer le spectre du signal en 3D à l'aide d'une analyse fréquentielle par transformées de Fourier à fenêtres de Hanning glissantes sur 64 ms de signal. Dans la deuxième phase, les notes sont reconnues en tenant compte du début et de la fin de chaque harmonique ainsi que des phénomènes de variation rapide d'amplitude des harmoniques et de déviation fréquentielle classique pour les instruments tels que le violon. Les différentes notes et les barres de mesure sont ensuite représentées sous forme d'une partition dans la dernière phase du traitement [Piszczalski77].
Nous pouvons maintenant résumer les différents problèmes soulevés par les techniques de transcription automatique et préciser notre position par rapport à ce domaine d'étude:

- Les méthodes de transcription automatique ne s'appliquent pas efficacement aux ensembles orchestraux à cause de la diversité des instruments et de la richesse des accords mis en jeu. De plus, elles se limitent bien souvent à l'analyse des musiques occidentales. Dans un système de consultation interactif de documents musicaux, nous devons traiter tous les types d'œuvres, aussi variées et complexes soient-elles. Nous adapterons donc les méthodes d'extraction de caractéristiques fréquentielles issues de la transcription automatique afin de représenter tous les types de documents.

- La transcription automatique vise à éliminer les variations de tempo et de fréquence (accelerando, rallentando, glissando, vibrato) exécutées par l'interprète alors que notre objectif est au contraire de visualiser ces différentes nuances de jeu.

- La spécificité des morceaux de musique analysés par transcription automatique conduit souvent à simplifier la procédure d'analyse fréquentielle en n'explicitant qu'une partie de l'intervalle des fréquences audibles. Nous devons, au contraire, discriminer toutes les fréquences s'étalant sur la plage audible.

- Nous sommes moins concernés par les problèmes de sensibilité à l'accord rencontrés en transcription automatique car nous n'utilisons pas la partition comme forme de représentation. Cependant, l'analyse fréquentielle effectuée doit respecter les intervalles entre les notes présentes. Nous pouvons envisager de paramétrer l'interface de consultation pour que l'utilisateur puisse agir sur la représentation du morceau de musique afin de rectifier un éventuel décalage fréquentiel global.

- Nous devons tenir compte, comme en transcription automatique, des phénomènes classiques de production du son, en particulier lorsque la fréquence fondamentale ne correspond pas à l'harmonique de plus grande amplitude, ou lorsque les harmoniques paires ne sont pas présentes significativement.

- Enfin, il convient d'éviter d'effectuer une projection non justifiée sur des fréquences fondamentales lorsque l'on est confronté à des documents musicaux présentant des sons non harmoniques ou des masses sonores diffuses en fréquence.

## Analyses temps-fréquences

Comme pour la transcription automatique, nous employerons des méthodes d'analyse temps-fréquences. Voici un résumé des outils dont nous disposons:

- La transformée de Fourier rapide (FFT) permet d'exprimer le signal musical dans le domaine fréquentiel [Oppenheim75].

- La transformée de Fourier à fenêtre glissante améliore la méthode précédente en introduisant un paramètre de translation temporel du signal [Oppenheim75], [Arfib91].

- La transformée en ondelettes positionne le signal dans le domaine temporel à l'aide d'un paramètre de translation et dans le domaine fréquentiel à l'aide d'un paramètre de dilatation [Kronland-Martinet91], [Evangelista91].
## II. Algorithme de discrimination des fréquences fondamentales

### 1. Analyse fréquentielle

Les objectifs sont maintenant fixés par rapport à la transcription automatique. Il ne nous reste plus qu'à choisir une méthode d'analyse fréquentielle. Celle-ci doit permettre une localisation temps-fréquence assez précise et engendrer un coût minimal de calcul.

#### Choix d'une unité temporelle d'analyse

Nous choisirons une unité temporelle d'analyse T se situant, au vu des résultats apportés par les psycho-acousticiens, entre 10 et 50 ms. L'oreille ne peut attacher de sémantique aux objets sonores de moins de 10 ms et peut apprécier la hauteur des objets de plus de 50 ms. T se situe donc au niveau des seuils de perception auditive.

#### Choix des fréquences discriminées

Nous préférons suivre le découpage proposé par le système à tempérament égal pour extraire les différentes notes de la gamme. Ce choix arbitraire nous permet de visualiser l'ensemble des œuvres occidentales tout en nous donnant une appréciation fréquentielle d'œuvres issues de cultures différentes de la nôtre ou des documents électro-acoustiques.

#### Méthode employée

Nous utilisons trois FFT sur 512 points pour discriminer respectivement les fréquences aiguës, médiums et graves. En fixant T à 32 ms, nous effectuons :

- Une analyse des aigus (AA) sur T à 16 kHz qui détermine les fréquences de 437.5 Hz à 6656.25 Hz (la plus haute note discriminée se situe au dessus de celle du piano).

- Une analyse des médiums (AM) après décimation du signal (DM) par un facteur 4 (passage de 16 à 4 kHz) sur 128 ms de signal (4 fois T) qui détermine les fréquences de 109.37 Hz à 414.06 Hz.

- Une analyse des graves (AG) après décimation du signal (DG) par un facteur 4 (passage de 4 à 1 kHz) sur 512 ms de signal (16 fois T) qui détermine les fréquences de 27.34 Hz à 103.52 Hz.

Chacune des analyses est suivie d'une projection des fréquences obtenues sur la grille fréquentielle la plus proche de celle en demi-tons. Cela permet de retenir 96 demi-tons de LA-1 à SOL#7 numérotés des graves aux aigus de 1 à 96.

Pour discriminer le plus de fréquences possibles sur un intervalle de temps donné, on exploite tous les rangs de la FFT à partir du premier rang possible (le rang à partir duquel tous les suivants déterminent des fréquences consécutives sur l'échelle en demi-tons). L'emploi de fenêtres autres que rectangulaire introduit trop de bruit de calcul autour des fréquences à discriminer. Par exemple, si deux notes séparées d'un ton sont émises en même temps, on risque d'en "halluciner" une autre située au milieu des deux premières par cumul des effets de bord sur celles-ci. L'emploi d'une fenêtre rectangulaire semble donc plus approprié. Cependant, le fait de multiplier un signal $s(t)$ par une fenêtre rectangulaire $w(t)$ engendre la convolution de la transformée de Fourier $S(f)$ de $s(t)$ avec la transformée de Fourier $W(f)$ de $w(t)$. $W(f)$ a la forme d'un sinus cardinal qui présente des ondulations non négligeables sur un support infini. Pour réduire ce phénomène, on applique alors un processus de recalage fréquentiel. Pour chaque harmonique susceptible de représenter une fréquence de l'échelle en demi-tons (i.e. maximum local de l'ensemble des fréquences projetées), on calcule l'amplitude
théorique de la fréquence du demi-ton le plus proche par application du modèle en sinus cardinal. On soustrait alors la contribution de ce modèle à l'ensemble des autres fréquences projetées. On réitère ensuite ce procédé tant qu'il existe un maximum local non traité dans l'ensemble des fréquences projetées.

Les temps de calculs obtenus sont raisonnables car l'analyse fréquentielle n'utilise que des FFT d'une taille de 512 points. De plus, cette taille étant la même pour toutes les FFT, l'algorithme peut être programmé en parallèle.

Le schéma suivant présente l'ensemble des traitements effectués pour 512 ms (16 fois T) de signal audio-numérique échantillonné à 16 Khz.

<figure><img src="image_2.png" /></figure>

**Remarque:** Une phase préliminaire de segmentation peut être appliquée au signal afin de n'étudier que les parties quasi-stationnaires du signal et réduire considérablement les temps de calcul. Cette phase est en cours de conception avec Régine André-Obrecht (IRIT) et Werner Deutsh (Académie Autrichienne des Sciences). Aussi, l'analyse s'effectue actuellement d'une manière linéaire sur l'ensemble du morceau de musique.

## 2. Méthode d'extraction de fondamentales par application de modèles

La méthode employée consiste à expliquer de manière itérative le spectre H issu de l'analyse fréquentielle (96 harmoniques $H_n$ d'amplitudes $A_n$, n étant un numéro de demi-ton de 1 à 96) en termes de somme de modèles spectraux élémentaires $M_1$ à $M_9$. Tous ces modèles sont enveloppés par une courbe dont l'équation est donnée ci-après:

$$E(x) = \begin{cases} \frac{1}{2} \cos \left[ \frac{\pi}{7} (8 - x) \right] + \frac{1}{2} & x \in [1, 8[ \\ \frac{8}{x} & x \in [8, +\infty[ \end{cases}$$

Nos modèles sont obtenus en échantillonnant E. On a $M_m(r) = E(\frac{8r}{m})$, avec r entier supérieur à 1 représentant le rang d'une harmonique et m entier de 1 à 6. $M_7$, $M_8$ et $M_9$ se déduisent respectivement de $M_1$, $M_3$ et $M_5$ en supprimant les harmoniques de rang pair. L'enveloppe spectrale des modèles est fixe ce qui garantit l'invariance du timbre lorsque la fréquence fondamentale change d'une octave à une autre [Risset91]. La figure
suivante représente chaque modèle spectral associé à l'un des signaux possibles respectant cette décomposition.

<figure><img src="image_3.png" /></figure>

Chaque modèle appliqué à partir d'une harmonique définit ce qu'on appelle une pseudo-note. L'exemple suivant montre le modèle $M_1$ appliqué au spectre d'un LA3 (H49):

<figure><img src="image_4.png" /></figure>

Appliquer $M_1$ en H49 veut dire calculer la plus grande amplitude $A_{1max}$ de $M_1$ et la mettre en correspondance avec A49. Le calcul de $A_{1max}$ s'effectue par un "vote" des harmoniques observées. Chacune des 12 harmoniques observées H61 à H92 vote une amplitude de $2*A_{61}$ à $12*H_{92}$ (le modèle décroît en 1/k à partir de la plus grande harmonique, k correspondant au rang de l'harmonique). On retient de ce vote l'amplitude maximum. $A_{1max}$ devient égale au minimum entre cette valeur et A49. Le modèle appliqué en H49 est donné par les amplitudes de ses harmoniques: $A_{1max}*M_1(k)$. Voici l'algorithme général de discrimination des fréquences fondamentales d'un spectre H composé de plusieurs pseudo-notes:
- On retient l'amplitude $A_{max}$ de la plus grande harmonique $H_{max}$ comme faisant partie de la pseudo-note la plus significative de H.

- On se limite aux 12 premières harmoniques des modèles. On applique chaque modèle en $H_{max}$.

- On calcule la distance euclidienne entre H et chaque modèle appliqué en $H_{max}$. La grille fréquentielle sur laquelle on calcule la distance se compose de toutes les fréquences possibles pour les 9 modèles toujours limités aux 12 premières harmoniques.

- On retire à H le modèle optimal correspondant à la distance minimale. Ce retrait s'effectue maintenant sur toutes les harmoniques de H.

- On cumule le pourcentage des amplitudes que représente le modèle optimal par rapport au spectre initial sur une note de fréquence déterminée par la première harmonique du modèle optimal.

- On réitère le traitement jusqu'à ce que l'on explique 95% de la totalité du spectre initial.

Le résultat de l'algorithme fournit le pourcentage relatif de fréquences attribuées à chacune des 96 notes.

### 3. Résultats

L'exemple de la page suivante représente les 6 premières itérations de l'algorithme sur un passage de la sonate en la mineur Op. 42 D. 845. de Franz Schubert interprétée au piano par Michel Dalberto. Deux notes sont jouées: LA0 et LA3. $M_1$ est optimal à la première itération, il s'applique au LA3 et explique (apport) 32.94 % du spectre initial. Après soustraction du modèle $M_1$, le modèle $M_2$ est appliqué en LA1, la première harmonique de LA0 et explique 42.55 % du spectre initial. Ce deuxième modèle discrimine un LA0 alors que la fréquence correspondante était très peu présente dans le spectre initial.

Toujours sur la même sonate, la page suivante montre le résultat de l'algorithme sur un accord de la mineur. Les notes jouées sont LA1, MI2, LA2, DO3 et MI3. Les notes discriminées par ordre d'importance sont: MI3 (32.23 %), DO3 (12.94 %), LA2 (11.463 %), LA1 (11.39 %), LA3 (4.769 %), RE3 (4.191 %), MI2 (3.108 %), SI3 (3.074 %). On constate les limites de l'algorithme lorsqu'on analyse un accord composé de plusieurs notes ayant des harmoniques communes. Le LA3 trouvé par la méthode aurait dû être reporté comme première harmonique de LA2 mais on a appliqué $M_7$ au lieu de $M_1$ en LA3. De plus, le SI3 trouvé par la méthode aurait dû être reporté comme troisième harmonique de MI2, ce qui aurait placé MI2 comme la cinquième note discriminée. Enfin, il y a toujours des notes "parasites" expliquées en faible pourcentage par la méthode. Il faudra en tenir compte lors de la représentation.

## III. Construction d'une représentation visuelle

### 1. Création de colonnes de visualisation

Nous représentons les documents musicaux dans ce que nous appelerons une ligne dynamique ayant l'amplitude en ordonnée et le temps en abscisse. L'amplitude de l'ensemble des notes présentes sur T sera estimée en calculant la moyenne de la valeur absolue du signal sur T. Chaque échantillon, positif ou négatif, contribue à la détermination de l'enveloppe du signal sur T. En calculant la moyenne de la valeur absolue de ces échantillons, nous avons un nombre homogène à la moyenne de l'enveloppe sur T. On choisira une représentation linéaire ou logarithmique des
Iteration 1 Modele 1 LA 3 Apport 32.94 %

<figure><img src="image_5.png" /></figure>

Iteration 2 Modele 2 LA 0 Apport 41.55 %

<figure><img src="image_6.png" /></figure>

Iteration 3 Modele 7 RE 4 Apport 3.81 %

<figure><img src="image_7.png" /></figure>

Iteration 4 Modele 7 LA# 3 Apport 3.758 %

<figure><img src="image_8.png" /></figure>

Iteration 5 Modele 7 MI 3 Apport 3.305 %

<figure><img src="image_9.png" /></figure>

Iteration 6 Modele 1 MI 2 Apport 4.245 %

<figure><img src="image_10.png" /></figure>
Iteration 1 Modele 1 MI 3 Apport 32.23 %

<figure><img src="image_11.png" /></figure>

Iteration 2 Modele 7 LA 2 Apport 2.917 %

<figure><img src="image_12.png" /></figure>

Iteration 3 Modele 7 DO 3 Apport 12.94 %

<figure><img src="image_13.png" /></figure>

Iteration 4 Modele 7 LA 2 Apport 8.546 %

<figure><img src="image_14.png" /></figure>

Iteration 5 Modele 7 LA 1 Apport 11.39 %

<figure><img src="image_15.png" /></figure>

Iteration 6 Modele 7 LA 3 Apport 4.769 %

<figure><img src="image_16.png" /></figure>
amplitudes ainsi calculées au sein de l'interface (cf 3). L'amplitude définit la hauteur d'une colonne de visualisation de largeur un pixel. Notre plan est constitué d'un ensemble de colonnes de visualisation. Chacune de celles-ci représente un intervalle de temps T du document musical.

La méthode d'extraction de fondamentales fournit les amplitudes relatives de 96 notes sur l'intervalle de temps T (pourcentages de fréquence expliqués par chacune de celles-ci). On choisit au sein de l'interface (cf 3) un seuil qui correspond à l'amplitude relative à partir duquel on doit représenter une note ou non. On découpe la colonne de visualisation en autant de zones qu'il faut représenter de notes. La hauteur d'une zone est fonction de l'amplitude relative de la note.

On identifie la longueur d'onde de la note à la longueur d'onde correspondante du spectre lumineux. On obtient ainsi une couleur pour la note, exprimée dans les trois canaux rouge, vert et bleu. La progression des graves aux médiums s'exprime ainsi par un passage du bleu au vert et celle des médiums aux aigus par un passage du vert au rouge. On convertit la couleur obtenue en trois paramètres: luminance, chrominance et saturation. On fixe la luminance à la valeur moyenne 0.5 pour diminuer les effets visuels de relief qu'introduisent les variations de luminance. La somme des amplitudes des notes non représentées (inférieures au seuil) définit un "bruit résiduel". En fonction de celui-ci, on calcule la saturation à attribuer à toute la colonne de visualisation. On reconvertit ensuite la couleur de chaque note ainsi modifiée en rouge, vert et bleu. Si l'algorithme discrimine des notes avec des amplitudes relatives très élevées, celles-ci sont considérées comme pures et correspondent aux couleurs les plus saturées. Au contraire, si l'algorithme discrimine des notes de faibles amplitudes relatives, celles-ci sont rejetées dans le bruit résiduel et la colonne de visualisation apparaît "désaturée" (chaque couleur de note représentée tend vers le gris).

## 2. Représentation multi-échelles

Nous définissons plusieurs échelles temporelles de représentation des documents sonores. A l'échelle 0, une colonne de visualisation de largeur un pixel correspond à 32 ms, à l'échelle 1, 64 ms (2xT), à l'échelle 2, 128 ms (4xT), à l'échelle 3, 256 ms (8xT) et à l'échelle 4, 512 ms (16xT). Pour passer de l'échelle e à l'échelle e+1, on réduit 2 colonnes de visualisation en une seule:

- Pour la représentation linéaire des amplitudes, la moyenne des amplitudes de deux colonnes à l'échelle e devient l'amplitude de la colonne à l'échelle e+1. Pour la représentation logarithmique, il faut appliquer la loi logarithmique sur la moyenne des amplitudes des deux colonnes à l'échelle e.

- L'amplitude relative d'une note à l'échelle e+1 devient la moyenne des amplitudes relatives de la même note pour les deux colonnes de visualisation à l'échelle e.

- La couleur de chaque note dépend du seuil fréquentiel que l'on doit choisir pour la nouvelle représentation à l'échelle e+1.

## 3. Paramétrisation de la représentation

L'utilisateur peut choisir l'échelle de visualisation (cf 2).

La ligne dynamique peut être symétrisée par rapport à l'axe des abscisses ou non. La représentation symétrique permet d'obtenir une plus grande surface de visualisation du document sonore. D'autre part, l'utilisateur peut opter pour une représentation linéaire ou logarithmique de la dynamique. Enfin, un lissage des amplitudes représentées conduit à une meilleure perception de la ligne dynamique.
L'utilisateur peut définir un mode de coloration relatif ou absolu de la ligne dynamique. En mode absolu, la couleur minimale (bleue) correspond à la note la plus grave que peut discriminer la méthode d'extraction de fréquences fondamentales (LA-1) et la couleur maximale correspond à la note la plus haute (SOL#7). Ce mode permet une visualisation homogène de plusieurs documents et donc de les comparer entre eux. Le mode relatif associe la couleur minimale (respectivement maximale) à la note la plus grave (aiguë) discriminée pour un document donné. Le choix de la couleur maximale (de l'orange au rouge) est laissé libre à l'utilisateur, quel que soit le mode de coloration.

Le seuil de segmentation fréquentielle permet de retenir les notes les mieux expliquées par la méthode d'extraction de fondamentales, et d'attribuer la saturation des différentes colonnes de visualisation en fonction du bruit résiduel.

Lorsque la méthode de segmentation de la ligne dynamique sera implantée, nous pourrons envisager la coloration de la ligne dynamique sur chaque objet discret ainsi créé et non plus sur chaque colonne de visualisation.

## 4. Exemples de représentations visuelles

La page suivante fournit différentes représentations visuelles obtenues sur la sonate en la mineur Op. 42 D. 845. de Franz Schubert interprétée au piano par Michel Dalberto. La représentation est logarithmique, symétrique, non lissée, le seuil de segmentation fréquentielle est fixé à 11%, le mode de coloration est relatif et la couleur maximale correspond à une longueur d'onde lumineuse de 8000 Å.

Les lignes 1 et 2 sont à l'échelle 0 (19 secondes de l'enregistrement). Les lignes 3, 4 et 5, respectivement aux échelles 1 (38 secondes de l'enregistrement), 2 (76 secondes de l'enregistrement), et 3 (152 secondes de l'enregistrement). Dans les lignes 3, 4 et 5, le curseur (matérialisé par un trait vertical occupant toute la hauteur de la représentation) est positionné sur la 42ème seconde de l'enregistrement. Les lignes 1 et 2 détaillent respectivement les 1ère et 2ème moitié de la ligne 3.

## IV. Conclusion

Les travaux présentés dans cet article se divisent en trois étapes: analyse temps-fréquence, extraction de fréquences fondamentales et représentation visuelle d'un enregistrement sonore. Ces trois phases s'enchaînent séquentiellement. La première doit fournir toutes les composantes fréquentielles de l'enregistrement. La méthode utilisée est une des plus classiques en traitement du signal. Elle peut être affinée par l'emploi de bancs de filtres ou de transformées en ondelettes. L'amélioration de la deuxième étape semble plus délicate. Le caractère itératif de la méthode permet difficilement de prédire les résultats obtenus lorsque l'on essaye de modifier les modèles. Cependant, la projection de l'espace physique des phénomènes vibratoires sur un espace perceptif permet de réduire les données nécessaires à la représentation de l'enregistrement et d'en donner ainsi une vision plus claire. Dans la dernière étape, l'utilisateur peut paramétrer cette représentation afin d'estimer, de manière interactive, les limites de l'application de la méthode. Par exemple, en choisissant tel ou tel seuil de segmentation fréquentielle, celui-ci peut régler la saturation des différentes colonnes de visualisation en fonction de la plus ou moins grande netteté des notes entendues.

Dans notre futur outil de consultation des documents musicaux, l'accès au contenu des œuvres devra s'effectuer grâce à une analogie simple entre objets entendus et représentés. De plus, la ligne dynamique sera complétée par des lignes fréquentielle, rythmique, timbrale et spatiale. Celles-ci serviront de point d'appui aux différentes formes de perception que l'on a d'un document musical.
<figure><img src="image_17.png" /></figure>

ligne 1

<figure><img src="image_18.png" /></figure>

ligne 2

<figure><img src="image_19.png" /></figure>

ligne 3

<figure><img src="image_20.png" /></figure>

ligne 4

<figure><img src="image_21.png" /></figure>

ligne 5
Bibliographie

[Arfib91] Arfib Daniel, "Analysis, Transformation, and Resynthesis of Musical Sounds with the Help of a Time-Frequency Representation" dans De Poli Giovanni, Piccialli Aldo et Roads Curtis, "Representations of Musical Signals" - The MIT Press, p. 87-118, 1991

[Arom85] Arom Simha, "Polyphonies et Polyrythmies Instrumentales d'Afrique Centrale, Structure et Méthodologie" - Vol. 1 & 2, Ed. Paris, S.E.L.A.F., Collection Ethno-musicologie, Paris, 1985

[Bayle93] Bayle François, "Musique acousmatique, propositions... ...positions" - Editions Buchet/Chastel, 1993

[Besson91] Besson Dominique, "La transcription des musiques électroacoustiques : que noter, comment et pourquoi ?" - Analyse Musicale, n° 24, p. 37-41, Juin 1991

[Cogan84] Cogan Robert, "New Images of Musical Sound" - Harvard University Press, London, 1984

[Evangelista91] Evangelista Gianpaolo, "Wavelet Transforms that We Can Play" dans De Poli Giovanni, Piccialli Aldo et Roads Curtis, "Representations of Musical Signals" - The MIT Press, p. 119-136, 1991

[Kronland-Martinet91] Kronland-Martinet Richard, Grossmann Alex, "Application of Time-Frequency and Time-Scale Methods (Wavelet Transforms) to the Analysis, Synthesis, and Transformation of Natural Sounds" dans De Poli Giovanni, Piccialli Aldo et Roads Curtis, "Representations of Musical Signals" - The MIT Press, p. 45-85, 1991

[Lepain93] Lepain Philippe, "Analyse de documents musicaux pour leur représentation visuelle" - Rapport de recherche I.R.I.T. n° 93-18-R, Université Paul Sabatier, Toulouse, Juin 1993

[Lindemann91] Lindemann Eric, "The Architecture of the IRCAM Musical Workstation" - Computer Musical journal, 15(3), p. 41-49, 1991

[Moorer77] Moorer James A., "On the transcription of Musical Sound by Computer" - Computer Music Journal, p. 32-38, November, 1977

[Oppenheim75] Oppenheim Alan V., Schafer Ronald W., "Digital Signal Processing" - Prentice-Hall International Editions, 1975

[Piszczalski77] Piszczalski Martin, Galler Bernard A., Arbor Ann, "Automatic Music Transcription" - Computer Music Journal, p. 24-31, November, 1977

[Risset91] Risset Jean-Claude, Wessel David, "Exploration du timbre par analyse et synthèse" dans "Le timbre, métaphore pour la composition" - I.R.C.A.M., Christian Bourgois Editeur, 1991

[Seeger91] Seeger Charles, "Notation prescriptive et notation descriptive" - Analyse Musicale, n° 24, p. 6-12, Juin 1991