<figure><img src="image_1.png" /></figure>

HAL
open science

# Introduction aux Méthodes Inverses

Christophe Martinsons

► To cite this version:

Christophe Martinsons. Introduction aux Méthodes Inverses. 3ème cycle. DESS Energétique, Reims, France. 1997, 48 p. hal-04861379

HAL Id: hal-04861379

https://cstb.hal.science/hal-04861379v1

Submitted on 2 Jan 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

Public Domain
# Introduction aux Méthodes Inverses

(12 h)
# Contenu des cours

## Cours 1 (pas de document) :

* Définition des problèmes direct et inverse

* Objectifs de la résolution du problème inverse

* **Rappels de probabilité:** interprétation statistique et interprétation bayésienne
  Variable aléatoire, probabilité, densité de probabilité
  Evènements incompatibles, indépendants
  Probabilités conditionnelles, formule de Bayes
  Espérance mathématique, variance
  Cas multivarié: covariance, corrélation, inégalité de Schwarz
  Probabilité jointe et matrice de variance-covariance
  Interprétation graphique de la notion de variables corrélées
  Loi de Laplace-Gauss (loi normale ou loi gaussienne)
  Variable normale centrée réduite
  Lois dérivées de la loi normale: chi-2, Student
  Importance des probabilités: théorème de la limite centrale, loi faible des grands nombres

* Principe général des méthodes statistiques

* Notion d'estimateur et de précision d'estimation

* Notion de risque et d'intervalle de confiance

* Définition du nombre de degrés de liberté

* **Principe des méthodes d'estimation de paramètres:**
  Hypothèse du bruit aléatoire additif, de moyenne nulle
  Moindres carrés ordinaires (OLS)
  Maximum de vraisemblance (ML)
  Maximum a posteriori ou estimation bayésienne (MAP): prise en compte objective d'une information a priori statistique ou subjective

* Expression des fonctions coût à minimiser dans le cadre de l'hypothèse gaussienne: $S_{OLS}$, $S_{ML}$ et $S_{MAP}$
Cours 2 (pas de document) :

* Linéarité du problème inverse: distinction entre problèmes linéaires et non linéaires

* Formalisme matriciel pour les problèmes à plusieurs paramètres:
  Vecteurs des données expérimentales et théoriques
  Vecteur des paramètres modèles
  Hypothèse du bruit additif de moyenne nulle
  Matrices symétriques définies positives, formes quadratiques
  Loi gaussienne multivariée
  Opérateur de dérivation par rapport à un vecteur: vecteur gradient et matrice jacobienne
  Gradient d'une forme quadratique
  Dérivée (matrice jacobienne) d'un vecteur combinaison linéaire d'un autre vecteur
  Matrice Hessienne d'une fonction scalaire
  Matrice de variance-covariance d'un vecteur combinaison linéaire d'un autre vecteur

* Modèle linéaire: écriture matricielle, matrice modèle G

* Solutions du problème inverse dans le cas linaire: OLS, ML, MAP
  Minimisation de la fonction coût (2 conditions)
  Calcul du gradient et de la matrice hessienne
  Unicité de la solution
  Formules donnant les estimateurs comme étant des combinaisons linéaires des données expérimentales
  Conditions d'existence des estimateurs OLS, ML et MAP
  Estimation de la variance du bruit par la méthode OLS
  Matrice de variance-covariance des estimateurs OLS, ML et MAP
  Validité de la solution: test bilatéral du chi-2. Examen des résidus.
  Intervalles de confiance: test de Student
Cours 3 (document fourni) :

* Problèmes non linéaires:

Définition

Intérêt de linéariser le modèle pour appliquer localement les résultats du cas linéaire

* Deux grands types de techniques pour résoudre le problème de la minimisation de la fonction coût: méthodes globales et méthodes locales

* Linéarisation du modèle: matrice G de sensibilité aux paramètres modèles

* Principe des méthodes locales (itératives, type gradient ou type Newton)

* Les méthodes de Gradient:

Principe et interprétation graphique

Méthode de la descente la plus rapide

Formules dans les cas OLS, ML et MAP

Calcul du pas optimal

* Les méthodes de Newton:

Principe et interprétation graphique

Méthode de Gauss-Newton (ou méthode de Gauss)

Formules dans les cas OLS, ML et MAP

* Comparaison des méthodes de gradient et de Newton

* Une méthode mixte: la méthode de Levenberg-Marquardt

* Linéarisation du modèle au minimum de la fonction coût:

Matrice de covariance approchée des estimateurs

Tests( approchés) du chi-2 et de Student
Cours 4 (document fourni) :

* Interêt d'étudier l'identifiabilité des paramètres modèles avant l'inversion

* Problème bien ou mal posé ? (existence, unicité et stabilité)

* Condition d'existence dans le cas linéaire (cas OLS, ML et MAP). Cas non linéaire.

* Exemples de cas où la solution n'existe pas. Interêt de regrouper les paramètres

* Unicité de la solution. Cas linéaire et non linéaires

* Stabilité de la solution. Nombre de conditionnement de la matrice G

* En pratique, on statue sur l'identifiabilité à partir de trois critères:
  Critère de sensibilité, critère de corrélation, critère de stabilité

* Un critère de corrélation: le critère K

* Conclusion: démarche générale pour l'étude d'identifiabilité

* Si le problème est mal posé. Trois remèdes:
  Optimisation de l'expérience (experimental design). Principe
  Plus d'information a priori (via la méthode MAP)
  Changer de paramètrage: méthode du paramètrage optimal

* Réduction du nombre des paramètres modèles: l'analyse dimensionnelle

* Le paramètrage optimal
  Définition
  Formules de changement de paramètrage. Transformation logarithmique
  Reformulation pour l'estimation de paramètres modèles logarithmiques. Avantage des logarithmes
  Matrices (sensibilité, hessienne, covariance) « normalisées »
  Diagonalisation du Hessien normalisé. Matrice de changement de paramètrage
  Exemple à 4 paramètres hautement corrélés
  Résolution du problème inverse par l'estimation des paramètres optimaux

* Methods for experimental design and parameter identification

* Les différentes sources d'erreur

* Incertitude d'estimation due aux paramètres supposés connus
* **Definition problèmes directs et inverse**

Predict

forward problem

<figure><img src="image_2.png" /></figure>

modélisation →

éq. algébraique

éq. différentielle

<figure><img src="image_3.png" /></figure>

données expérimentales préclite (théoriques)

b =
vers =

<figure><img src="image_4.png" /></figure>

<figure><img src="image_5.png" /></figure>

inverse problem

## 2 Ouvrages de référence

« Inverse Problem Theory : methods for data fitting and model parameters estimation »

Albert Tarantola, 1987

Elsevier

Geophysique
IPG-P

« Parameter estimation in Engineering and Science »

J.V. Beck K.J. Arnold

John Wiley & sons 1977

1985. Trolle W. J. P. van der Veer "Inverse Heat Conduction, ill-posed problems" J.V. Beck B. Blackwell 1985.
# Résolution des problèmes inverses

## Examen

durée : 1 heure

### I. Exercice d'application (~ 15/20) :

Une expérience fournit trois données expérimentales $d_1$, $d_2$ et $d_3$ correspondant à 3 instants de mesure différents $t_1$, $t_2$ et $t_3$ :

à $t_1 = 1$ s, on mesure $d_1 = 1.45$ V

à $t_2 = 2$ s, on mesure $d_2 = 3.01$ V

à $t_3 = 3$ s, on mesure $d_3 = 5.48$ V

La résolution du problème direct aboutit au modèle suivant :

$$ \eta(t) = m_1 t^2 + m_2 \quad \text{où } \eta \text{ s'exprime en V, } m_1 \text{ en V s}^{-2} \text{ et } m_2 \text{ en V} $$

Le problème inverse consiste à estimer la valeur de $m_1$ et $m_2$ à partir des 3 observations.

1. Le problème inverse est-il linéaire ? Justifier.

2. Quel est le nombre de degrés de liberté du problème inverse ?

3. Ecrire la matrice G et sa transposée G'.

4. Prouvez l'existence d'une solution au problème inverse au sens des moindres carrés ordinaires.

5. Résoudre le problème inverse en calculant les estimateurs de $m_1$ et $m_2$ au sens des moindres carrés ordinaires.

6. En utilisant les valeurs estimées de $m_1$ et $m_2$, calculer les données théoriques $\eta(t_i)$.

7. Ecrire la fonction coût $S_{OLS}$ du problème et calculer sa valeur résiduelle.

8. On suppose que les trois observations sont mutuellement indépendantes et entachées d'un bruit gaussien centré de même variance $\sigma^2$. Estimer cette variance et préciser l'écart-type $\sigma$.

9. Calculer la matrice de variance-covariance des paramètres estimés.

10. Calculer les écarts-types d'estimation de $m_1$ et de $m_2$. En utilisant la table de Student, donnez les intervalles de confiance à 90% des estimateurs de $m_1$ et $m_2$.

11. Calculer le coefficient de corrélation linéaire entre les estimateurs de $m_1$ et $m_2$.

### Questions subsidiaires (s'il vous reste du temps) :

12. Etudiez la stabilité de ce problème inverse en calculant le nombre de conditionnement de G (voir les rappels de calcul matriciel ci-joints).

13. En utilisant le critère K, démontrez que les deux paramètres ont été simultanément résolus par l'inversion des données.
## II. Questions générales (~ 5/20) :

* Dans quelles conditions peut-on procéder à une estimation au sens du maximum de vraisemblance ?

* Pourquoi l'analyse dimensionnelle d'un modèle est-elle bénéfique pour résoudre des problèmes inverses ?

* Quels sont les moyens de démontrer que l'identification simultanée de deux paramètres modèles n'est pas possible ? Comment résoudre le problème inverse dans ce cas ?

* Comment prendre en compte, de manière objective, une information a priori sur la valeur des paramètres à estimer ? Quel(s) avantage(s) peut-on tirer de la prise en compte de cette information ?

### Quelques rappels de calcul matriciel

* Inversion d'une matrice 2x2 : $M = \begin{pmatrix} a & b \\ c & d \end{pmatrix}$ :

$$M^{-1} = \frac{1}{\det(M)} \begin{pmatrix} d & -b \\ -c & a \end{pmatrix} \text{ avec } \det(M) = ad - bc$$

* Produit de 2 matrices A et B : $A.B = C$

Règle : Pour calculer l'élément (i,j) de C, on fait le produit des éléments de la i-ème ligne de A par les éléments de la j-ième colonne de B.

exemple :

$$\begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \end{pmatrix} \begin{pmatrix} b_{11} & b_{12} \\ b_{21} & b_{22} \\ b_{31} & b_{32} \end{pmatrix} = \begin{pmatrix} a_{11}b_{11} + a_{12}b_{21} + a_{13}b_{31} & a_{11}b_{12} + a_{12}b_{22} + a_{13}b_{32} \\ a_{21}b_{11} + a_{22}b_{21} + a_{23}b_{31} & a_{21}b_{12} + a_{22}b_{22} + a_{23}b_{32} \end{pmatrix}$$

Remarques :

- le nombre de colonnes de A doit être égal au nombre de lignes de B

- nombre de lignes de C = nombre de lignes de A

- nombre de colonnes de C = nombre de colonnes de B

* Valeurs propres d'une matrice 2x2 non singulière : $M = \begin{pmatrix} a & b \\ c & d \end{pmatrix}$ :

$$\lambda_1 = \frac{(a+d)+\sqrt{\Delta}}{2} \quad \text{et} \quad \lambda_2 = \frac{(a+d)-\sqrt{\Delta}}{2}$$

$$\text{avec } \Delta = (a-d)^2 + 4bc$$

* La transposée M' d'une matrice M est la matrice dont les lignes sont les colonnes de M et vice-versa.

Calculatrices et cours autorisés
<figure><img src="image_6.png" /></figure>

Examen de DESS Energie "Résolution des problèmes"

Christophe Nautignier LEO

I. 1) la probléie s'verse est linéaire car le modèle dépend linéairement de m₁ et m₂.

2) N=3
douées expérimentales : $V = N - P = 1$
$P = 2$ paramètres

1 degré de libéral

$$
3) \quad G = \begin{pmatrix} \frac{1}{9} & 1 \\ \frac{4}{9} & 1 \\ \frac{1}{9} & 1 \end{pmatrix}_{\begin{smallmatrix} n_1 \\ n_2 \\ n_3 \end{smallmatrix}}
$$

$$
G^t = \begin{pmatrix} 1 & 4 & 9 \\ 1 & 1 & 1 \end{pmatrix}
$$

4) Existe-t-une solution au sens des marques canéennes si $det(G^t G) \neq 0$

⇒ $\overline{\mathrm{DG}}$ fait calculer $G^t G$

$$
G^t G = \begin{pmatrix} 1 & 4 & 9 \\ 1 & 1 & 1 \end{pmatrix} \begin{pmatrix} 4 & 1 \\ 9 & 1 \end{pmatrix} = \begin{pmatrix} 98 & 14 \\ 14 & 3 \end{pmatrix}
$$

$$
det(G^t G) = 98 \times 3 - 14 \times 14 = 98 \neq 0
$$

⇒ Existe-t-une solution.

Comme la probléie s'verse est linéaire, la
soluti### on et unique.

$$
m = \begin{pmatrix} m_1 \\ m_2 \end{pmatrix} \qquad d = \begin{pmatrix} d_1 \\ d_2 \end{pmatrix} = \begin{pmatrix} 145 \\ 548 \end{pmatrix}
$$

$$
\boxed{\hat{m}_{015} = (G^t G)^{-1} G^t d}
$$

• calcul de $(G^t G)^{-1}$ : on utilise la formule donnée en annexe

$$
\begin{pmatrix} 98 & 14 \\ 14 & 3 \end{pmatrix}^{-1} = \frac{1}{98} \begin{pmatrix} 3 & -14 \\ -14 & 98 \end{pmatrix} = \begin{pmatrix} \frac{3}{7} & -\frac{1}{7} \\ -\frac{1}{7} & 1 \end{pmatrix}
$$

$$
\bullet G^t d = \begin{pmatrix} 1 & 4 & 9 \\ 1 & 1 & 1 \end{pmatrix} \begin{pmatrix} 3 & 0 \\ 5 & 4 \end{pmatrix} = \begin{pmatrix} 6281 \\ 994 \end{pmatrix}
$$
$$ \hat{m}_{OLS} = \begin{pmatrix} \frac{3}{98} & -\frac{1}{7} \\ -\frac{1}{7} & 1 \\ 1 & \frac{62,91}{994} \end{pmatrix} = \begin{pmatrix} 0,503 \\ 0,967 \end{pmatrix} $$

$$ \begin{bmatrix} \hat{m}_1 & = & 0,503 & V_1^2 \\ \hat{m}_2 & = & 0,967 & V \end{bmatrix} $$

$$ \begin{aligned} \eta(t_1) &= 0,503 \times 1^2 + 0,967 = 1,470 \ V \\ \eta(t_2) &= 0,503 \times 2^2 + 0,967 = 2,979 \ V \\ \eta(t_3) &= 0,503 \times 3^2 + 0,967 = 5,494 \ V \end{aligned} $$

$$ S_{OLS} = \sum_{i=1}^{3} (d_i - \eta(t_i))^2 $$

$$ \begin{aligned} (S_{OLS})_{\min} &= S_{OLS} \text{ pour } m_1 = \hat{m}_1 \text{ et } m_2 = \hat{m}_2 \\ &= (1,45 - 1,470)^2 + (3,01 - 2,979)^2 + (5,98 - 5,494)^2 \\ &= 0,00156 \end{aligned} $$

$$ \begin{gathered} \hat{\sigma}_e = 0,00156 \ V_e \\ \hat{\sigma} = \frac{(S_{OLS})_{\min}}{\sqrt{1^2}} = (S_{OLS})_{\min} \end{gathered} $$

$$ \hat{\sigma}_e = 0,00156 \ V_e $$
(écart-type du bruit (estimé) au bruit
sur les données)

$$ \begin{aligned} C_m &= \sigma^2 (6 \times 6)^{-1} \\ &= 0,00156 \begin{pmatrix} \frac{3}{98} & -\frac{1}{7} \\ -\frac{1}{7} & 1 \end{pmatrix} \\ &= \begin{pmatrix} 4,776 \times 10^{-5} & -2,229 \times 10^{-4} \\ -2,229 \times 10^{-4} & 0,00156 \end{pmatrix} \end{aligned} $$

$$ \begin{aligned} \sigma(m_1) &= \sqrt{\overline{var(m_1)}} = \sqrt{4,776 \times 10^{-5}} \approx 0,007 \ V_0^{-1} \\ \sigma(m_2) &= \sqrt{\overline{var(m_2)}} = \sqrt{0,00156} \approx 0,04 \ V \end{aligned} $$
$$ \begin{aligned} \text{(11)} \cdot \rho(m_1, m_2) &= \frac{\operatorname{cov}(m_1, m_2)}{\sqrt{\operatorname{var} m_1} \sqrt{\operatorname{var} m_2}} = \frac{-229.16^{-4}}{\sqrt{4776.16^{-5} \times 0.00156}} \end{aligned} \quad (5) $$

$$ \boxed{\rho(m_1, m_2) = -0.817} $$

12)

Nombre de conditions de G : $CN(G) = \frac{\lambda_{\max}}{\lambda_{\min}}$ à $\lambda_{\max}$ et $\lambda_{\min}$ sont les valeurs singulières extérieures de G $\Leftrightarrow$ valeurs propres de $G^t G$

On utilise les formules données en annexe :

$$ G^t G = \begin{pmatrix} 98 & 14 \\ 14 & 3 \end{pmatrix} \qquad \lambda_1 = \frac{(91+3)^2 + \sqrt{(98-3)^2 + 4(14+14)}}{2} \approx 5150 $$

$$ \lambda_2 \approx 5051 $$

$$ CN(G) = \frac{5150}{5051} \approx 1.01 $$

tous les numérateurs de conditions

(première de 1)

13)

Matrice des coefficients de corrélation :

$$ \rho = \begin{pmatrix} \rho(m_1, m_1) & \rho(m_1, m_2) \\ \rho(m_2, m_1) & \rho(m_2, m_2) \end{pmatrix} = \begin{pmatrix} 1 & -0.817 \\ -0.817 & 1 \end{pmatrix} $$

$$ \det \rho = 1 - (-0.817)^2 = 0.3325 $$

$$ \boxed{K = \frac{1}{2} \frac{\log \frac{1}{\det \rho}}{\det \rho} \approx 0.24} $$

Citére K : Valeur maximale admissible pour K = $\frac{1}{2}$ (nb. de chiffres significatif des données exp.)

$$ K_{\max} = \frac{1}{2} \times 3 = 1,5 $$

⇒ Le crite K est satisfait : les paramètres ne sont pas trop covellés, il est bien résolus par l'inversion des données.

<figure><img src="image_7.png" /></figure>

→ Problème inverse parfaitement stable.
II) Questions générales.

17

• Méthode du maximum de vraisemblance :

- bruit additif

- denité de probabilité du bruit connue
(Il peut être gérante et l'indépendance des données est vérifiée est fausse)

• Analyse dimensionnelle :

- permet de réduire la nombre des paramètres impliqués dans un modèle

- les nombres sans dimensions permettent d'avoir des matières mieux conditionnées car leurs valeurs numériques sont moins dispersées.

(imaginer un problème inexplorable où on cherche à estimer une longueur en $10^{-6}$ m et une chaleure volumique $\rho_{CP}$ en $10^6$ $Jm^{-3}K^{-1}$)

- on peut avantageusement travailler sur les logarithmes des nombres sans dimension.

(En étudiant des logarithmes, on aura toujours des mb positifs en pénant l'exponentielle) → Noillette et 1,14; Ar 0,1147.

• Identification simulée imposée si les paramètres sont trop corréls.

On calcule les coefficients de corrélation et on applique la critère K pour comparer avec la précision des données expérimentales.

Si top de corréations :

- on optimise l'expérience

- on utilise de l'information a priori à l'aide de la méthode MAP

- on suppose comme l'un des deux paramètres (pas très bon...)

- on cherche à estimer une continuité de ces paramètres (ex: méthode du paramètre optimal).

• information a priori → utilisation de méthodes bayesiennes
ex: Maximum a posteriori (MAP)

Avantages : - existence d'une solution possible, même si la solution au sein des manières carrières ordinaires on du max. de ways n'existe pas.

incommensurable

18

- meilleure stabilité de l'interprétation.
- problèmes non linéaires

- méthodes d'optimisation :

- type gradient

- type Newton
## problèmes non linéaires

Modèle théorique : $\eta = g(m)$

$g$ : fonction non linéaire d'au moins un des paramètres modèles $m_j$

$$S_{OLS} = (d - g(m))^T (d - g(m))$$

$$S_{ML} = (d - g(m))^T C_d^{-1} (d - g(m))$$

$$S_{MAP} = (d - g(m))^T C_d^{-1} (d - g(m)) + (m - m_{prin})^T C_{prin}^{-1} (m - m_{prin})$$

↑ les fonctions coût ne sont plus des fonctions quadratiques de m, ce ne sont plus des paraboliques.

leur forme dépend du modèle $g(m)$

→ pas forcément un minimum unique

<figure><img src="image_8.png" /></figure>

PROBLEME DE LA MINIMISATION de $S(m)$ :

* point selle :
  * $m_1$ : min
  * $m_2$ : max
  * mais $\underline{m} = 0$ / $\overline{m}$

* minima locaux
Si $S(m)$ n'est pas une forme quadratique de $m$, $2$ alors $\exp(-\frac{1}{2}S(m))$ n'est pas une gaussienne...

La densité de probabilité des paramètres est quelconque, même si on suppose le bruit gaussien et une information à priori de forme gaussienne.

**NEANMOINS** : si la non linéarité en $m$ n'est pas très "fate", on va linéariser localement $g(m)$ autour de $m$. et approximer la densité de probabilité des paramètres par une gaussienne.

On pourra donc, en linéarisant $g(m)$, appliquer les résultats (localement) valables dans le cas linéaire → test du $\chi^2$, intervalles de confiance par Student...

modèle ≈ linéaire

<figure><img src="image_9.png" /></figure>

$S(m) \approx$ quadratique

<figure><img src="image_10.png" /></figure>

$f(m) \approx$ gaussien
2 grands types de techniques pour résoudre
le problème de la minimisation d'une fonction
Scalaire d'un vecteur m

méthodes globales
---

* exploration systématique
de tout un ensemble de
valeurs des mᵢ

• méthodes de Monte Carlo

(OK pour les problèmes
hautement non linéaire)

→ utilisation de générateurs
de nombres aléatoires de
deniti de probabilité connue
ex. méthode du récit simule'

métodes locales
DEVELOPPEMENT
LIMITÉ de S(m)
+ ITÉRATIONS

+ ITÉRATIONS

• méthodes de gradient

• méthodes de Newton

* méthodes "mixtes"  
  combinant gradient  
  et Newton.

↑
adaptés aux
pbs non linéaires
mais linéarisable
$$
\left[
\begin{array}{l}
\text{LINEARISATION DU} \\
\text{MODELE } \eta = g(m) \\
\text{autour de } m_0
\end{array}
\right.
\rightarrow \text{matrice de} \\
\text{semihilité } G
\right]
$$

Dev de Taylor au 1er ordre de g(m) :

$$
\eta(m) \approx \eta(m_0) + G (m - m_0)
$$
$$
\text{vec concernant } \dim N \quad \text{vec concernant } \dim P
$$
$$
\text{matrice } N \times P
$$

$$
\Leftrightarrow \delta \eta \approx G \cdot \delta m \quad \underline{\underline{\text{rappel linéaire}}}
$$

$$
\text{avec } G_{ij} = \left( \frac{\partial \eta_i}{\partial m_j} \right)_{m=m_0} \quad \text{matrice de semihilité de } \eta \text{ par rapport à } m
$$

$$
G = \left( \frac{\partial \eta_t}{\partial m} \right)^t \quad \text{en notation vectorielle}
$$

$$
G = \begin{pmatrix} \frac{\partial \eta_1}{\partial m_1} & \cdots & \frac{\partial \eta_i}{\partial m_i} & \cdots & \frac{\partial \eta_N}{\partial m_N} \\ \vdots & \ddots & \vdots & \ddots & \vdots \\ \frac{\partial \eta_1}{\partial m_1} & \cdots & \frac{\partial \eta_i}{\partial m_i} & \cdots & \frac{\partial \eta_N}{\partial m_N} \\ \vdots & \ddots & \vdots & \ddots & \vdots \\ \frac{\partial \eta_1}{\partial m_1} & \cdots & \frac{\partial \eta_i}{\partial m_i} & \cdots & \frac{\partial \eta_N}{\partial m_N} \end{pmatrix} \text{ chaque colonne de } G \text{ correspond à un paramètre } m_j
$$
Principe des méthodes locales (type Newton, gradient, mixtes)
→ méthodes itératives

<figure><img src="image_11.png" /></figure>
Méthodes de type gradient

Le gradient de S(m) = oppoé de la direction
de descente la plus rapide
dans l'espace des m_j

<figure><img src="image_12.png" /></figure>

vector gradient : $\frac{\partial S}{\partial m}$

direction de descente la plus rapide : $\nabla = -\frac{\partial S}{\partial m}$

Cas OLS : (vector)

$$
S_{\text{OLS}} = (d - g(m))^T (d - g(m))
$$

gradient $\left(\frac{\partial S_{OLS}}{\partial m}\right)_{m_0} = 2 G^t [g(m_0) - d]$ avec G : matrice de semblante
(à faire) pour m = m_0

(Cas ML :

$$
S_{\text{ML}} = (d - g(m))^T C_d^{-1} (d - g(m))
$$

gradient $\left(\frac{\partial S_{\text{ML}}}{\partial m}\right)_{m_0} = 2 G^t C_d^{-1} (g(m_0) - d)$ à faire
ML, OLS :

7

$$ \gamma_{\text{OLS}} = -2 G^t (g(m) - d) $$

$$ \gamma_{\text{ML}} = -2 G^t C_d^{-1} (g(m) - d) $$

à l'itération *m* de l'algorithme :

$$ \text{ML par ex : } \left\{ \begin{array}{l} \gamma_{(m)} = -2 G_{(m)}^t C_d^{-1} (g(m) - d) \\ \delta m_{(m)} = \alpha_{(m)} \gamma_{(m)} \end{array} \right. $$

↑ “passant” de la méthode du gradient (scalaire)

$$ m_{(m+1)} = m_{(m)} + \delta m_{(m)} $$

Correction du, 
paramètres 
→ itération 
suivante
<figure><img src="image_13.png" /></figure>

$\alpha_{(m)}$ optimal $\Rightarrow$ minimiser $S(m_{(m)} + \delta m_{(m)})$

$$ 
\begin{align*} 
S(m_{(m)} + \delta m_{(m)}) &= S(m_{(m)} + \alpha_{(m)} \gamma_{(m)}) \\
&= (d - g(m_{(m)} + \alpha_{(m)} \gamma_{(m)}))^t C_d^{-1} (d - g(m_{(m)} + \alpha_{(m)} \gamma_{(m)}') 
\end{align*} 
$$

linéarisation de $g(m_{(m)} + \alpha_{(m)} \gamma_{(m)}) \rightarrow g(m_{(m)}) + \alpha_{(m)} G_{(m)} \gamma_{(m)}$

$$ \Rightarrow S(m_{(m)} + \delta m_{(m)}) = S(m_{(m)}) + \alpha_{(m)} (G_{(m)} \gamma_{(m)})^t C_d^{-1} (d - g(m_{(m)})) \\ 
+ \frac{1}{2} \alpha_{(m)}^2 (G_{(m)} \gamma_{(m)})^t C_d^{-1} (G_{(m)} \gamma_{(m)}) $$

On choisit $\alpha_{(m)}$ tel que $S(m_{(m)} + \delta m_{(m)})$ est minimum

$$ \Leftrightarrow \frac{\partial S(m_{(m)} + \delta m_{(m)})}{\partial \alpha_{(m)}} = 0 $$

$$ \alpha_{(m)} = \frac{(G_{(m)} \gamma_{(m)})^t C_d^{-1} (d - g(m_{(m)}))}{(d - g(m_{(m)}))^t C_d^{-1} (d - g(m_{(m)}))} \quad (\text{scalair}) $$
## Méthodes de gradient les plus connues :

- méthode de la descente la plus rapide (présentée en 7)

- méthode du gradient conjugé (tès performante)

**Remarque :** dans le cas MAP, la direction de descente la plus rapide est :

$$ \gamma = - C_{\text{prior}} \left( \frac{\partial S_{\text{MAP}}}{\partial m} \right) $$

$$ S_{\text{MAP}}(m) = (d - g(m))^{\top} C_d^{-1} (d - g(m)) + (m - m_{\text{prior}})^{\top} C_{\text{prior}}^{-1} (m - m_{\text{prior}}) \\ \left( \frac{\partial S_{\text{MAP}}}{\partial m} \right)_{m_o} = 2 \left( G^{\top} C_d^{-1} (g(m_o) - d) + C_{\text{prior}}^{-1} (m_o - m_{\text{prior}}) \right) $$

$$ \gamma_{\text{MAP}} = -2 \left( C_{\text{prior}} G^{\top} C_d^{-1} (g(m_o) - d) + m_o - m_{\text{prior}} \right) $$
Développement de S(m) au second ordre : (Taylor)

$$ S(m_0 + \delta m) \approx S(m_0) + \left(\frac{\partial S}{\partial m}\right)_{m_0}^t \delta m + \text{vecteur gradient} + \frac{1}{2} \delta m^t \left(\frac{\partial^2 S}{\partial m^2}\right)_{m_0} \delta m $$

matrice Hessian

$$ \text{parel que : } S(m) \approx S(m_0) + \left(\frac{\partial S}{\partial m}\right)_{m_0}^t (m - m_0) + \frac{1}{2} (m - m_0)^t \left(\frac{\partial^2 S}{\partial m^2}\right)_{m_0} (m - m_0) $$

= approximation

quadratique de S(m)

autour de m₀

= équation du parabole de tangent à S(m₀)
Principe des méthodes de Newton : on calcule $\frac{\partial S(m)}{\partial m}$ pour aboutir à la minimisation de $S(m)$

$$ \frac{\partial S(m)}{\partial m} = 0 $$

$$ \Rightarrow S(m + \delta m) - S(m) = 0 $$

$$ \Rightarrow \frac{1}{2} \delta m^t \left( \frac{\partial^2 S}{\partial m^2} \right) \cdot \delta m = - \left( \frac{\partial S}{\partial m} \right)^t \cdot \delta m $$

$$ \Rightarrow \frac{1}{2} \delta m^t \left( \frac{\partial^2 S}{\partial m^2} \right) = - \left( \frac{\partial S}{\partial m} \right)^t, \forall \delta m $$

$$ \text{je tiens pox} \quad \Rightarrow \quad \frac{1}{2} \left( \frac{\partial^2 S}{\partial m^2} \right)^{\text{H}} \cdot \delta m = - \left( \frac{\partial S}{\partial m} \right) $$

↓ matrice hérmitienne
→ symétrique

$$ \delta m = - \left( \frac{1}{2} \frac{\partial^2 S}{\partial m^2} \right)^{-1} \left( \frac{\partial S}{\partial m} \right) $$

↑ inverse du Hessian
(= covariance !)
veuillez梯 function

| gradient
"m" "x" "y" "z" "t" "v" "w" "e"
Interprétation graphique de la méthode 12 de Newton :

<figure><img src="image_14.png" /></figure>

La méthode de Newton donne

la corréction $δm$ en direction (gradient)

mais aussi en **taille** ("pas" = inverse du Hessian,

petite combinaison locale

→ "petit" Hessian

→ "grande" corréction des paramètres

Plus $S(m)$ est couverte,

dépend de la (autre)

plus fort que de la méthode de Newton reprend réitres
Méthode de Gauss - Newton
---
(ou méthode de Gauss)

On approxime le hessien $\frac{\partial^2 S}{\partial m^2}$ en négligeant
les dérivées secondes du modèle $g(m) \Leftrightarrow$
négliger les dérivées première des coefficients
de semilité $\sigma_{ij} = \frac{\partial g}{\partial m_{j}}$

pour OLS : $\frac{\partial^2 S_{OLS}}{\partial m^2} \approx 26^t G$ ; $G$ = matrice de semilité

ML : $\frac{\partial^2 S_{ML}}{\partial m^2} \approx 26^t C_d^{-1} G$

MAP : $\frac{\partial^2 S_{MAP}}{\partial m^2} \approx 2 (6^t C_d^{-1} 6 + C_{\text{prin}}^{-1})$
$$
\underline{\text{OLS}} : \quad \delta m_{(m)} = - (\hat{\sigma}_m^t \hat{\sigma}_m)^{-1} \hat{\sigma}_m^t (d - g(m_m))
$$

$$
\underline{\text{ML}} : \quad \delta m_{(m)} = - (\hat{\sigma}_m^t C_d^{-1} \hat{\sigma}_m)^{-1} \hat{\sigma}_m^t C_d^{-1} (d - g(m_m))
$$

$$
\underline{\text{MAP}} : \quad \delta m_{(m)} = - ( \hat{\sigma}_m^t C_d^{-1} \hat{\sigma}_m + C_{\text{prin}}^{-1} )^{-1} \cdot
$$

$$
\left[ \hat{\sigma}_m^t C_d^{-1} (d - g(m_m)) + C_{\text{prin}}^{-1} (m_m - m_{\text{prin}}) \right]^{-1}
$$

actualisation de la valeur des
paramètres

$$
M_{(m+1)} = M_{(m)} + \delta m_{(m)}
$$
## Comparaison des méthodes de Newton et de Gradient

15

NEWTON

Condition exacte de minimisation
(gradient et Hessien)

GRADIENT

Condition de 1ᵉ ordre
(gradient) seulement
→ peut converger en un point selle.

Bonne convergence près du
minimum de S(m)

Bonne convergence loin
du minimum de S(m)

à chaque itération, il
fut inverser une matrice Hessienne
* problème du mauvais conditionnement
de la matrice (pb mal port)
* très long si l'op de paramètres

Bien adaptée pour peu
de paramètres, à estimer,
sans trop de corrélation
entre les paramètres

pas de matrice
à inverser :

* rapide
* adapté lorsque il
a beaucoup de
paramètre
( > 10)
utiliser le gradient
casquement)
Une méthode mixte :

la méthode de Levenberg-Marquardt :

$$
\text{ML:} \quad \delta m_{(m)} = - (G_m^t C_d^{-1} G_m + \mu_m I)_{\text{matrice identité}}^{-1} \cdot \underbrace{[G_m^t C_d^{-1} (d - g(m_m))]}_{\text{gradient}}
$$

$\mu_m$ grand → Méthode de descente la plus rapide

$\mu_m$ petit → Méthode de Gauss-Newton

Stratégie : laïe du minimum $\mu_n$ grand
près du minimum $\mu_n$ petit

On bénificie des avantages des
2 techniques

(mais chers de $\mu_n$ pas tayons évident
à optimiser)
Après la minimisation
de S(m), j'obtient un
estimateur ūm (OLS, ML ou MAP)
t·q· S(ūm) = minimum

je linéarise localement g(m) en ūm
→ je calcule Œ : matrice de sensibilité en m = ūm

→ je calcule la matrice de var-cov
de ūm :

$$
C_{\hat{m}} = \left( \frac{1}{2} \frac{\partial^2 S}{\partial m^2} \right)^{-1} \xrightarrow{\substack{\approx \\ \text{à peur de}}}
\begin{cases}
(\hat{G}^t C_d^{-1} \hat{G})^{-1} & \text{ML} \\
(\hat{G}^t C_d^{-1} \hat{G} + C_{\text{min}}^{-1})^{-1} & \text{MAP}
\end{cases}
$$

• els diagoaux : variance

→ écarts-type d'estimation

• els hors-diagonaux : covariance → coefficients de corrélation
En liéarisant localement le modèle autonome de m̂ :

$$ j'ai \quad g(m) = g(m̂) + G(m - m̂) $$

liéaire

⇒ S(m) localement quadratic

⇒ exp(-1/2 S(m)) localement gausienne

<figure><img src="image_15.png" /></figure>

• Su(S<sub>ML</sub>)<sub>min</sub> (N-P d.l.)
OLS

En supposant le bruitgauche et de
variance constante σ², d²,

$$
\sigma_d^2 \approx \frac{(S_{OLS})_{\min}}{N-P}
$$

et $(C_{\hat{m}})_{OLS} \approx \sigma^2 (G^t G)^{-1}$

les intervalles de confiance sont donnés, de manière
estimée, par Student :

$$
m_j \in [\hat{m}_j - t\sigma_{\hat{m}_j} ; \hat{m}_j + t\sigma_{\hat{m}_j}]
$$
Remarques :

* Comme les méthodes locales utilisent le gradient, on calcule la matrice de sensibilité à chaque itération. On n'est pas obligé de la recalculer en $\hat{m}$.

* dans les méthodes de Newton, le hessien est calculé à chaque itération. et inverse'.

On obtient donc la matrice de var-cov des paramètres à chaque itération.

Ces méthodes (Newton) donnent "directement la matrice de var-cov $C_{\hat{m}}$
Identificabilité des parametres modèles :

- problène mal posé' ou bien posé' ?

- le paramétrage optimal

- méthodologie générale
Identifiabilité des paramètres modèles

1

BUT : avant de se lancer dans l'inversion, il faut examiner si celle-ci est possible.

Examiner si le problème est très mal posé
→ très difficile à résoudre.

à faire avant
l'inversion
Définition d'un problème bien posé : 1/2

• la solution existe

• la solution est unique

• la solution est stable

3 conditions
nécessaires

<figure><img src="image_16.png" /></figure>

si une des 3 conditions n'est pas
satisfait → problème mal posé'.
<figure><img src="image_17.png" /></figure>

13

= existence d'un estimateur OLS, ML ou MAP

* **Condition d'existence dans le cas linéaire**
  $η = G_m$

OLS : $det(G^tG) ≠ 0$

ML : $det(G^tC_d^{-1}G) ≠ 0$

MAP : $det(G^tC_d^{-1}G + C_{prior}^{-1}) ≠ 0$

<figure><img src="image_18.png" /></figure>

⚠️ la condition d'existence peut être satisfaite pour MAP et pas pour OLS et ML

* **cas non - linéaire** : on linéarise le modèle autonome d'une valeur de référence $m_0$. considérée comme la solution recherchée au problème inverse
  $$G_{ij} = (\frac{\partial y_i}{\partial m_j})_{m_0}$$
  matrice de sensibilité pour $m = m_0$

OLS : $det(G^tG) ≠ 0$

ML : $det(G^tC_d^{-1}G) ≠ 0$

MAP : $det(G^tC_d^{-1}G + C_{prior}^{-1}) ≠ 0$
<figure><img src="image_19.png" /></figure>

Que faut-il pour avoir

le déterminant du Hessian de $S_{OLS}$
$S_{ML}$
$S_{MAP}$

qui soit égal à zéro ?

$$
\text{OLS : det}(G^t G) = 0
$$

$G$: matrice modélite, cas linéaire

$G$, matrice de semimilité, cas m.l.

L'exists qu'il existe au
moins 2 colonnes de la matrice G
qui sont linéairement dépendantes

$$
G = \left( \begin{array}{c|ccc} & & & \\ & \ddots & & \\ & & \ddots & \\ & & & \ddots \\ \end{array} \right)
\xrightarrow{\leftarrow} \text{rang } G < \text{P}
$$

$\Rightarrow \text{rang } G < P$

$\text{nb de colonnes}$

$\text{liéairement}$

$\text{indépendantes de } G$

Chaque colonne
est relative à un parâtre m_j

$\Rightarrow$ au moins 2 paranètres
ont la même influence
sur les données .
exemples

• ces linéaires

√5

<figure><img src="image_20.png" /></figure>

≈ 2 colonnes proportionnelles

$$
\text{nang } G = 2
$$

$$
\det(G^t G) = 0 \quad \text{pas de solutions}
$$

pb mal peak

⇒ il n'existe pas d'estimation
de (m₁, m₂, m₃) au sens
des moraines carrés.

Remède

on appelle m' = m₁ + 2m₂

⇒ $\eta' = m' + m_3 t$ (nouveau modèle avec moins de paramètres)

$$
G' = \begin{pmatrix} 1 & t_1 \\ : & : \\ 1 & t_N \end{pmatrix}
$$

Il existe une solution au pb inverse
d'estimation de (m', m₂)
x (Cas non linéaire :

$\sqrt{6}$

$$ \eta = m_1 m_2 t + m_3^2 $$

N mêmes : $t_1... t_N$

$$ G_{ij} = \left( \frac{\partial m_j}{\partial m_i} \right)_{t=t_i} = \begin{pmatrix} m_2 t_1 & m_1 t_1 & 2m_3 \\ \vdots & \vdots & \vdots \\ m_2 t_N & m_1 t_N & 2m_3 \end{pmatrix} $$

matrice
de semilatité

$$ (1) \uparrow \qquad (2) \downarrow $$

2 colonnes proportionnelles

$$ (2) = (1) \cdot \frac{m_1}{m_2} $$

$$ \mathrm{rang} G = 2 \quad (< 3) $$

$$ \det (G^t G) = 0 $$

pb. mal posé

Remède : on reformule le problème inverse

→ estimation de $m' = m_1 m_2$

et $m_3$
**Caseil :** éviter la supparamérisation
dans les modèles

grouper les paramètres

⇒ formulation adimensionnée du modèle
= nb minimal
de paramètre.

<figure><img src="image_21.png" /></figure>

Dans le cas où rang (G) < P,

$$
\det(G^t G) = 0
$$

$$
\text{et } \det(G^t C_d^{-1} G) = 0
$$

aussi

par contre, det(G^t C_d^{-1} G + C_p^{\text{prin}}) pas forcément
=0

→ TOUT DEPEND DE L'INFORMATION
A PRIORI → utilité de MAP quand
il n'y a pas de solutions OLS et ML
Unicité de la solution
au pb inverse

1/8

* Dans le cas linéaire, $S_{LS} = \text{paraboloide} \Rightarrow 1 \text{ seul minimum}$
  si bruit gaussen $\Rightarrow S_{ML}, S_{MAP}$ idem
  et info. à priori gaus.

* Dans le cas non linéaire, rien ne garantit l'unicité du minimum de S(m)

- soit on explore systématiquement
tout l'espace des paramètres

- soit on lance la procédure de
minimisation à partir de
différentes valeurs initiales
et vérifie que l'on obtient le
même minimum.
<figure><img src="image_22.png" /></figure>

19

La solution $\hat{m}$ est stable si une petite variation sur les données ($\delta d$) ne provoque pas une variation arbitrairement grande des paramètres $\hat{m}$.

Il faut étudier la relation entre $\delta d$ et $(\delta\hat{m})_{ridique \ par \ \delta d}$. ( $\delta d$ est modélisé par $\delta\hat{m}$)

* **Cas linéaire**
  $\eta = \epsilon m \quad \Rightarrow \quad \delta\eta = \epsilon \delta m$

* **Cas non linéaire**
  $\eta = g(m)$

On linéarise autant de $m_0$ solution "attendue au problème inverse"

à la solution de la équation matricielle.
Définition du nombre de conditionnement /10
de la matrice G :

L' CN(G) : nommé positif

Dans le cas d'une matrice rectangulaire :

$$
CN(G) = \frac{\lambda_{max}}{\lambda_{min}}
$$

oï $\lambda_{max}$ = valeur singulière maximale
de $G$

$\lambda_{\min}$ = plus petite valeur singulière de G

( valeurs singulières de G = valeurs propres de $G^t G$ )

matrice mal conditionnée $\Rightarrow CN(G) \to \infty$

bien conditionnée $\Rightarrow CN(G) \to 1$
Si rang($\Theta$) < P, det($\Theta^t\Theta$) = 0 : il existe un moins une valeur propre de $\Theta^t\Theta$ qui est nulle

$$ \rightarrow CN(\Theta) = \infty \quad \begin{array}{c} \text{cas extérieur} \\ \text{du manquais} \\ \text{conditionnement} \end{array} $$

propriété du nb de conditionnement :

$$ \text{si } \eta = \Theta m $$

$$ \text{alors } \left\| \frac{\delta m}{m} \right\| = CN(\Theta) \left\| \frac{\delta \eta}{\eta} \right\| \xrightarrow{\sim} \left\| \frac{\delta d}{d} \right\| $$
$$ \begin{array}{c} \text{Variation relative} \\ \text{des paramètres} \end{array} \quad \left\{ \begin{array}{c} \text{Variation relative} \\ \text{des données (théorique)} \end{array} \right. $$

coefficient d'amplification
entre les erreurs sur les données
et les erreurs sur les paramètres
modèles
Matrice G mal conditionnée :

→ petite variations (ex. bruit !)
su les données

induisent de grosses

variations des paramètres = instabilités

* Conseils pour avoir une matrice G bien conditionnée :

• avoir des colonnes les plus linéairement indépendantes possibles

⇔ estimer des paramètres modèles
dont l'influence sur les données n'est
pas la même.

⇔ estimer des paramètres dont les
estimateurs sont les moins «corélés» possibles

<figure><img src="image_23.png" /></figure>
Exemple de mauvais conditionnement :

<figure><img src="image_24.png" /></figure>

$$G = \begin{pmatrix} 10 & 7 & 8 & 7 \\ 7 & 5 & 6 & 5 \\ 8 & 6 & 10 & 9 \\ 7 & 5 & 9 & 10 \end{pmatrix} ; d = \begin{pmatrix} 32 \\ 23 \\ 33 \\ 31 \end{pmatrix}$$

Trouver m tel que $Gm = d \Leftrightarrow m = G^{-1}d$ (matrice carrée)

$$\text{On trouve } m = \begin{pmatrix} 1 \\ 1 \\ 1 \\ 1 \end{pmatrix}$$

Si $d = \begin{pmatrix} 32.1 \\ 22.9 \\ 33.1 \\ 30.9 \end{pmatrix}$, on trouve $m = \begin{pmatrix} 9.2 \\ -12.6 \\ 4,5 \\ -1.1 \end{pmatrix}$

<figure><img src="image_25.png" /></figure>

<figure><img src="image_26.png" /></figure>

$CN(G) = 3000$ : matrice G mal conditionnée

<figure><img src="image_27.png" /></figure>
En pratique, un problème inverse d'estimation de paramètres est bien posé' si 3 critères sont satisfait :

* Critère de sensibilité pour chaque paramètre à estimer
  ← étude de sensibilité pour les problèmes non linéaires

* critère de corrélation : il ne faut pas que les estimateurs soient trop corélés (le niveau maximal des corrélatiès dépend de la précision sur les données)

* critère de stabilité (CN(δ)) inférieur à 100. Le mieux est d'avoir CN(δ) ≥ dizaine