<figure><img src="image_1.png" /></figure>

HAL
open science

# Algorithmes de calcul de réalisations markoviennes. Cas singuliers et stabilité

François Germain

► To cite this version:

François Germain. Algorithmes de calcul de réalisations markoviennes. Cas singuliers et stabilité. [Rapport de recherche] IRIA-RR-066, IRIA. 1974, pp.80. hal-04715950

HAL Id: hal-04715950

https://inria.hal.science/hal-04715950v1

Submitted on 1 Oct 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
RIA
laboria

laboratoire de recherche
en informatique
et automatique

Algorithmes de calcul
de réalisations markoviennes
Cas singuliers et stabilité

F.Germain

80p

Institut de Recherche
d'Informatique
et d'Automatique

Domaine de Voluceau
Rocquencourt
78150 - Le Chesnay
Tél. 954.90.20

Rapport de Recherche n° 66

avril 1974
ALGORITHMES DE CALCUL DE RÉALISATIONS MARKOVIENNES
CAS SINGULIERS ET STABILITÉ

F. Germain

Présenté par P. Faurre

Résumé :

Dans le cadre de l'identification et du filtrage de processus gaussiens à représentation markovienne, on s'intéresse à l'ensemble $\mathcal{P}$ des solutions du problème positif réel et aux algorithmes permettant de calculer des solutions particulières.

Du point de vue algorithmique, on étend au cas général les algorithmes du cas régulier. On retrouve des équations différentielles de Riccati d'un type similaire dont on étudie la convergence.

L'étude de l'ensemble $\mathcal{P}$ est approfondie. On donne notamment une condition sur la fonction de covariance pour que cet ensemble ne soit pas dégénéré.

Abstract :

Within the framework of identification and filtering problems for stochastic processes with a gauss-markov representation, attention is drawn to the set $\mathcal{P}$ of Positive Real Lemma solutions and computation methods are presented for some of them.

Available algorithms dealing with the regular case alone are extended to the general one, leading to Riccati differential equations whose convergence is studied.

Further investigation of set $\mathcal{P}$ is performed. A condition on covariance function is more particularly given for it not to be degenerated.
## SOMMAIRE.

<table><thead><tr><th></th><th>Page :</th></tr></thead><tbody><tr><td>Introduction</td><td>1 et 2</td></tr><tr><td>Chapitre 1 : Etudes des processus à representation markovienne.</td><td>3</td></tr><tr><td>Chapitre 2 : Lemme positif-réel.</td><td>10</td></tr><tr><td>Chapitre 3 : Algorithmes donnant P* et P<sub>*</sub> dans le cas continu.</td><td>21</td></tr><tr><td>Chapitre 4 : Etude de l'ensemble des réalisations cas continu.</td><td>42</td></tr><tr><td>Chapitre 5 : Problèmes continus et discrets associés.<br>Structure de l'ensemble cas discret.</td><td>52</td></tr><tr><td>Chapitre 6 : Programmation des algorithmes en continu.</td><td>64</td></tr></tbody></table>
# INTRODUCTION.

Les systèmes dynamiques linéaires ont fait, en contexte deterministe, l'objet d'une étude approfondie. Aussi il est naturel qu'en stochastique on cherche à conserver la structure mathématique et en particulier la linéarité. Ceci nous amène à étudier les processus à représentation markovienne qui peuvent être assimilés à des "systèmes dynamiques linéaires dont l'entrée est un bruit blanc".

De nombreux travaux, notamment sur l'identification et le filtrage statistique, ont mis en évidence les avantages de telles représentations.

Un grand pas a été fait dans l'étude des systèmes linéaires déterministes par l'introduction d'un critère de positivité et le lemme de Yacoubovich-Popov-Kalman (ou lemme-positif-réel) qui permet en particulier d'étudier la stabilité de ces systèmes.

En contexte aléatoire, ce même critère de positivité permet de caractériser les fonctions d'autocorrélation de processus. On peut donc leur appliquer le lemme positif réel. De plus on montre qu'à chaque solution de ce lemme correspond une représentation markovienne. On étudie l'ensemble de ces solutions et des algorithmes pour le cas régulier sont proposés pour l'obtention des solutions extrêmales [FAURRE, 1].

Dans ce travail on s'est essentiellement interessé aux algorithmes. On a cherché à les généraliser aux cas non réguliers, on en a étudié la stabilité du point de vue théorique et on expose les résultats obtenus de leur mise en oeuvre pratique.

Cette étude, attachée au problème des réalisations markoviennes, pourrait tout aussi bien servir à l'étude des solutions du lemme-positif-réel dans un autre cadre.

Au chapitre 1 on rappelera très brièvement des résultats connus sur les processus à représentation gaussienne markovienne.
On donnera au Chapitre 2 un rappel du lemme positif réel et l'idée de la démonstration de FAURRE. On précisera en outre l'ensemble des commandes admis-sibles utilisées dans cette démonstration.

Une recherche plus directe nous permettra au Chapitre 3 de retrouver les algorithmes donnés par FAURRE pour le cas régulier et d'en établir d'autres pour les autres cas, puis d'en étudier la stabilité.

Les Chapitres 4 et 5 rassemblent les résultats sur la structure de l'ensemble des réalisations d'une part dans le cas continu, d'autre part dans le cas discret. Partant de l'étude de FAURRE on retrouvera de façon simple des résultats donnés dans *WILLEMS, 1* et on précisera certaines notions.

Enfin au Chapitre 6 on présentera la programmation des algorithmes, leur évaluation et les résultats numériques obtenus.
L'objet de ce chapitre n'est nullement de présenter une théorie générale des processus à représentation gaussienne markovienne qui a déjà été donnée dans de nombreux ouvrages, mais simplement de rappeler les résultats essentiels qui nous serviront par la suite et de préciser les notations. De plus nous nous limiterons au cas stationnaire.

1ère partie : CAS CONTINU.

## 1.1. PROCESSUS GAUSSIEN-MARKOVIEN.

Soit un processus vectoriel $x(t)$ gaussien, centré et stationnaire à valeur dans $\mathbb{R}^n$. On pose :

$$ \Lambda_x(t-s) = E\{x(t) x'(s)\}^{(*)}. \quad (1.1) $$

### Définition 1.1.

$x(t)$ sera dit markovien si et seulement si :

$$ E\{x(t) / x(s_1), \dots, x(s_k)\} = E\{x(t) | x(s_1)\} $$

pour toute suite $t, s_1, \dots, s_k$ telle que $t > s_1 > \dots > s_k$

### Théorème 1.1.

Soit $x(t)$ un processus gaussien markovien et stationnaire tel

que :

$$ \Lambda_x(o) = P \text{ soit définie positive,} $$

$$ \Lambda_x(\tau) \text{ soit dérivable pour } \tau > 0. $$

<footnote>(*) x' désigne le transposé du vecteur x</footnote>
Alors il vérifie une équation différentielle stochastique de la forme

$$dx(t) = Fx(t)dt + dV(t) \quad (1.2)$$

où $V(t)$ est un processus gaussien à accroissements indépendants.

Nous ne démontrerons pas ce théorème (voir {FAURRE 1.Ch.2.1})

L'équation (1.2) peut s'écrire de façon équivalente sous la forme :

$$\dot{x} = Fx + v \quad (1.3)$$

où $v$ est un bruit blanc de covariance :

$$E\{v(t) v'(s)\} = Q \delta_{t-s} \quad (1.4)$$

$P$, $q$ et $F$ sont alors reliés par la relation :

$$Q = -(FP + PF') \quad (1.5)$$

$P$ étant définie positive et $q$ étant définie non-négative il est clair que $F$ est stable d'après le théorème de Lyapunov.

D'après le théorème de la décomposition canonique d'un processus (voir {FAURRE 1.Ch.2.1}), on montre que si le processus $x(t)$ est purement non déterministique, $F$ doit être asymptotiquement stable et le couple $(F,L)$ complète-ment commandable pour toute factorisation de $Q$ de la forme :

$$q = L' L \quad (1.6)$$

## 1.2. PROCESSUS A REPRESENTATION MARKOVIENNE.

### Définition 1.2.

Un processus gaussien centré $y(t)$ est dit admettre une représentation markovienne stationnaire s'il existe un processus gaussien markovien $x(t)$ (non nécessairement de même dimension) et un bruit blanc $w(t)$ tels que :

$$y(t) = H x(t) + w(t) \quad (1.7)$$
Une réalisation markovienne sera donc de la forme :

$$ \dot{x} = Fx + v \tag{1.8} $$

$$ y = Hx + w \tag{1.9} $$

où $[v \ w]$ est un bruit blanc de covariance :

$$ E \left\{ \begin{bmatrix} v(t) \\ w(t) \end{bmatrix} \begin{bmatrix} v'(s), w'(s) \end{bmatrix} \right\} = \begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \delta_{t-s} \tag{1.10} $$

et tel que F soit asymptotiquement stable,
(F,L) soit complètement commandable,
(H,F) soit complètement observable.

Calculons à présent la covariance du processus y(t):

$$ \begin{aligned} \Lambda(\tau) &= E\{y(t+\tau) y'(t)\} \\ &= H e^{F' \tau} G \quad \varepsilon(\tau) + G' e^{-F' \tau} H' \quad \varepsilon(-\tau) + R \quad \delta(\tau), \end{aligned} \tag{1.11} $$

en posant :

$$ G = PH' + S \tag{1.12} $$

$$ \varepsilon(\tau) = \begin{cases} 0 & \text{si } \tau < 0 \\ 1/2 & \text{si } \tau = 0 \\ 1 & \text{si } \tau > 0 \end{cases} $$

D'après la forme (1.11) de la covariance de y(t) le spectre S(s) transformé de Laplace de la covariance Λ(τ) de y peut s'écrire :

$$ S(s) = R + H(sI-F)^{-1}G + G'(-sI-F')H' \tag{1.13} $$

**Définition 1.3.**

Une fonction matricielle mxm parahermitienne (*) S(s) est dite admettre une factorisation faible si

$$ S(s) = H(s) H'(-s) \tag{1.14} $$

où H(s) est une matrice mxp analytique dans le demi-plan complexe $\mathbb{C}$, $\Re(e(s)) \ge 0$.

<footnote>(*) S(s) est dit parahermitien si $S(s) = S'(-s)$.</footnote>
Cette factorisation s'appelle factorisation forte si $H(s)$ est carré (mxm) et si det $[H(z)]$ est non nul dans $\mathbb{C}e(s) \ge 0$.

On montre que si les équations :

$$ egin{cases} 
\begin{aligned}
& FP + PF' = -\omega, \\
& G - PH' = S,
\end{aligned} \\
\begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \ge 0 \quad , \quad P \ge 0
\end{cases} 
$$

sont vérifiées, alors $S(s)$ peut se mettre sous la forme

$$ S(s) = [H(sI-F)^{-1}, I] \begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \begin{bmatrix} (-sI-F')^{-1}H' \\ I \end{bmatrix} ; \quad (1.15) $$

ou encore en posant :

$$ \begin{bmatrix} Q & S \\ S' & R \end{bmatrix} = \begin{bmatrix} L \\ J \end{bmatrix} \begin{bmatrix} L' & J' \end{bmatrix} \quad (1.16) $$

sous la forme :

$$ S(s) = [J + H(sI-F)^{-1}L] [J' + L'(-sI-F)^{-1}H'] \quad (1.17) $$

Le facteur $[J + H(sI-F)^{-1}L]$ donnant alors une factorisation faible du spectre.

Tous ces résultats sont démontrés dans {FAURRE 1.Ch.3.3}.

On notera que si $y(t)$ est un processus scalaire, le spectre $S(s)$ est une fraction rationnelle. Les résultats ci-dessus pourront donc être rapprochés de ceux concernant la factorisation des fractions rationnelles.
Tous les résultats du cas d'une échelle de temps continue peuvent être
prolongés dans le cas d'une échelle de temps discrète

### 1.3. PROCESSUS GAUSSIEN MARKOVIEN.

#### Théorème 2.1.

Un processus gaussien centré, stationnaire de covariance $\Lambda(o)$ définie positive est markovien si et seulement si il vérifie l'équation:

$$x(k+1) = Fx(k) + v(k) \quad (1.18)$$

$$où F = \Lambda(1)\Lambda(o)^{-1}$$

et $v$ est bruit blanc.

$$\text{Posons : } E\{xx'\} = \Lambda(o) = P.$$

Il est alors clair que $\Lambda(k)$ est de la forme

$$\Lambda(k) = \begin{cases} F'_{k} P & \text{si } k>0 \\ P F'^{-k} & \text{si } k<0 \end{cases} \quad (1.19)$$

De plus si $Q$ est la covariance du bruit $v$ on a la relation :

$$Q = P - FPF' \quad (1.20)$$

De même que dans le cas continu les processus purement non déterministiques sont ceux tels que :

$F$ soit asymptotiquement stable.

$(F,L)$ soit complètement commandable (en posant $LL' = Q$).
# 1.4. PROCESSUS A REPRESENTATION MARKOVIENNE.

## Définition 1.4.

On appelle réalisation markovienne d'un processus gaussien centré stationnaire y un processus x (non nécessairement de même dimension) tel que :

$$x(k+1) = F x(k) + V(k) \quad (1.21)$$

$$y(k) = H x(k) + W(k) \quad (1.22)$$

$$\text{où } \begin{bmatrix} V \\ W \end{bmatrix} \text{ est un bruit blanc de covariance :} \\ E \begin{bmatrix} V(k) \\ W(k) \end{bmatrix} \begin{bmatrix} V'(j) & W'(j) \end{bmatrix} = \begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \delta_{kj}, \quad (1.23)$$

avec les hypothèses

F asymptotiquement stable,

(F,L) complètement commandable,

(H,F) complètement observable.

Calculons la covariance de y : $\Lambda(k)$.

$$\Lambda(k) = H F^{k-1} G \quad \varepsilon(k) + G' F'^{-k-1} H' \quad \varepsilon(-k) + \Lambda_0 \delta_k \quad (1.24)$$

$$\text{en posant :} \\ \Lambda_0 = HPH' + R \quad (1.25) \\ G = FPH' + S \quad (1.26)$$

$$\text{et } \varepsilon(k) = \begin{cases} 1 & \text{si } k>0 \\ 0 & \text{sinon .} \end{cases}$$

Ainsi que le spectre $S(z)$, transformé en z de $\Lambda$

$$S(z) = \Lambda_0 + H(zI-F)^{-1}G + G'(z^{-1}I-F')^{-1}H' \quad (1.27)$$

On a alors des résultats de factorisation du spectre semblables au cas continu.
Si les relations (1.20), (1.25) et (1.26) sont satisfaites et si

$$ \text{P} \geq \begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \geq \begin{bmatrix} P & Q \\ S' & R \end{bmatrix} $$

On peut alors factoriser le spectre (1.27) sous la forme :

$$ S(z) = [H(zI-F)^{-1}, I] \begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \begin{bmatrix} (z^{-1}I-F')^{-1}H' \\ I \end{bmatrix} \quad (1.28) $$

ou encore en posant :

$$ \begin{bmatrix} Q & S \\ S' & R \end{bmatrix} = \begin{bmatrix} L \\ J \end{bmatrix} [L', J'] $$

$$ S(z) = [J + H(zI-F)^{-1}L] [J' + L'(z^{-1}I-F')^{-1}H'] . \quad (1.29) $$

Le terme $H(z) = [J + H(zI-F)^{-1}L]$ est alors un facteur faible du spectre.
CHAPITRE 2 : LEMME POSITIF REEL.

1ère Partie : LEMME POSITIF REEL CONTINU.

2.1.DEFINITIONS DES ENSEMBLES ε, ε(x), ε<sub>t</sub>(x).

Soit une fonction matricielle Λ(τ) parasymétrique (c'est à dire que
Λ(-τ) = Λ'(τ)) à transformée rationnelle. On peut l'écrire sous la forme (1.24) :
(ce que l'on peut faire en utilisant l'algorithme de {HO 1.})

$$
\Lambda(\tau) = H e^{F\tau} G \varepsilon(\tau) + G' e^{-F'\tau} H' \varepsilon(-\tau) + R\delta \quad (2.1)
$$

où le couple (H,F) est complètement observable
le couple (F,G) est complètement commandable,
la matrice F est asymptotiquement stable. *

Soit le système linéaire déterministe associé :

$$
\dot{x} = F'x + H'u \tag{2.2}
$$

On notera ε l'espace des u(α) tels que :

* x soit continu presque partout

* la forme quadratique

$$
U'\Delta U = \int_{-\infty}^{0} \int_{-\infty}^{0} u'(\alpha) \Lambda(\beta-\alpha) u(\beta) \, d\alpha \, d\beta \quad (2.3)
$$

ait un sens.

* Cette hypothèse équivalente à

$\Lambda(\tau) \to 0$ quand $\tau \to 0$

ou encore à

$\Lambda(\tau)$ est la covariance d'un processus purement non déterministique.
Théorème 2.1.

Des conditions suffisantes pour que $u(\alpha)$ appartienne à $\varepsilon$ sont que

1) $u(\alpha)$ soit à support compact.

2) $u(\alpha)$ soit de carré sommable si $R$ est définie positive ;

-$u(\alpha)$ soit une mesure de Radon si $R$ est nulle ;

-dans le cas général on peut, moyennant une transformation linéaire sur $y$,

prendre $R$ sous la forme :

$$R = \begin{bmatrix} R_1 & 0 \\ 0 & 0 \end{bmatrix} \quad \text{où } R_1 \text{ est définie positive,}$$

alors en posant $u(\alpha) = \begin{bmatrix} u_1(\alpha) \\ u_2(\alpha) \end{bmatrix}$ il suffit que $u_1(\alpha)$ soit de carré sommable

et $u_2(\alpha)$ une mesure de Radon.

En effet, si $x$ vérifie (2.2), le fait que $x$ soit continu presque partout, impose que $u(\alpha)$ soit une mesure de Radon. (cf {SCHWARTZ})

De plus, en remarquant que $U'\Lambda U$ s'écrit :

$$U'\Lambda U = \int_{-\infty}^{0} d\beta \int_{-\infty}^{\beta} u'(\alpha) H e^{F(\beta-\alpha)}_{G} u(\beta) + u'(\beta) G' e^{F'(\beta-\alpha)}_{H} u(\alpha) d\alpha \\ + \int_{-\infty}^{0} u'(\alpha) R u(\alpha) d\alpha, \qquad (2.4)$$

il suffit pour que $U'\Lambda U$ ait un sens que les deux intégrales de l'expression (2.4) aient un sens.

Si $u(\alpha)$ est à support compact la première a bien un sens. Pour que la seconde en ait un il suffit que $u(\alpha)$ soit de carré sommable, ce qui démontre le théorème
Remarques :

-La condition $u(\alpha)$ à support compact n'est généralement pas nécessaire,
surtout avec l'hypothèse F asymptotiquement stable, mais elle est peu restrictive.

-Par contre les autres conditions introduites, à notre connaissance ici
pour la première fois, vont nous permettre de prolonger des algorithmes du cas
continu, connus pour le cas R définie positive, à tous les autres cas.

Notations :

On notera : $\varepsilon(x)$ le sous ensemble de $\varepsilon$ des commandes qui transfèrent
le système (2.2) de la phase $^{(*)}$(0, $-\infty$) à la phase $(x,0)$ ;

$\varepsilon_t(x)$ le sous ensemble de $\varepsilon(x)$ des commandes $u$ à support $[-t,0]$.

<footnote>(*) On dira qu'un système est à la phase (x,t) si l'état prend la valeur x à l'instant t.</footnote>
## 2.2. LEMME POSITIF REEL.

### **Definition 2.1.**

On dira que $\Lambda(\tau)$ est de type réel non négatif $\{\text{réel positif}\}$ si quelque soit $\mu(\alpha)$ appartenant à $\varepsilon$ la forme $U'\Lambda U$ (définie en (2.3)) est réelle non negative $\{\text{réelle positive}\}$.

Le théorème suivant donne un critère caractérisant les fonctions $\Lambda(\tau)$ de type réel non négatif.

### **Théorème 2.2. (lemme positif réel continu).**

La fonction $\Lambda(\tau)$ définie par (2.1) est de type réel non-négatif si et seulement s'il existe trois matrices $P,Q,S$ telles que :

$$ P, Q \text{ soient symétriques} \qquad (2.5) $$

$$ PF'+FP = -Q \qquad (2.6) $$

$$ G-PH' = S \qquad (2.7) $$

$$ \begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \succsim_0 , P \succsim_0 \qquad (2.8) $$

Une démonstration complète de ce théorème a été donnée dans {FAURRE 1.Ch.4.4}.

Nous noterons seulement que cette démonstration s'appuie sur le lemme suivant :

### **Lemme 2.1.**

Pour tout $u$ appartenant à $\varepsilon(x_0)$ et pour tout triplet de matrice $P,Q,S$ vérifiant (2.5),(2.6),(2.7) on a :

$$ U'\Lambda U = \int_{-\infty}^{0} \int_{-\infty}^{0} u'(\alpha) \Lambda(\beta-\alpha) u(\beta) \, d\alpha \, d\beta $$
$$ = x_0 P x_0 + \int_{-\infty}^{\infty} x'(\tau) Q x(\tau) \, d\tau + u'(\tau) R u(\tau) + 2x'(\tau) S u(\tau) \quad (2.9) $$

avec

$$ \begin{aligned} x(-\infty) &= 0 \\ \dot{x} &= F'x + H'u. \end{aligned} \qquad (2.10) $$

Ce lemme montre clairement que s'il existe trois matrices P,Q,S vérifiant les relations (2.5) à (2.8), la forme U'AU est réelle non négative.

La réciproque, plus difficile, est établie en définissant une matrice, notée P*, par

$$ x'P*x = \begin{cases} \inf & U'AU. \\ \epsilon(x) & \end{cases} $$

Si U'AU est réel non négatif P* est définie non-négative

Alors en définissant :

$$ Q^* = -(FP^* + P^*F') $$

$$ S^* = G - P^*H' $$

On montre que $\begin{bmatrix} Q^* & S^* \\ S^* & R \end{bmatrix}$ est définie non négative.
## 2.3. DUALITE DANS LE CAS CONTINU.

On appelle problème continu {$H,F,G,R$} le problème qui consiste à rechercher les matrices $P$ (définies non négatives) telles que les relations (2.6) à (2.8) soient vérifiées.

Ce problème revient à chercher les réalisations markoviennes de $\Lambda(\tau)$.

Le problème dual est celui qui consiste à chercher les réalisations markoviennes de $\tilde{\Lambda}(\tau) = \Lambda(-\tau)$.

En remarquant que :

$$ \tilde{\Lambda}(\tau) = G'e^{F'\tau}H' \varepsilon(\tau) + H e^{-F\tau}G \varepsilon(-\tau) + R\delta(\tau) \quad (2.11) $$

et que :

$$ \begin{gathered} U'\Lambda U = V'\tilde{\Lambda}V \quad (2.12) \\ \text{où } v(\alpha) = u(-\alpha) . \end{gathered} $$

On en déduit que le problème dual est identique au problème {$G',F',H',R$}. Or d'après le théorème 2.1, si le problème {$H,F,G,R$} a une solution, le problème dual {$G'F',H',R$} en a une aussi car si $U'\Lambda U$ est de type réel non négatif $V'\tilde{\Lambda}V$ l'est aussi (d'après (2.12)).

### Théorème 2.3.

Si $P$ est une matrice positive définie solution du problème {$H,F,G,R$}, $P^{-1}$ est solution du problème dual {$G',F',H',R$} et réciproquement.

La démonstration de ce théorème est donnée dans {FAURRE 1.Ch.4.5}. Ce théorème peut aussi s'énoncer :
P étant définie positive, les relations :

$$FP + PF' = -Q, \qquad (2.13)$$

$$G - PH' = S, \qquad (2.14)$$

$$\begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \succ 0, \qquad (2.15)$$

sont équivalentes aux relations :

$$F'P^{-1} + P^{-1}F = -\tilde{Q}, \qquad (2.16)$$

$$H' - P^{-1}G = \tilde{S}, \qquad (2.17)$$

$$\begin{bmatrix} \tilde{Q} & \tilde{S} \\ \tilde{S}' & R \end{bmatrix} \succ 0. \qquad (2.18)$$

## 2.4. POINTS EXTREMAUX DE $\mathcal{S}$.

### Notation

On notera $\mathcal{S}$ l'ensemble des matrices définies non négatives qui vérifient les relations (2.13), (2.14) et (2.15).

### Théorème 2.4

L'ensemble $\mathcal{S}$ des matrices P solution d'un problème $\{H,F,G,R\}$ continu possède un maximum $P^*$ et un minimum $P^*$ (au sens de la relation d'ordre usuelle des matrices définies non négatives).

En effet d'après le lemme 2.1 et la définition de $P^*$ on peut écrire, pour toute matrice P de $\mathcal{S}$, la relation :

$$x'_{o} P^* x_{o} = \inf_{u \in \mathcal{E}(x_{o})} x'_{o} P x_{o} + \int_{-\infty}^{0} x'_{o} Q x + u'_{o} R u + 2x'_{o} S u \, \mathrm{d}t \quad (2.19)$$
Si P appartient à $\mathcal{S}$ la forme quadratique $x'Qx + u'Ru + 2x'Su$ est non négative pour tout $\tau$ et l'on a bien :

$x'_{o} P^* x_o \geq x'_{o} P x_o \quad \text{pour tout } x_o$.

$$ \text{Donc } P^* \succ P \qquad (2.20) $$

Or d'après le théorème 2.2 si P est solution du problème $\{H,F,G,R\}$, $P^{-1}$ est solution du problème dual $\{G',F',H',R\}$. A ce problème dual peut-être associé un maximum noté $\tilde{P}^*$ tel que :

$$ \tilde{P}^* \succ P^{-1} \qquad (2.21) $$

Des relations (2.14) et (2.15) on déduit que pour tout P de $\mathcal{S}$ on a :

$$ P_* \prec P \prec P^* \qquad (2.22) $$

$$ \text{où } P_* = \tilde{P}^*^{-1}. \qquad (2.23) $$

Remarque :

On utilise dans cette démonstration le fait que P puisse être définie positive. On montrera au Chapitre 4 que sous les hypothèses $(H,F)$ complètement observable et $(F,G)$ complètement commandable, il en est ainsi.
## 2.5. LEMME POSITIF REEL.

Soit une suite $\Lambda(k)$ à transformée rationnelle, représentée sous la forme :

$$ \Lambda(k) = \Lambda_0 \delta_k + H F^{k-1} G \varepsilon_k + G' F'^{-k-1} H' \varepsilon_{-k} \quad (2.24) $$

$$ \text{où } \delta_k = \begin{cases} 1 & \text{si } k = 0 \\ 0 & \text{sinon} \end{cases} $$

$$ \varepsilon_k = \begin{cases} 1 & \text{si } k>0 \\ 0 & \text{sinon} \end{cases} $$

avec les hypothèses :

* F matrice asymptotiquement stable,
* $(H,F)$ couple complètement observable,
* $(F,G)$ couple complètement commandable.

On a alors un théorème équivalent au théorème 2.1 du cas continu qui permet de caractériser les suites $\Lambda(k)$ de la forme (2.19) qui sont de type réel non négatif au sens suivant :

### Définition 2.2.

Une suite $\Lambda(k)$ de la forme (2.19) sera dite de type réel non négatif {positif} si pour toute suite $u(k)$ bornée et à support compact la forme quadratique :

$$ U'\Lambda U = \sum_{i<0} \sum_{j<0} u'(i) \Lambda_{j-i} u(j) \quad (2.25) $$

est réelle non-négative {positive}.
**Théorème 2.5 (Lemme positif-réel dans le cas discret).**

La suite $A(k)$ de la forme (2.19) est de type réel non négatif si et seule-
ment si il existe quatre matrices P,Q,R,S telles que :

$P,Q$ et $R$ soient symétriques

$$P - FPF' = Q \qquad (2.26)$$

$$G - FPH' = S \qquad (2.27)$$

$$A_0 - HPH' = R \qquad (2.28)$$

$$ \begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \succsim_0 P \succsim_0 \qquad (2.29) $$

La démonstration complète de ce théorème a été donnée dans {FAURRE 1.Ch.4.4}

Comme dans le cas continu elle s'appuie sur un lemme du même type que le
lemme 2.1.

**Lemme 2.2.**

Pour tout quadruplet de matrices P,Q,R,S vérifiant (2.21),(2.22) et (2.23)
on a la relation

$$ U'\Lambda U = x'(0)P x(0) + \sum_{i<0} [x'Qx + u'Ru + 2x'Su] \qquad (2.30) $$

où $U'\Lambda U$ est donné par (2.20) et $x$ vérifie la relation

$$ x(i+1) = F' x(i) + H' u(i) \qquad (2.31) $$

$$x(-\infty) = 0$$
D'après ce lemme il est clair que s'il existe P,Q,R,S vérifiant les relations (2.21) à (2.24) la forme quadratique U'ΛU est non négative.

La réciproque est plus difficile. On est amené à définir :
-d'une part $\varepsilon(x_o)$ comme l'ensemble des suites $U(k)$ bornées et à support compact qui transfère le système déterministe (2.26) de la phase $(o, -\infty)$ à la phase $(x_o, o)$.

- d'autre part une matrice, notée $P^*$, définie par

$$x'P^*x = \inf_{U \in \mathcal{U}(\Lambda U)} U'\Lambda U \quad (2.32)$$

En posant ensuite :

$$Q^* = P^* - FP^*F'$$

$$S^* = G - FP^*F'$$

$$R^* = \Lambda_o - HP^*H$$

On montre que $\begin{bmatrix} Q^* & S^* \\ S^* & R^* \end{bmatrix}$ est bien définie non-négative.
1ère Partie : RECHERCHE DES ALGORITHMES.

3.1. APPROCHE DU PROBLEME DANS LE CAS GENERAL.

On cherche maintenant un moyen de calculer P* défini par :

$$
x'P*x = \inf_{U \in \mathcal{U}(x)} U'\Lambda U \quad (3.1)
$$

Pour cela on définit P* comme limite d'une suite P_t où P_t est défini

par :

$$
x'P_t x = \inf_{U \in \varepsilon_t(x)} U'\Lambda U \quad (3.2)
$$

On rappelle que ε_t(x) est le sous ensemble des commandes de ε(x)
définies sur l'intervalle [-t,0] (voir § 2.1).

On définit alors Q_t et S_t par :

$$
Q_t = -(FP_t + P_t F') \tag{3.3}
$$

$$
S_t = G - P_t H' \tag{3.4}
$$

D'après (3.2) on a : $x'_o P_{t+\Delta t} x_o = \inf_{U \in \varepsilon_{t+\Delta t}(x_o)} U'\Lambda U$ (3.5)

En utilisant le lemme 2.1 avec la matrice P_t on obtient :
$$x'_{o} P_{t+\Delta t} x_{o} = x'_{o} P_{t} x_{o} + \inf_{u \in \varepsilon_{t+\Delta t}(x_{o})} \int_{-\infty}^{0} x'Q_{t}x + u'Ru + 2x'S_{t}u \, d\tau \quad (3.6)$$

Mais d'autre part, d'après la définition de $P_t$, on peut remarquer que pour tout état $\xi$ :

$$\inf_{u \in \varepsilon_t(\xi)} \int_{-\infty}^{0} x'Q_t x + u'Ru + 2x'S_t u \, d\tau = 0 \quad (3.7)$$

Ceci nous permet donc d'écrire :

$$x'_{o}(P_{t+\Delta t} - P_{t})x_{o} = \inf_{U \in \varepsilon_{\Delta t}(x_{o})} \int_{\Delta t}^{0} x'Q_{t}x + u'Ru + 2x'S_{t}u \, d\tau \quad (3.8)$$

où $\varepsilon_{\Delta t}(x_o)$ est l'ensemble des commandes de $\varepsilon$ amenant le système:

$$\dot{x} = F'x + H'u, \quad (3.9)$$

d'un état quelconque $\xi$ à l'instant $-\Delta t$ à l'état $x_o$ à l'instant $0$.

On va rechercher maintenant à minimiser le second membre de (3.8) et à faire apparaître le terme en $\Delta t$ du développement de ce minimum, ce qui permettra d'évaluer la dérivée de $P_t$ sous la forme :

$$\dot{P}_t = \lim_{\Delta t \to 0} \frac{P_{t+\Delta t} - P_t}{\Delta t}$$

Mais nous avons vu au § 2.1 que l'ensemble $\varepsilon$ des commandes admissibles dépendait de la positivité stricte au non de $R$ ; ce qui va nous obliger à distinguer trois cas.
3.2. ALGORITHMES POUR LE CAS REGULIER (R>0).

Le fait que l'état du système à l'instant o soit $x_o$ peut s'écrire :

$$x(\tau) = e^{F'\tau} x_o - \int_{\tau}^{0} e^{F'(\tau-\alpha)} H' u(\alpha) \, d\alpha \quad (3.10)$$

Or nous avons vu (§ 2.1) que dans le cas régulier $u$ devait être de carré sommable.

Posons : $u(\tau) = u_o + u_1 \tau + u_2 \tau^2 + \dots$

Alors pour $\tau \in [-\Delta t, 0]$ on a d'après (3.10) :

$$x(\tau) = x_o + O(\Delta t). \quad (3.11)$$

En reportant dans (3.8) il vient :

$$x_o'(P_{t+\Delta t} - P_t)x_o = \inf_{u_o} \int_{-\Delta t}^{0} x_o Q_t x_o + u_o' R u_o + 2x_o' S_t u_o \, d\tau + O(\Delta t^2)$$

ou

$$\frac{x_o'(P_{t+\Delta t} - P_t)x_o}{\Delta t} = \inf_{u_o} \left( x_o' Q_t x_o + u_o' R u_o + 2x_o' S_t u_o \right) + O(\Delta t) \quad (3.12)$$

Le minimum est réalisé pour $u_o = -R^{-1}S'x_o$

ce qui nous donne :

$$\frac{x_o'(P_{t+\Delta t} - P_t)x_o}{\Delta t} = x_o'(Q_t - S_t R^{-1} S_t)x_o + O(\Delta t) \quad (3.13)$$

En remplacant $Q_t$ et $S_t$ par leur valeur (3.3) et (3.4), (3.13) prend la forme :

$$-\dot{P} = FP + PF' + (G-PH')R^{-1}(G'-HP) \quad (3.14)$$
qui pourrait constituer un algorithme. Cependant pour des raisons de conditions initiales on préfèrera résoudre l'équation (3.14) pour $P^{-1}$. On a alors l'algorithme :

Algorithme de P\* dans le cas régulier :

$$ \dot{\Sigma} = F'\Sigma + \Sigma F + (H'-\Sigma G)R^{-1}(H-G'\Sigma) \quad (3.15) $$

$$ \Sigma(0) = 0 \quad (3.16) $$

$$ P* = [\Sigma(\infty)]^{-1} \quad (3.17) $$

De même en considérant le problème dual on obtient l'algorithme donnant $P_*$

Algorithme de $P_*$ dans le cas régulier :

$$ \dot{\Omega} = F\Omega + \Omega F' + (G-\Omega H') R^{-1} (G'-H\Omega) \quad (3.18) $$

$$ \Omega(0) = 0 \quad (3.19) $$

$$ P_* = \Omega(\infty) \quad (3.20) $$

Les conditions initiales de ces deux algorithmes seront justifiées dans la deuxième partie de ce chapitre.

Ces deux algorithmes ont été décrits dans {FAURRE 1.Ch.6.3}

### 3.3. ALGORITHME POUR LE CAS SINGULIER ($R=0$).

Faisons tout de suite la remarque suivante : Si $R = 0$, la condition

$$ \begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \succ 0 \quad \text{impose} \quad S = 0. $$

Par conséquent (3.8) devient :

$$ x'_o(P_{t+\Delta t} - P_t)x_o = \inf_{u \in \mathcal{U}_{\Delta t}(x_o)} \int_{-\Delta t}^{\Delta t} x' Q_t x \, d\tau \quad (3.21) $$
Le fait que $u$ soit une mesure nous permet d'approximer $u(\alpha)$ sur l'intervalle $[-\Delta t, 0]$ par :

$$u(\alpha) = u_c \delta + u_1 + u_2 \alpha + \dots \quad (3.22)$$

Dans ce cas $x(\tau)$ peut s'écrire d'après (3.10) :

$$x(\tau) = x_o - H_u \dot{u}_o + O(\Delta t) \quad (3.23)$$

En reportant cette valeur dans l'expression (3.21) on obtient :

$$x'_o(P_{t+\Delta t} - P_t)x_o = \inf_{u_o} \int_{-\Delta t}^{0} (x'_o - u'_o H) Q_t(x_o - H u_o) dt + O(\Delta t^2) \quad (3.24)$$

Le minimum est obtenu pour

$$u_o = (HQ_t H')^{-1} HQ_t x_o; \quad (3.25)$$

d'où l'expression :

$$\frac{x'_o(P_{t+\Delta t} - P_t)x_o}{\Delta t} = x'_o(Q_t - Q_t H'[HQ_t H'])^{-1}HQ_t)x_o + O(\Delta t) \quad (3.26)$$

Le fait de s'imposer $S_t$ nulle nous conduit à la relation :

$$G - P_t H' = 0$$

Ce qui nous permet d'écrire :

$$ \begin{aligned} HQ_t H' &= H[-FP_t - P_t F'] H' \\ &= [HFG + G'F'H'] ; \end{aligned} \quad (3.27) $$

On fera donc l'hypothèse que $[HFG + G'F'H']$ est définie négative. L'expression (3.26) a ainsi un sens.
L'algorithme peut alors s'écrire :

$$ \dot{P} = -(FP+PF') + (FG + PF'H') (HFG + G'F'H')^{-1} (G'F' + HFP). $$

Cependant comme dans le cas régulier on préfère résoudre l'algorithme en $P^{-1}$.

De plus on a fait l'hypothèse que $G-P_t'H' = 0$ pour tout t il faudra
donc choisir une condition initiale vérifiant cette contrainte.

Algorithme de $P^*$ cas singulier :

$$ \Sigma' = F'\Sigma + \Sigma F - (F'H' + \Sigma FG) (HFG + G'F'H')^{-1} (HF + G'F'\Sigma) \quad (3.38) $$

$$ \Sigma(o) = H'(HG)^{-1}H \quad (3.29) $$

$$ P^* = [\Sigma(\infty)]^{-1} \quad (3.30) $$

De même par dualité on obtient l'algorithme donnant $P_*^*$.

Algorithme de $P_*^*$ cas singulier :

$$ \dot{\Omega} = F\Omega + \Omega F' - (FG + \Omega F'H') (HFG + G'F'H')^{-1} (G'F' + HF\Omega) \quad (3.31) $$

$$ \Omega(o) = G(G'H')^{-1}G' \quad (3.32) $$

$$ P_* = \Omega(\infty) \quad (3.33) $$

Les conditions initiales seront également justifiées ci-dessous.
### 3.4. ALGORITHMES DANS LE CAS GENERAL.

Nous sommes amenés maintenant à envisager le cas où R n'est ni nulle ni régulière.

On supposera simplement qu'un changement de base sur y a été fait pour mettre R sous la forme :

$$ R = \begin{bmatrix} R_1 & 0 \\ 0 & 0 \end{bmatrix}, \qquad (3.34) $$

où $R_1$ est une matrice positive définie de dimensions $(p,p)$.

On notera alors :

$$ H' = [H'_{1}, H'_{2}] \qquad (3.35) $$

$$ G = [G_{1}, G_{2}] \qquad (3.36) $$

$$ S = [S_{1}, S_{2}] \qquad (3.37) $$

Expressions où :

$G_1, S_1, H'_1$ sont des matrices de dimensions $(n,p)$

$G_2, S_2, H'_2$ sont des matrices de dimensions $(n,m-p)$

Comme dans le cas singulier, l'inégalité $\begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \ge 0$ et la forme (3.34) de R imposent la relation :

$$ S_2 = 0 \text{ soit } G_2 - PH'_{2} = 0 \qquad (3.38) $$

Si de plus on décompose le vecteur $u(\alpha)$ sous la forme :

$$ u(\alpha) = \begin{bmatrix} u_1(\alpha) \\ u_2(\alpha) \end{bmatrix} $$

L'expression (3.8) peut s'écrire :
$$x'_{o}(P_{t+\Delta t} - P_{t})x_{o} = u \epsilon \inf_{\Delta t} \int_{-\Delta t}^{0} x'Q_{t}x + u'_{1}R_{1}u_{1} + 2x'S_{1}u_{1} \, d\tau \quad (3.39)$$

D'après l'étude de $\epsilon$ dans le cas général, on sait que $u_1$ doit être de carré sommable tandis que $u_2$ doit être une mesure.

Décomposons l'égalité (3.10) en :

$$x(\tau) = e^{F'\tau} x_0 - \int_{\tau}^{0} e^{F'(\tau-\alpha)} [H'_{1} u_{1}(\alpha) + H'_{2} u_{2}(\alpha)] d\alpha \quad (3.40)$$

Approximons alors $u_1(\alpha)$ et $u_2(\alpha)$ sur l'intervalle $[-\Delta t, 0]$ par :

$$u_1(\alpha) = v_1 + v_{11}\tau + v_{12}\tau^2 \text{---}$$

$$u_2(\alpha) = v_2\delta + v_{21}\tau + v_{22}\tau \text{---}$$

On obtient alors :

$$x(\tau) = x_0 - H'_{2} v_2 + O(\Delta t) \quad (3.41)$$

Reportons cette expression dans (3.39) :

$$x'_{o}(P_{t+\Delta t} - P_{t})x_{o} = \inf_{v_1, v_2} \int_{-\Delta t}^{0} \left[ (x'_{o} - v_2 H'_{2}) Q_t (x_o - H'_{2}v_2) + v'_{1} R_{1} v_{1} \right. \\ \left. \qquad + 2(x'_{o} - v'_{2} H'_{2}) S_{1t} v_{1} \right] d\tau + O(\Delta t^2) \quad (3.42)$$

où $v_1$ et $v_2$ sont des vecteurs constants.

Ceci peut encore s'écrire :

$$\frac{x'_{o}(P_{t} + \Delta t^{-}P_{t})x_{o}}{\Delta t} = \inf_{v_{1}, v_{2}} \int_{0}^{\infty} \left( f_{t}(x_{o}, v_{1}, v_{2}) + o(\Delta t) \right) \, dv_{1} \, dv_{2} \quad (3.43)$$

Pour trouver l'expression de $P$ il nous reste à minimiser $\int_{-\Delta t}^{0} f(t, v_1, v_2) \, dv_1$ par rapport à $v_1$ et $v_2$. Pour cela formons :
$$
\frac{\partial \oint_C}{\partial v_1} = 2v_1' R_1 + 2(x_0' - v_0' H_2) S_{1t}.
$$

On prendra donc $v_1 = -R_1^{-1} S_{1t}' (x_o - H_2^t v_2)$.

Soit :

$$
\inf_{v_1} \oint_C = (x_o' - v_2' H_2) Q_t (x_o - H_2^t v_2) - (x_o' - v_2' H_2) S_{1t} R_1^{-1} S_{1t}' (x_o - H_2^t v_2)
$$

Il ne nous reste plus qu'à minimiser par rapport à v<sub>2</sub>

$$
\frac{\partial \dot{Q}_t}{\partial v_2} = -2(x_o' - v_2'H_2)Q_t H_2 + 2(x_o' - v_2'H_2)S_{1t}R_1^{-1}S_{1t}'H_2'
$$

On prendra donc :

$$
v_2 = [H_2 Q_t H_2' - H_2 S_{1t} R_1^{-1} S_{1t}' H_2']^{-1} [H_2 Q_t - H_2 S_{1t} R_1^{-1} S_{1t}' ] x_o
$$

En reportant cette valeur dans l'expression (3.44) puis dans (3.43)
on obtient l'équation différentielle matricielle cherchée :

$$
\begin{align}
\dot{P}_t = Q_t & - S_{1t} R_1^{-1} S_{1t} - [Q_t H_2' - S_{1t} R_1^{-1} S_{1t}'] [H_2 Q_t H_2' - H_2 S_{1t} R_1^{-1} S_{1t}' H_2']^{-1} \nonumber \\
& \quad [H_2 Q_t - H_2 S_{1t} R_1^{-1} S_{1t}'] \tag{3.44}
\end{align}
$$

A partir de cette dernière expression on recherche une expression de $\dot{P}$
en fonction de H,F,G et R .

En se rappelant que :

$$
G_2 - P_t H_2' = 0
$$

$$
S_{1t} = G_1 - P_t H_1'
$$

$$
Q_t = -(FP_t + P_t F_t')
$$
On notera que :

$$ H_2 Q_t H_2' = -[H_2 F G_2 + G_2' F' H_2'] \qquad (3.45) $$

$$ H_2 S_1 t R_1^{-1} S_1' t H_2' = (H_2 G_1 - G_2' H_1') R_1^{-1} (G_1' H_2' - H_1 G_2) \qquad (3.46) $$

$$ Q_t H_2' = -[FG_2 + P_t F' H_2] \qquad (3.47) $$

$$ S_1 t R_1^{-1} S_1' t H_2' = (G_1 - P H_1') R_1^{-1} (G_1' H_2' - H_1 G_2) \qquad (3.48) $$

On peut alors simplifier l'expression (3.44) de $\dot{P}$ par :

$$ \dot{P}_t = -F P_t - P_t F' - (G_1 - P_t H_1') R_1^{-1} (G_1' - H_1 P_t) - (C_1 + P_t C_2) B^{-1} (C_1' + C_2' P_t), \quad (3.49) $$

Expression dans laquelle les matrices $B, C_1$ et $C_2$ sont indépendantes de

$P_t$ et valent :

$$ B = -[H_2 F G_2 + G_2' F' H_2'] - [H_2 G_1 - G_2' H_1'] R_1^{-1} [G_1' H_2' - H_1 G_2] \qquad (3.50) $$

$$ C_1 = -F G_2 - G_1 R_1^{-1} [G_1' H_2' - H_1 G_2] \qquad (3.51) $$

$$ C_2 = F' H_2' - H_1' R_1^{-1} [G_1' H_2' - H_1 G_2] . \qquad (3.52) $$

Comme dans les cas précédents on préfère prendre la forme en $P^{-1}$ de l'équation (3.49) ce qui conduit à l'algorithme suivant.

Algorithme de $P^*$ dans le cas général.

$$ \dot{\Sigma} = F'\Sigma + \Sigma F + (H_a' - \Sigma G_a) R_a^{-1} (H_a - G_a' \Sigma) \qquad (3.53) $$

$$ \Sigma(o) = H_2'(H_2 G_2)^{-1} H_2 \qquad (3.54) $$

$$ P^* = [\Sigma(\infty)]^{-1} \qquad (3.55) $$
où l'on a posé :

$$
R_a = \begin{bmatrix} R_1 & 0 \\ 0 & B \end{bmatrix} \tag{3.56}
$$

$$
G_a = [G_1, C_1] \tag{3.57}
$$

$$
H'_a = [H'_1, -C_2] \tag{3.58}
$$

Les matrices B,C₁ et C₂ étant données par les relations (3.50) à
(3.52).

On remarquera que la condition initiale (3.54) est choisie telle qu'elle
vérifie la contrainte G₂-PH'₂ = 0.

Bien entendu en considerant le problème dual on obtient l'algorithme
de P\*.

Algorithme de P\* dans le cas général :

$$
\dot{\Omega} = \Omega F' + F \Omega + (G_a - \Omega H'_a) R_a^{-1} (G'_a - H_a \Omega) \quad (3.59)
$$

$$
\Omega(0) = G_2 (G'_2 H'_2)^{-1} G'_2 \quad (3.60)
$$

$$
P_{*} = \Omega(\infty) \tag{3.61}
$$

Ces algorithmes ont la même forme que ceux obtenus pour les cas
particuliers (R>0, R=0).

Du point de vue de la programmation il est évidemment très intéressant
d'avoir une forme identique dans tous les cas (voir le Chapitre 6).
On cherche maintenat à déterminer pour quelles valeurs initiales $P(t_o)$ les différentes équations de Riccati proposées comme algorithmes convergent effectivement vers $P^*$ et $P_*$.

### 3.5. RAPPEL D'UN RESULTAT DE COMMANDE OPTIMALE.

Soit le système commandable :

$$ \dot{x} = F' x' + H'u, \quad (3.62) $$

la critère quadratique :

$$ J = x(t_1) A x(t_1) + \int_{t_o}^{t_1} u'Ku \, dt \quad (3.63) $$

où la matrice R est définie positive, et la matrice P(.) vérifie l'équation différentielle matricielle,

$$ \left\{ \begin{array}{l} \dot{-P} = FP + PF' - PH'R^{-1}HP \\ P(t_1) = A \end{array} \right. \quad (3.64) $$

Alors la commande u qui minimise le critère J à partir des conditions initiales $(x_o, t_o)$ est telle que :

$$ J_{\text{opt}} = x'_o P(t_o) x_o \quad (3.65) $$

De ce résultat et de l'étude des points conjugués de l'équation (3.64) on peut obtenir le résultat suivant :

### Théorème 3.1.

L'équation de Riccati (3.64) a une solution sur $[t_o, t_1]$ si et seulement si le problème d'optimisation (3.63) a une solution pour toute phase initiale $(x,t)$ où t appartient à $[t_o, t_1]$.
Nous ne ferons pas la démonstration de ce théorème qui est faite dans
{FAURRE 2}.

Remarque :

Le système (3.62) étant stationnaire et commandable, il est aussi diffé-
rentiellement commandable ; c'est à dire que tout état x₁ est atteignable à
partir de tout état initial x₀ par une commande sur un intervalle aussi petit
que l'on veut.

L'équation de Riccati (3.64) aura donc une solution sur [t₀,t₁] si et
seulement si le problème d'optimisation (3.63) a une solution pour tout état
initial x₀ à l'instant t₀.

Pour l'état initial $x_0$ on cherche à minimiser $J$ sous la forme :

$$
m = \min_{u} \left\{ x'(t_1) \quad A x(t_1) + \int_{t_0}^{t_1} u' Ru \, dt \right\}. \qquad (3.66)
$$

Ce qui peut encore s'écrire :

$$
m = \min_{z} \min_{u} \left\{ z'Az + \int_{t_o}^{t_1} u'Ru \, dt \mid x(t_1) = z \right\}. \quad (3.67)
$$

D'après un résultat classique de la théorie de la commandabilité et en
posant :

$$
M(t_1, t_o) = \int_{t_o}^{t_1} e^{F'(t_1-\alpha)} H^{-1} R H e^{F(t_1-\alpha)} d\alpha \quad (3.68)
$$

On obtient (voir {KALMAN 2.}) :

$$
m = \min_z \left\{ z'Az + (x'_o e^{F(t_1-t_o)} - z') M^{-1}(t_o, t_1) (e^{F(t_1-t_o)} x_o - z) \right\}
$$

La minimisation est donc possible si et seulement si :

$$
A + M^{-1}(t_o, t_1) \succsim_o 0.
$$

D'après le théorème 3.1 l'équation matricielle (3.64) a une solution sur
[t₀,t₁] si et seulement si : P(t₁) ≫ - M⁻¹(t₀,t₁). (3.69)

Ce résultat a été montré par KALMAN (voir {KALMAN 1.}).
3.6.STABILITE DES ALGORITHMES DANS LE CAS REGULIER,

Nous nous proposons maintenant d'utiliser ce résultat pour l'équation
différentielle de Riccati (3.18) donnant P* dans le cas régulier.

On cherche donc pour quelles matrices symétriques B les équations :

$$
\dot{P} = FP + PF' + (G-PH')R^{-1}(G'-HP) \quad (3.70)
$$

$$
P(c) = B \tag{3.71}
$$

ont une solution sur $[0, \infty]$

D'autre part on a vu que P* était défini comme la limite de P<sub>t</sub> qui elle
même vérifie (3.14). Il est donc clair que P* vérifie la relation :

$$
O = FP* + P*F' + (G-P*H')R^{-1}(G'-HP*). \quad (3.72)
$$

Posons $\Delta P = P* - P$. Si P vérifie (3.70), (3.71) alors $\Delta P$ doit
vérifier :

$$
\dot{\Delta} P = F*\Delta P + \Delta P F*' - \Delta P H' R^{-1} H \Delta P \quad (3.73)
$$

$$
\Delta P(0) = A \tag{3.74}
$$

$$
A = P* - B \tag{3.75}
$$

où l'on a posé :

$$
F^* = F - (G - P*H')R^{-1}H \quad (3.76)
$$

On remarquera que l'équation différentielle (3.73) est de la
même forme (3.64) que celle étudiée au paragraphe 3.5.

On est donc amené tout naturellement à considérer :

$$
\text{le système } \dot{x} = -F'*x + H'u \quad (3.77)
$$

$$
\text{et le critère } J = \int_{0}^{t_1} u' Ru \, dt + x_0' \Delta x_0 \quad (3.78)
$$
Notons que le système (3.77) est commandable car si le couple (F',H') est commandable il en est de même de tout couple (F-TH',H').

Si on cherche à minimiser le critère (3.78) sur les commandes amenant le système à l'état $x_1$ à l'instant $t$, on a :

$$J_{\text{opt}} = x'_{1} \Delta P(t_{1}) x_{1}$$

où $\Delta P(.)$ vérifie (3.73) et (3.74).

D'après le théorème 3.1 les équations (3.73), (3.74) n'auront donc une solution $\Delta P(.)$ sur l'intervalle $[0,t]$ que si et seulement si

$$m = \min_{u} \left\{ x'_{0} Ax_{0} + \int_{0}^{t_1} u' Ru dt \mid z = x_{1} \right\} \quad (3.79)$$

Soit, en posant

$$M(t_1) = \int_0^{t_1} e^{F^*(\alpha-t_1)} H^{*R-1} H e^{F*(\alpha-t_1)} d\alpha \quad (3.80)$$

$$m = \min_{z} \left\{ z'Az + (x'-z' e^{-F^*t_1}) M^{-1}(t_1) (x' - e^{-F^*t_1}z) \right\} \quad (3.81)$$

Ce minimum n'existe donc pour tout $x$ que si :

$$A + e^{-F^*t_1} M^{-1}(t_1) e^{-F^*t_1} \text{ est définie non négative.}$$

Cette condition sera donc vérifiée pour tout $t_1$ si $A$ est prise non négative définie.

De la relation (3.75) on déduit :

**Corollaire 3.1.**

Une condition suffisante pour que l'équation différentielle matricielle

$$\dot{P} = FP + PF' + (G-PH') R^{-1} (G'-HP)$$

$$P(o) = B$$
$$B < P^* \qquad (3.82)$$

On remarquera que cette condition n'est pas une condition nécessaire et que le cône des matrices symétriques non supérieures à $P^*$ n'est qu'un sous ensemble du domaine de convergence.

En fait cette condition (3.82) n'est pas gênante, bien que lorsque l'on cherche $P_*$ on ne connaisse généralement pas $P^*$. Il suffit de choisir la condition $P(o) = 0$ comme nous l'avons fait dans la formulation générale de l'algorithme.

Lorqu'on cherche un algorithme donnant $P^*$ on est amené à l'équation différentielle (3.14) et on aurait pu envisager de résoudre les équations :

$$-\dot{P} = FP + PF + (G-PF') R^{-1}(G'-HP)$$

$$P(o) = A$$

ce qui aurait donné directemment $P^* = P(\infty)$ sans passer par son inverse. Cependant on pourra noter par dualité que l'algorithme ci dessus converge si $A \succ P_*$ qui est lui même généralement inconnu. C'est pourquoi on préfère l'algorithme donné en (3.15) à (3.17) qui n'est autre que la recherche de $\tilde{P}_*$ et se servir du fait que $P^* = \tilde{P}_*^{-1}$. Pour cet algorithme on est sûr en partant d'une condition initiale nulle d'être dans le domaine de convergence.

## 3.7. STABILITE DES ALGORITHMES DANS LE CAS SINGULIER.

La démonstration de la stabilité des algorithmes dans le cas singulier est tout à fait du même type que celle faite ci dessus.
On s'intéresse à la stabilité de l'équation :

$$ \dot{P} = FP + PF' - (FG + PF'H') [HFG + G'F'H']^{-1} (G'F' + HFP) \quad (3.83) $$

$$ P(o) = B \quad (3.84) $$

On pose alors :

$$ \Delta P = P* - P \quad (3.85) $$

$$ \text{et } F* = F - (FG + P*F'H') [HFG + G'F'H']^{-1} HF \quad (3.86) $$

On en déduit une nouvelle equation différentielle de Riccati :

$$ \dot{\Delta P} = F*\Delta P + \Delta P F*' - \Delta P F'H' [HFG + G'F'H']^{-1} HF\Delta P \quad (3.87) $$

$$ \Delta P(o) = A \quad (3.88) $$

$$ A = P* - B \quad (3.89) $$

Comme précédemment on cherche à associer l'existence d'une matrice $\Delta P(.)$ satisfaisant (3.87) et (3.88) à un problème de minimisation.

Pour cela on est amené à considérer :

$$ \text{le système } \dot{x} = -F'*x + F'H'u \quad (3.90) $$

$$ \text{et le critère } J = \int_{0}^{t_1} -u'[HFG + G'F'H'] u \, dt + x'_{0} Ax_{0} \quad (3.91) $$

La minimisation de ce critère a bien un sens puisqu'on a supposé que $[HFG + G'F'H']$ était définie positive.
De plus, si (F', H') est commandable et F asymptotiquement stable alors le système (3.90) est commandable. Commençons par montrer que (F', F'H') est commandable, c'est à dire que :

$$ \text{rang } [F'H', F'^2H', \dots, F'^n H'] = n $$

$$ \text{Or } [F'H', F'^2H', \dots, F'^n H'] = F' [H', F'H', \dots, F'^{n-1} H'] $$

F étant supposé asymptotiquement stable on a :

$$ \text{rang } F' = n . $$

Donc :

$$ \text{rang } [F'H', F'^2H', \dots, F'^n H'] = \text{rang } [H', F'H', \dots, F'^{n-1} H'] = n $$

Or si $(F', F'H')$ est commandable il en est de même de tous les couples de la forme $(F'-TF'H', F'H)$ donc en particulier de $(F^*, F'H')$.

Si on cherche à minimiser le critère (3.91) pour les commandes $u$ amenant le système (3.90) à l'état $x_1$ à l'instant $t_1$ on a :

$$ J_{\text{opt}} = x_1' \Delta P(t_1) x_1, $$

où $\Delta P(.)$ vérifie les équations (3.87) et (3.88).

D'après le théorème 3.1 les équations (3.87) et (3.88) n'auront donc une solution que si et seulement si

$$ m = \min_{u} \left\{ x'_{0} Ax_{0} - \int_{0}^{t_1} u' [HFG + G'F'H'] u \, dt \right\} > -\infty $$
Cela nous impose, comme dans le cas régulier, la condition :

$$A + e^{-F^*t_1} M^{-1}(t_1) e^{-F^*t_1} \ge 0 \quad (3.92)$$

où l'on a posé :

$$M(t_1) = \int_0^{t_1} e^{F^*(\alpha-t_1)} F^*H^*[\bar{h}FG + G^*F^*H^*]^{-1} HF e^{F^*(\alpha-t_1)} d\alpha \quad (3.93)$$

De même que dans le cas régulier en prenant $A$ définie non négative la relation (3.92) est vérifiée pour tout $t_1$. En tenant compte de 3.89 on a :

### Corollaire 3.2.

Une condition suffisante pour que l'équation différentielle matricielle :

$$\begin{gathered} \dot{P} = FP + PF' - (FG + PF'H') [HFG + G^*F^*H^*]^{-1} (G^*F' + HFP) \\ P(o) = B \end{gathered}$$

converge vers la solution $P_*$ du problème continu $\{H,F,G,O\}$ est que $B \prec P^*$ et que $G - BH' = 0$.

Cette deuxième condition a déjà été signalée au § 3.3. Elle est dû au fait que $\dot{P}' = 0$ et que l'on doit avoir $G - P_*H' = 0$

$$\text{Posons } P_o = G(G'H')^{-1}G'. \quad (3.94)$$

On a bien $G - P_0 H' = 0$.

De plus $P_0 x = 0$ si et seulement si $G'x = 0$.

Il existe donc au moins $(n-m)$ vecteurs $x_i$ indépendants entre eux tels que $x_i' P_0 x_i = 0$. Or $HG$ étant supposée positive définie les $m$ colones $h_j$ de $H'$ sont des vecteurs indépendants qui n'annulent pas la forme $h'_j P_0 h_j$.
Les vecteurs $(x_1, \dots, x_{n-m}, h_1, \dots, h_m)$ forment donc une base de
$\mathbb{R}^n$
et on a montré ainsi que $p_o$ était la plus petite matrice non négative
définie vérifiant la contrainte $G_{PH'} = 0$

On est donc sur que la condition $P_o < P^*$ est vérifiée.
D'où la forme de l'algorithme proposée en (3.31) à (3.33).

Pour les mêmes raisons que dans le cas régulier on prendra l'algo-
rithme donnant $\tilde{P}_*$ pour calculer $P^*$ ; ceci afin d'avoir une condition initiale
indépendante du problème. D'où la forme de l'algorithme (3.28) à (3.30).

3.8. STABILITE DE L'ALGORITHME DANS LE CAS GENERAL.

Le même raisonnement que dans les deux cas précédents nous
donne :

Corollaire 3.3.

Une condition suffisante pour que l'équation différentielle matricielle

$$
\dot{P} = FP + PF' + (G_a - P_h') R_a^{-1} (G_a - H_a P)
$$

où $G_a, H_a$ et $R_a$ sont définis en (3.57), (3.58), (3.56), converge vers $P_*$ est

que $B \leq P^*$ et que $G_2 - BH_2' = 0$ où $G_2$ et $H_2$ sont définis en (3.36) et (3.35).

Pour démontrer ce corollaire on est principalement amené à poser :

$$
F^* = F - (G_a - P * H_a') R_a^{-1} H_a
$$
et à montrer que si $(F', H')$ est commandable il en est de même de $(F'*, H'_a)$.

Le reste de la démonstration est similaire aux cas précédents.

-enfin en posant $P_o = G_2(G'_2 H'_2)^{-1} G'_2$ on montrerait comme dans le cas singulier de

$$P_o \leq P^*$$

$$\text{et que } G_2 - P_o H'_2 = 0$$

Ce qui nous assure la stabilité de l'algorithme proposé en (3.59), (3.60) et (3.61) de même que de la stabilité de l'algorithme dual donnant $P^*$ en (3.53), (3.54) et (3.55).
Soit le problème continu {$H,F,G,R$} ; on appelle ensemble $\mathcal{S}$ l'ensemble des matrices P telles que :

$$FP + PF' = -Q \qquad (4.1)$$

$$G - PH' = S \qquad (4.2)$$

$$\begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \succsim 0, P \succsim 0 \qquad (4.3)$$

On cherche quelques propriétés des matrices de l'ensemble,

### 4.1. POSITIVITE DES MATRICES P

Dans les chapitres précédents nous nous sommes souvent servis du fait que P était inversible (passage au problème dual, algorithme), il est donc intéressant de savoir sous quelles hypothèses les matrices P de $\mathcal{S}$ sont positives définies.

#### Lemme 4.1.

Soit le problème continu {$H,F,G,R$} avec $(H,F)$ complètement obser-
vable, $(F,G)$ complètement commandable. Si l'extremum $P^*$ lié à ce problème
est définie positive alors toutes les matrices $P$ de $\mathcal{S}$ le sont aussi.

En effet si $P^*$ est définie positive elle admet un inverse $P^{*-1}$
solution minimale du problème dual (d'après 2.17).

Donc $\tilde{P}_*$ est définie positive et a fortiori $\tilde{P}^*$ aussi car

$$\tilde{P}_* \le \tilde{P}^*$$

D'où $\tilde{P}^{*-1}$ est définie positive, cette dernière étant égale à $P_*$
et $P_*$ étant le minimum de l'ensemble $\mathcal{S}$, toute matrice $P$ de $\mathcal{S}$ est bien
définie positive.
### Lemme 4.2.

Soit $\Delta R$ une matrice définie non négative. L'ensemble $\mathcal{S}$ des solutions du problème $\{H,F,G,R\}$ est inclus dans l'ensemble $\mathcal{S}_1$ des solutions du problème $\{H,F,G,R+\Delta R\}$.

En effet si P appartient à $\mathcal{S}$ on a:

$$FP + PF' = Q, \quad (4.4.)$$

$$G - PH' = S \quad (4.5)$$

$$\begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \succcurlyeq 0, P \succcurlyeq 0 \quad (4.6)$$

Si l'inégalité (4.6) est vérifiée on a à fortiori

$$\begin{bmatrix} Q & S \\ S' & R+\Delta R \end{bmatrix} \succcurlyeq 0$$

Cette dernière relation et (4.4) et (4.5) impliquent que P appartient à $\mathcal{S}_1$.

### Théorème 4.1.

Soit le problème continu $\{H,F,G,R\}$ tel que $(H,F)$ soit complètement observable et $(F,G)$ complètement commandable. Alors si l'ensemble $\mathcal{S}$ n'est pas vide, il est constitué de matrices positives définies.

Soit P appartenant à $\mathcal{S}$ et soit $\Delta R$ une matrice définie positive.

Soit $\mathcal{S}_1$ l'ensemble des solutions du problème $\{H,F,G,R+\Delta R\}$.
D'après le lemme 2.1. et la définition de $P_1^*$ on a :

$$ x'P_1^*x = \inf_{u \in \mathcal{E}(x)} \left\{ \int_{-\infty}^{\infty} x'Qx + u'Ru + 2x'Su \, d\tau + \int_{-\infty}^{\infty} u'\Delta Ru \, d\tau \right\} \quad (4.7) $$

$$ \text{Soit : } x' P_1^* x \stackrel{\cdot}{\ge} \inf_{u \in \mathcal{E}(x)} \int_{-\infty}^{\infty} u' \Delta R u \, d\tau \\ \qquad \stackrel{\cdot}{\ge} \rho \|x\|^2 \quad \ast $$

Donc $P_1^*$ est définie positive. D'après le lemme 4.1. toute matrice de $\mathcal{P}_1$ est donc définie positive. Comme $\mathcal{P}$ est inclus dans $\mathcal{P}_1$ (lemme 4.2) les matrices de $\mathcal{P}$ sont également définies positives.

## 4.2. STRUCTURE DE $\mathcal{P}$.

On rappelle ici une représentation paramétrique possible de l'espace $\mathcal{P}$ qui a été donnée par $\{\text{FAURRE 1.Ch.5.2}\}$. Nous nous restreindrons par la suite aux problèmes réguliers $(R>0)$.

Notons que les relations (4.1.), (4.2) et (4.3) peuvent s'écrire :

$$ FP + PF' < -(G-PH')R^{-1}(G'-HP) \quad (4.8) $$

$$ P \ge 0 \quad (4.9) $$

car dans le cas régulier les conditions

$$ \begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \ge 0 \quad \text{et} \quad Q - SR^{-1}S' \ge 0 $$

sont équivalentes.

$$ \text{On pose alors : } \Delta P = P - P_*, \quad (4.10) $$

$$ F_* = F - (G - PH')R^{-1}H. \quad (4.11) $$

$$ \begin{gathered} \text{* On rappelle que } \inf_{u \in \mathcal{E}(x)} \int_{-\infty}^{\infty} u' Rud\tau = x'M^{-1}x \\ \text{en posant } M = \int_{-\infty}^{\infty} e^{-F\alpha_{H'}R^{-1}He\alpha} d\alpha \\ \text{- 44 -} \end{gathered} $$
D'après l'équation (3.18) concernant l'algorithme de P* dans le
cas régulier on a :

$$
FP_* + P_*F' = -(G-P_*H')R^{-1}(G-HP_*) \quad (4.12)
$$

De (4.8) et (4.12) on déduit

$$
F_* \Delta P + \Delta P F_*^{-1} \leq - \Delta P H_*^{-1} H \Delta P. \quad (4.13)
$$

$P_*$ étant le minimum de $\mathcal{P}$, l'ensemble $\mathcal{S}$ est donc constitué des matrices $P$ telles que

$$
\Delta P = P - F_{*}
$$

$\Delta P \ge 0$

$\Delta P$ vérifie l'inéquation (4.13).

De plus pour les matrices P de $\mathcal{P}$ telles que $P>P_*$ on a l'inégalité linéaire :

$$
(\Delta P)^{-1} F_* + F_* (\Delta P)^{-1} \le H' R^{-1} H \quad (4.14)
$$

4.3. OPERATEUR DE COVARIANCE COERCIF.

Le but de ce paragraphe est de trouver un critère sur les matrices
H,F,G,R qui nous assure que P*>P*. Ceci afin que l'inégalité (4.14) puisse
être exploitée sous forme de représentation paramétrique.

Théorème 4.2.

Soit le problème continu régulier {$H,F,G,R$}, Alors les trois propositions suivantes sont équivalentes :

1) <u>la matrice</u> $F_*$ <u>définie en</u> (4.11) <u>est asymptotiquement stable</u>

2) P*-P* est positive définie

3) la forme quadratique U'AU définie en (2.3) est coercive.

Montrons 3) => 2)
Supposons donc que $U'\Lambda U \ge \rho ||U||^2$. Définissons alors une nouvelle forme quadratique $U'\Lambda_u U$ par :

$$ U'\Lambda_u U = \int_{-\infty}^{\infty} \int_{-\infty}^{\beta} u(\alpha)H e^{F(\beta-\alpha)} G u(\beta) + u'(\beta)G' e^{F'(\beta-\alpha)} H' u(\alpha) d\alpha d\beta \\ + \int_{-\infty}^{\infty} u'(\alpha)(R-\rho I) u(\alpha) d\alpha \quad (4.15) $$

Il est clair que $U'\Lambda_u U$ est alors de type réel non négatif et donc d'après le lemme positif réel il existe $p_o$ tel que

$$ F_p + P_o F' = -Q_o \quad (4.16) $$

$$ G - P_o H' = S_o \quad (4.17) $$

$$ \begin{bmatrix} Q_o & S_o \\ S'_o & R - \rho I \end{bmatrix} >_o P_o >_o \quad (4.18) $$

On peut alors définir $P^*$ par :

$$ x'P^*x = \inf_{U \in \mathcal{U}(x)} x'P_0x + \int_{-\infty}^{\infty} x'_Q x + u'(R-\rho I)u + 2x'_S S_u dt \\ + \rho \int_{-\infty}^{\infty} u'u dt. \quad (4.19) $$

On a alors d'après (4.18)

$$ x'(P^*-P_0)x \ge \inf_{u \in \mathcal{U}(x)} \rho ||U||^2 \quad (4.20) $$

$$ \text{or } \inf_{u \in \mathcal{U}(x)} ||U||^2 = x' M^{-1} x $$

où M est la matrice de commandabilité du système :

$$ \dot{x} = F'x + H'u $$

Donc $P^*-P_o >_o$.

Si $P_o$ vérifie (4.18) il vérifie a fortiori la relation :

$$ \begin{bmatrix} Q_o & S_o \\ S'_o & R \end{bmatrix} >_o \quad (4.21) $$
Les relations (4.16), (4.17) et (4.21) nous montrent que $P_o$ appartient à $\mathcal{P}$.

Donc $P_o \ge P_*$ et donc $P-P_* > 0$.

Montrons $2) \Rightarrow 1)$

Cette proposition a été déjà démontrée dans {FAURRE 1.Ch.5.2}.

Il suffit de remarquer que d'après (3.14) $P^*$ vérifie

$$FP^* + P^*F' + (G-P^*H')R^{-1}(G'-HP^*) = 0. \quad (4.22)$$

Si $P^*-P_*$ est défini positive on a d'après (4.14) :

$$(\Delta P)^{-1} F_* + F'^* (\Delta P)^{-1} = -H'^* R^{-1} H \quad (4.23)$$

en posant $\Delta P = P^*-P_*$.

En interprétant (4.23) comme une équation de Lyapunov et en rappelant que le couple $(F',H')$ est commandable on voit que $F_*$ est asymptotiquement stable.

Montrons 1) $\Rightarrow$ 3)

Supposons donc $F_*$ asymptotiquement stable. Soit une matrice $A$ définie positive et $\Delta P_o$ vérifiant

$$F_* (\Delta P_o)^{-1} + (\Delta P_o)^{-1} F_* = -H'^* R^{-1} H - A \quad (4.24)$$

Posons $P_o = P_* + \Delta P_o$. On déduit alors de (4.24) la relation

$$FP_o + P_o F' + (G-P_o H') R^{-1} (G'-HP_o) = - \Delta P_o A \quad (4.25)$$

Soit $Q_o - S_o R^{-1} S_o > 0$. Car $\Delta P_o$ et $A$ sont des matrices positives définies.
Cette dernière condition est équivalente à

$$ \begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \succsim_0 \qquad (4.26) $$

Il existe donc $\rho > 0$ (par exemple la plus petite valeur propre de (4.26)) tel que :

$$ \begin{bmatrix} Q_0 & S_0 \\ S'_0 & R - \rho I \end{bmatrix} \succsim_0 \qquad (4.27) $$

D'après le lemme positif réel l'existence d'un tel $P_0$ vérifiant (4.27) implique que la forme quadratique $U'APU$ définie en (4.15) est de type réel non négatif. Donc que :

$$ U'AU - \rho ||U||^2 > 0. $$

Ce qui implique $U'AU$ coercive.

## 4.4. CARACTERISATION DE LA FRONTIERE DE $\mathcal{S}$.

Il est clair d'après les formules (4.1), (4.2) et (4.3) et d'après l'existence d'un maximum $P^*$ que l'ensemble $\mathcal{S}$ est convexe fermé et borné.

Munissons l'ensemble des matrices de la norme

$$ \|A\| = \sup_x \frac{\|Ax\|}{\|x\|} \qquad (4.28) $$

et de l'ensemble des boules ouvertes définies par

$$ \mathcal{B}(A, \varepsilon) = \{B : B = A + C, ||C|| < \varepsilon\} \qquad (4.29) $$
### Définition 4.1.

Une matrice $P_0$ de $\mathcal{T}$ appartient à la frontière de $\mathcal{T}$ si et seulement si pour tout $\varepsilon>0$ il existe :

- Une matrice $P_1$ appartenant à $\mathcal{B}(P_0, \varepsilon)$ et à $\mathcal{T}$

- Une matrice $P_2$ appartenant à $\mathcal{B}(P_0, \varepsilon)$ et n'appartenant pas à $\mathcal{T}$.

Nous pouvons alors caractériser la frontière de $\mathcal{T}$ par :

### Théorème 4.3

Une matrice $P_0$ de $\mathcal{T}$ est frontière si et seulement si la matrice

$$ \begin{bmatrix} Q_0 & S_0 \\ S'_0 & R \end{bmatrix} \quad \text{est singulière} $$

$R$ étant supposée positive définie cette condition est équivalente à la condition :

$$ [Q_0 - S_0 R^{-1} S'_0] \text{ singulière.} $$

Supposons d'abord que $[Q_0 - S_0 R^{-1} S'_0]$ est singulière. Il existe un vecteur $x_0$ tel que

$$ x'_0 [Q_0 - S_0 R^{-1} S'_0] x_0 = 0 $$

D'autre part $P^*-P_*$ étant supposée positive définie on a vu (4.25) qu'il existait alors une matrice $P$ de $\mathcal{T}$ telle que $[Q-SR^{-1}S']$ soit définie positive.

$$ \text{Formons : } P(\alpha) = \alpha P + (1-\alpha) P_0 $$

Alors

$$ \begin{aligned} [Q(\alpha)-S(\alpha)R^{-1}S'(\alpha)] ={}& (1-\alpha)[Q_0 - S_0 R^{-1} S'_0] + \alpha [Q-SR^{-1}S'] \\ & + \alpha(1-\alpha) (S-S_0)R^{-1}(S'-S'_0) \end{aligned} \quad (4.30) $$
ou encore :

$$
x'_{o}[Q(\alpha)-S(\alpha)R^{-1}S'(\alpha)]x_{o} = \alpha x'_{o}[Q-SR^{-1}S']x_{o} + \alpha(1-\alpha)x'_{o}(S-S_{o})R^{-1}(S'-S'_{o})x_{o} \quad (4.31)
$$

La matrice [Q - SR⁻¹S'] étant positive définie cette dernière expressi
est négative pour tout α négatif

Alors quelque soit ε il existe α>0 tel que

$$
P_1 = P(\alpha) \quad \text{et} \quad P_2 = P(-\alpha) .
$$

satisfont les conditions de la définition 4.1. P₀ est donc un point frontière.

Supposons par contre que $[Q_o - S_o R S'_o]$ soit définie positive ;

alors il existe $\varepsilon > 0$ tel que

$$
\| Q_o - S_o R^{-1} S'_o \| > \varepsilon \quad (4.32)
$$

Posons P = P₀ + ΔP. Alors :

$$
Q - S R^{-1} S' = Q_o - S_o R^{-1} S'_o - \Delta P(F' - H' R^{-1} S'_o) - (F - S_o R^{-1} H) \Delta P - \Delta P H' R^{-1} H \Delta P_o \quad (4.33)
$$

$$
\text{Soit } \left| \left| F - S_o R^{-1} H \right| \right| = a ,
$$

$$
\left| \left| H' R^{-1} H \right| \right| = b ,
$$

comme d'après (4.28) $|||AB||| < |||A||| \quad |||B|||$ en prenant :

$$
\epsilon_1 = \frac{\epsilon}{4a} , \epsilon_2 = \sqrt{\frac{\epsilon}{2b}}
$$

$$
\text{et } \epsilon_o = \inf (\epsilon_1, \epsilon_2) \qquad (4.34)
$$
la boucle $\mathcal{B}(P_o, \epsilon_o)$ est incluse dans $\mathcal{S}$. En effet d'après (4.33) et (4.34) et pour P appartenant à $\mathcal{B}(P_o, \epsilon_o)$

$$Q-SR^{-1}S' = Q_o-S_oR^{-1}S'_o +A$$

avec $||A|| < \epsilon$.

Comme $[Q_o-S_oR^{-1}S'_o]$ est positive définie et d'après l'n hypothèse (4.32) $[Q-SR^{-1}S']$ est aussi positive définie.

$P_o$ n'est donc pas point frontière

Du théorème 4.3 et de la formule (4.30) on peut également déduire le résultat suivant :

**Corollaire 4.1.**

Tout le segment $[P_*,P_*]$ est frontière de $\mathcal{S}$ si $m < n$.

En effet on rappelle que

$$Q_* - S_*R^{-1}S'_* = 0$$

$$Q* - S*R^{-1}S'* = 0$$

En posant alors :

$$P(\alpha) = \alpha P_* + (1-\alpha) P^* \quad \alpha \in [0,1]$$

On a d'après (4.30) :

$$Q(\alpha) - S(\alpha)R^{-1}S'(\alpha) = \alpha(1-\alpha) (P*-P_*) H'^{-1}R^{-1} (P*-P_*) .$$

Dans le cas général intéressant où $m<n$, $H'^{-1}R^{-1}$ n'est pas de rang plein donc $P(\alpha)$ est bien un point frontière pour tout $\alpha \in [0,1]$.
## CHAPITRE 5 : PROBLEMES CONTINUS ET DISCRETS ASSOCIES.

### STRUCTURE DE L'ENSEMBLE $\mathcal{J}$ DANS LE CAS DISCRET.

Jusqu'ici nous n'avons étudié les propriétés de l'ensemble des réalisations markoviennes que dans le cas continu. En effet une approche directe de l'étude du cas discret paraît plus ardue. C'est pourquoi on a cherché à associer un problème discret avec un problème continu.

#### 5.1. PROBLEMES CONTINUS ET DISCRETS ASSOCIES.

##### *Definition 5.1.*

On dira que le problème discret $\{H,F,G,\Lambda_0\}$ et le problème continu $\{H_c,F_c,G_c,R_c\}$ sont associés si et seulement si toute solution $P$ de l'un est solution de l'autre. Ou encore si les ensembles de relations :

$$ P - \text{FPF}' = Q \qquad (5.1) $$

$$ G - \text{FPH}' = S \qquad (5.2) $$

$$ \Lambda_0 - \text{HPH}' = R \qquad (5.3) $$

$$ \begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \succsim_0 P \succsim_0 \qquad (5.4) $$

et

$$ F_c P + PF'_c = Q_c \qquad (5.5) $$

$$ G_c - PH'_c = S_c \qquad (5.6) $$

$$ \begin{bmatrix} Q_c & S_c \\ S'_c & R_c \end{bmatrix} \succsim_0 P \succsim_0 \qquad (5.7) $$

sont équivalentes.
Théorème 5.1.

A tout problème discret {$H,F,G,\Delta o$} on peut associer un problème
$\{H_c,F_c,G_c,R_c\}$ continu et inversement. En particulier on peut prendre

$$
F_c = (\dot{F}+I)^{-1} (F-I) \tag{5.8}
$$

$$
H_c = \sqrt{2} H (F+I)^{-1} \qquad (5.9)
$$

$$
G_c = \sqrt{2} (F+I)^{-1} G \qquad (5.10)
$$

$$
R_c = \Lambda o - H(F+I)^{-1}G - G'(F'+I)^{-1}H' \quad (5.11)
$$

ou inversement

$$
F = (I - F_c)^{-1} (I + F_c) \tag{5.12}
$$

$$
H = \sqrt{2} H_c (I - F_c)^{-1} \qquad (5.13)
$$

$$
G = \sqrt{2}(I - F_c)^{-1} G_c \qquad (5.14)
$$

$$
\Lambda o = R_c + H_c (I - F_c)^{-1} G_c + G'_c (I - F'_c)^{-1} H'_c \quad (5.15)
$$

Nous ne donnerons pas les calculs permettant de trouver ces formules
ils se trouvent dans {FAURRE 1.Ch.4.6}. Indiquons seulement que l'on s'appuie
sur l'identification des spectres S(z) et S_c(s) associés à chaque problème
en utilisant la transformation conforme s = z-1/z+1 ou z = 1+s/1-s.

Notons enfin que les matrices (F+I) et (I-F_c) sont bien inversibles
si F et F_c sont asymptotiquement stables.

Démontrons ce théorème. Pour cela nous allons former les expressions
de Q, S, R à partir des expressions (5.8) à (5.11) en fonction des valeurs
de Q, S, R.

$$
-Q_c = (F+I)^{-1} (F-I) P + P (F'+I)^{-1} (F'-I)
$$
$$= 2(I-(F+I)^{-1}) P (I-(F'+I)^{-1}) - 2(F+I)^{-1} P(F'+I)^{-1}$$

$$\text{soit } Q_c = 2 (F+I)^{-1} Q (F'+I)^{-1}$$

(5.16)

De même :

$$S_c = \sqrt{2} [(F+I)^{-1} G - P(F'+I)^{-1} H']$$

$$= \sqrt{2} (F+I)^{-1} S + \sqrt{2} [I - (F+I)^{-1}] P H' - P(F'+I)^{-1} H'$$

$$\text{soit } S_c = \sqrt{2} (F+I)^{-1} S - \sqrt{2} (F+I)^{-1} Q (F'+I)^{-1} H' \quad (5.17)$$

Et

$$R_c = \Lambda_0 - H(F+I)^{-1} G - G'(F'+I)^{-1} H'$$

$$= R - H(F+I)^{-1} S - S'(F'+I)^{-1} H' + HPH' - H(F+I)^{-1} FPH' - HPF'(F'+I)^{-1}$$

$$\text{soit } R_c = R - H(F+I)^{-1} S - S'(F'+I)^{-1} H' + H(F+I)^{-1} Q (F'+I)^{-1} H' \quad (5.18)$$

Il est clair alors qu'on peut regrouper les formules (5.16), (5.17) et (5.18) sous la forme :

$$\begin{bmatrix} Q_c & S_c \\ S'_{c} & R_c \end{bmatrix} = \begin{bmatrix} \sqrt{2} (F+I)^{-1} & 0 \\ -H(F+I)^{-1} & I \end{bmatrix} \begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \begin{bmatrix} \sqrt{2} (F'+I)^{-1} & -(F'+I)^{-1} H' \\ 0 & I \end{bmatrix} \quad (5.19)$$

Ceci quelque soit la matrice P choisie.

Comme les conditions

$$\begin{bmatrix} Q_c & S_c \\ S'_{c} & R_c \end{bmatrix} \succsim_0 \text{ et } \begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \succsim_0 \text{ sont équivalentes}$$
d'après (5.19) les deux problèmes {$H,F,G,\Lambda o$} et {$H_c,F_c,G_c,R_c$} sont bien associés.

De même en utilisant les formules (5.11) à (5.15) on a pour toute
matrice P :

$$
\begin{bmatrix} Q & S \\ S' & R \end{bmatrix} = \begin{bmatrix} \sqrt{2}(I-F_c)^{-1} & 0 \\ (I-F_c)^{-1} & I \end{bmatrix} \begin{bmatrix} Q_c & S_c \\ S'_c & R_c \end{bmatrix} \begin{bmatrix} \sqrt{2}(I-F'_c)^{-1} & (I-F'_c)H'_c \\ 0 & I \end{bmatrix} \quad (5.20)
$$

On peut définir, comme dans le cas continu, un problème dual
{G',F',H',Λo} au problème {H,F,G,Λo} . D'après les propriétés de la dualité
en continu et d'après les formules (5.8) à (5.11) on a :

Corollaire 5.1.

Si P est solution du problème discret {H,F,G,Λo} alors P⁻¹ est solution
du problème dual {G',F',H',Λo} .

Ceci nous permet de définir un minimum $P_*$ inverse du maximum $\tilde{P}_*$ du problème dual.

On a vu que dans le cas continu les matrices $P_*$ et $\tilde{P}_*$ vérifiaient
les relations

$$
Q_{c*} = S_{c*} R_c^{-1} S_{c*}' \quad \text{et} \quad Q_{c*} = S_{c*} R_c^{-1} S_{c*}' \quad (5.21)
$$
### Corollaire 5.2.

Soit le problème discret {$H,F,G,\Delta o$}. Si $P_*$ est telle que $R_*$ soit définie positive alors

$$Q_* = S_* R_*^{-1} S_*^T \qquad (5.22)$$

De même si $P_*$ est telle que $R_*$ soit définie positive alors

$$Q^* = S^* R^*^{-1} S^T \qquad (5.23)$$

On remarquera en effet que d'après (5.19) les matrices

$$\begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \text{ et } \begin{bmatrix} Q_c & S_c \\ S'_c & R_c \end{bmatrix} \text{ ont même rang.}$$

Nous allons par la suite spécialement nous intéresser aux problèmes discrets {$H,F,G,\Delta o$} tels que $R_*$ soit définie positive.

Ce qui nous conduit à :

### Lemme 5.1.

Une condition suffisante pour qu'un problème discret {$H,F,G,\Delta o$} soit tel que $R_*$ soit définie positive, est que l'opérateur de covariance $U'\Delta U$ définie en (2.20) soit coercif.
La démonstration de ce lemme est basée sur l'algorithme donnant $P_*$ dans le cas *discret* (cf. *FAURRE1.Ch.6.1*)). On recherche en effet $P_*$ comme limite d'une suite de $P_n$.

Cette suite est telle que

$$ \Lambda_0 - \text{HP}_{n}^{\text{H'}} \equiv [\Lambda_0 - \text{HC}_{n} \Lambda_{n}^{-1} \text{C}'_{n} \text{H'}_{n}]_{o} \quad (5.24) $$

Avec

$$ \Lambda_n = \begin{bmatrix} \Lambda(0) & \Lambda(1) & \dots & \Lambda(n) \\ \Lambda(-1) & \Lambda(0) & & \\ \vdots & \vdots & \ddots & \vdots \\ \Lambda(-n) & \Lambda(0) & & \Lambda(n) \end{bmatrix} \quad \text{matrice de Toeplitz} $$

et $C_n = [G,F,G \dots F^{n-1}G]$ matrice de commandabilité.

Remarquons que $\Lambda_n$ peut s'écrire :

$$ \Lambda_{n+1} = \begin{bmatrix} \Lambda_0 & HC_n \\ C_n H' \Lambda_n \end{bmatrix} \quad (5.25) $$

Si $U'\Lambda U$ est coercive il en est de même de

$$ U'_{n+1} \Lambda_{n+1} U_{n+1} $$

$$ \text{Choisissons } U_{n+1} = \begin{bmatrix} U_0 \\ -HC_n \Lambda^{-1} U_0 \end{bmatrix} $$
On a alors :

$$
U'_{n+1} \Lambda_{n+1} U_{n+1} = U'_0 [\Lambda_0 - H C_n \Lambda_n^{-1} C'_n H'_n] U_0
$$

$$
\geq \rho \| U_{n+1} \|^2
$$

$$
\geq \rho ||U_o||^2
$$

D'après (5.24) on en déduit :

$$
U'_0 R U_0 \geq \rho ||U_0||^2 \quad (5.26)
$$

Comme $R_* = \lim_{n \to \infty} R_n$, $R_*$ est bien une matrice définie positive.

5.2.REPRESENTATION PARAMETRIQUE DE Θ DANS LE CAS DISCRET.

Comme dans le cas continu on cherche une représentation paramétrique
décrivant l'ensemble $\mathcal{Θ}$ . Pour cela on utilisera les résultats du cas
continu et les formules de passage d'un problème discret au problème continu
associé.

On suppose maintenant que la forme quadratique U'AU associée au
problème discret {H,F,G,Ao} est coercive.

Un raisonnement analogue à celui fait pour le cas continu nous
montre que P*-P* est alors positive définie. D'après le lemme 5.1 R* est
également positive définie et d'après le corollaire 5.2 on a aussi :

$Q_* = S_* R_*^{-1} S'_*$
En écrivant l'expression (5.18) de $R_c$ pour $P_*$ on obtient

$$R_c = (I-H(F+I)^{-1}S_*R_*^{-1}) \quad R_*(I-R_*^{-1}S_*(F'+I)^{-1}H'). \quad (5.27)$$

Montrons alors que si $P*-P_*$ est positive, définie $R_c$ l'est aussi.

En effet, il est clair que si la forme $U'\Lambda U$ est coercive, la forme associée continue $U'\Lambda U$ l'est aussi. Supposons alors que $R_c$ ne soit pas définie positive, il existe alors un vecteur $u_0$ non nul tel que

$$u_0'R_0u_0 = 0$$

$$\text{Alors } S_c^* u_0 = 0 \text{ et } S_{c^*} u_0 = 0.$$

$$\text{Ce qui nous donne par soustraction } (P*-P_*)H'_{c^*} u_0 = 0.$$

$$\text{D'après l'hypothèse } P*-P_* \text{ définie positive on en déduit } H'_{c^*} u_0 = 0.$$

Mais alors en prenant :

$$u(\tau) = \begin{cases} u_0 & \text{si } \tau \in [t, o] \\ 0 & \text{sinon} \end{cases}$$

$U'\Lambda U = 0$ ce qui est contraire à l'hypothèse de coercivité. Donc $R_c$ est définie positive. On peut alors déduire de la formule (5.27) que la matrice

$$(I-H(F+I)^{-1}S_*R_*^{-1}) \text{ est définie positive.}$$

Calculons alors à l'aide des formules (5.8) à (5.11) et (5.16) à (5.18) la matrice $F_{c*}$.
Notons tout d'abord que l'on a :

$$R_c^{-1} = (R_* - S_* (F'+I)^{-1} H)^{-1} [S_* (F'+I)^{-1} H' (R_* - H(F'+I)^{-1} S_*)^{-1} + I] \quad (5.28)$$

Alors

$$F'_c = S_* R_c^{-1} H_c = I - 2(F'+I)^{-1} [I + S_* [R_* - H(F'+I)^{-1} S_*]^{-1} H (F'+I)^{-1}]$$

En notant que

$$ 
\begin{align*}
[I + S_* [R_* - H(F'+I)^{-1} S_*]]^{-1} H(F'+I)^{-1} &= [I - S_* R_*^{-1} H(F'+I)^{-1}]^{-1} \\
&= (F'+I)(F - S_* R_*^{-1} H + I)^{-1}.
\end{align*} 
$$

On a alors

$$F'_c = (F_* + I)^{-1} (F_* - I), \qquad (5.29)$$

expression où l'on a posé :

$$F_* = F - S_* R_*^{-1} H \qquad (5.30)$$

On pourrait inversement montrer que :

$$F_* = (I + F_c^*) (I - F_c^*)^{-1} \qquad (5.31)$$

Les formules (5.29) et (5.31) nous prouvent immédiatement que l'asymptotique stabilité de $F_*$ est équivalente à l'asymptotique stabilité de $F_c^*$.

Reprenons la formule (4.14).

$$(\Delta P)^{-1} F_c^* + F'_c (\Delta P)^{-1} \ll -H'_{c_c} R_c^{-1} H_c \qquad (5.32)$$

Elle peut s'écrire avec (5.29) sous la forme

$$(\Delta P)^{-1} (I + F_*)^{-1} (F_* - I) + (F'_* - I) (I + F_*)^{-1} (\Delta P)^{-1} \ll 2 (F'+I)^{-1} H'_{c_c} R_c^{-1} H (F'+I)^{-1} \quad (5.33)$$
Un calcul (un peu long, mais simple) nous montre que d'une part :

$$ (\Delta P)^{-1} (I+F_{*})^{-1} (F_{*}+I) + (F_{*}-I) (I+F_{*})^{-1} (\Delta P)^{-1} = -2(I+F_{*})^{-1} [(\Delta P)^{-1} - F_{*} (\Delta P)^{-1} F_{*}] (I+F_{*})^{-1}, $$

d'autre part

$$ (I+F_{*}) (F_{*}+I)^{-1} H^{-1} R^{-1} H (F+I)^{-1} (I+F_{*}) = H^{-1} R_{*}^{-1} H $$

En rapprochant ces deux dernières égalités de la formule (5.33) on obtient

$$ (\Delta P)^{-1} - F_{*}^{-1} (\Delta P)^{-1} F_{*} \geq H^{-1} R_{*}^{-1} H . \quad (5.34) $$

### Théorème 5.2.

Soit le problème discret $\{H,F,G,\Delta o\}$ à opérateur de covariance coercif alors il existe une représentation paramétrique de l'ensemble $\mathcal{P}$ associée. Pour toute matrice définie non négative $A$ soit $\Delta P$ la solution de l'équation de discrète :

$$ (\Delta P)^{-1} - F_{*}^{-1} (\Delta P)^{-1} F_{*} = H^{-1} R_{*}^{-1} H + A \quad (5.35) $$

alors $P = P_{*} + \Delta P$ appartient à $\mathcal{P}$.

On notera que si $A$ est nulle on obtient (par analogie au cas-continu) la solution $P_{*}$. D'où
### Corollaire 5.3.

Pour un problème discret à opérateur de covariance coercif les extrêmes $P_*$ et $P^*$ sont liés par la relation

$$ (P^*-P_*)^{-1} -F_*^{-1} (P^*-P_*)^{-1} F_* = H^{-1} R_*^{-1} H. \quad (5.36) $$

Comme dans le cas continu on a alors le théorème suivant :

### Théorème 5.3.

Pour un problème discret {H,F,G,Ao} les trois propositions suivantes sont équivalentes :

1) la forme quadratique U'AU associée est coercive.

2) la matrice $F_*$ définie en (5.30) est asymptotiquement stable.

3) les matrices $R_*$ et $(P^*-P_*)$ sont définies positives.

En effet, on a déjà signalé que 1) $\Rightarrow$ 3) était évident et que la démonstration était similaire au cas continu.

De plus d'après la relation (5.36) on a $2) \leftarrow 3)$ en notant que le couple $(F_*, H^*)$ est commandable.

Montrons donc 3) $\Rightarrow$ 1).
Supposons donc que $(P*-P_*)$ soit définie positive. On a vu alors dans l'étude du cas continu qu'il existait alors une matrice $P_o$ telle que

$$ \begin{bmatrix} Q_{oc} & S_{oc} \\ S'_{oc} & R_c \end{bmatrix} $$

soit définie positive.

D'après (5.19)

$$ \text{rang} \begin{bmatrix} Q_{oc} & S_{oc} \\ S'_{oc} & R_c \end{bmatrix} = \text{rang} \begin{bmatrix} Q_o & S_o \\ S'_o & R_o \end{bmatrix} $$

Donc
$$ \begin{bmatrix} Q_o & S_o \\ S'_o & R_o - \rho I \end{bmatrix} $$ est définie positive. Il existe alors $\rho$ tel que

$$ \begin{bmatrix} Q_o & S_o \\ S'_o & R_o - \rho I \end{bmatrix} >_o P_o \text{ est alors solution du problème discret } \{H,F,G,\Delta_o-\rho I\}. $$

Donc d'après le lemme positif réel $U'\Delta U \ge \rho ||U||^2$.
## 6.1. MISE EN OEUVRÉ DE L'ALGORITHME.

On a vu au Chapitre 3 que les algorithmes donnant $P^*$ et $P_*^*$ étaient sous la forme d'une équation différentielle matricielle de Riccati.

En étudiant l'algorithme au cas général (voir 3.4.) on a remarqué qu'il avait la même forme dans tous les cas. Pour $P_*$ par exemple on a :

$$ \dot{\Omega} = \Omega F' + F\Omega + (G_a - \Omega H_a') R_a^{-1} (G_a' - H_a \Omega) \quad (6.1) $$

$$ \Omega(0) = G_2 (H_2 G_2)^{-1} G_2' \quad (6.2) $$

$$ \Omega(\infty) = P_* \quad (6.3) $$

Le programme, se déroulera donc en deux temps.

Dans une première phase on détermine le rang de $R$. Si $R$ est singulier on calculera alors à partir des matrices $H,F,G,R$ les nouvelles matrices $H',G',R'$, données par les formules (3.50) à (3.52) et (3.56) à (3.57) ainsi que les conditions initiales $\Omega(0)$ et $\Sigma(0)$. Cette première partie sera donc différente suivant le rang de $R$.

Ensuite nous avons deux équations différentielles de la forme (6.1.) à résoudre. Cette résolution, par contre, est identique quelque soit $R$.

Pour cela on a utilisé une méthode de Runge-Kutta d'ordre 4.

On remarquera qu'après avoir résolu l'algorithme de $P_*$ il suffit d'appliquer le même algorithme en changeant :

$$ \begin{cases} F \text{ en } F' \\ H' \text{ en } G \\ G' \text{ en } H \\ a \text{ en } a \\ a \text{ en } a \end{cases} $$
pour obtenir l'inverse de P*.

On obtient finalement $Q^*, Q^*_*, S^*, S^*_*$ par les formules très simples

$$FP + PF' = -Q \qquad (6.4)$$

$$G - PH' = S \qquad (6.5)$$

Ce programme est donc très simple et a l'avantage d'être utilisable dans tous les cas.

Remarque.

Si R n'est pas de rang plein et ne se trouve pas sous la forme

$$R = \begin{bmatrix} R_1 & 0 \\ 0 & 0 \end{bmatrix}, R_1 \succ 0 \qquad (6.6)$$

un simple réarrangement des sorties nous permet de nous y ramener.

Nous allons maintenant préciser l'utilisation de la méthode de Runge-Kutta que nous avons choisie.

## 6.2 PAS VARIABLE ET TEST D'ARRET.

Lorsqu'on intègre une équation différentielle par la méthode de Runge-Kutta il se pose deux problèmes :

- le choix du pas d'itération

- à quel moment la solution obtenue est jugée satisfaisante.

Nous avons résolu ces deux problèmes conjointement.

On rappelle (voir par exemple {HAMMING}) que la méthode de Runge-Kutta à quatre termes se présente pour nous sous la forme :

$$\dot{\Omega} = f(\Omega) \qquad (6.7)$$
$$K_1 = hf(\Omega_n) \qquad (6.8)$$

$$K_2 = hf(\Omega_n + \frac{K_1}{2}) \qquad (6.9)$$

$$K_3 = hf(\Omega_n + \frac{K_2}{2}) \qquad (6.10)$$

$$K_4 = hf(\Omega_n + K_3) \qquad (6.11)$$

$$\Omega_{n+1} = \Omega_n + \frac{1}{6}(K_1 + 2K_2 + 2K_3 + K_4) \qquad (6.12)$$

h étant le pas d'itération.

On remarquera que si h est trop petit le temps de calcul risque d'être élevé et que si h est trop grand on risque de sortir du domaine de convergence.

C'est pourquoi nous avons employé la méthode suivante :

On commence le calcul avec un pas h petit car c'est au début que les valeurs de $f(\Omega)$ sont les plus élevées. Ensuite on fait le test suivant :

$$[\sup_{i,j} | \Omega_n(i,j) - \Omega_{n+1}(i,j) | - \epsilon_1] \ge 0 \qquad (6.13)$$

Si cette dernière expression est positive on recommence avec le même pas h. Sinon on augmente le pas h en le multipliant par un coefficient, puis on fait un deuxième test :

$$[ \sup_{i,j} |f(\Omega_n(i,j)) - \epsilon_2 | ] \ge 0 \qquad (6.14)$$

Si cette dernière quantité est positive on continue avec le nouveau pas. Sinon on estime que la précision obtenue est suffisante et on arrête.

On trouvera d'ailleurs un organigramme du programme en annexe.
## 6.3. RESULTATS NUMERIQUES.

Le programme a été testé pour tous les cas R régulier, R nul et R singulier et donne toujours de bons résultats.

Pour exécuter le programme pour un problème {H,F,G,R} il faut bien évidemment qu'il y ait une solution et donc que U'AU définie en (2.4) soit positive. Comme cette condition est difficilement vérifiable pratiquement ; on se donne en pratique une matrice

$$ \begin{bmatrix} Q & S \\ S' & R \end{bmatrix} \succ 0, \text{ une matrice F et une matrice H.} $$

On résout alors l'équation de Lyapunov en P :

$$ FP + PF' = -Q \qquad (6.15) $$

$$ \text{et l'on pose } G = PH' + S \qquad (6.16) $$

On est alors sûr que l'ensemble $\mathcal{P}$ associé au problème continu {H,F,G,R} n'est pas vide.

On peut alors faire plusieurs remarques.

-Dans le cas où R est singulière la contrainte

$$ G_2 - PH'_{2} = 0 $$

est vérifiée aux erreurs de chute de calcul près, c'est à dire que ces éléments sont de l'ordre de $10^{-7}$ en valeur relative.

-Dans le cas régulier on vérifie que les extremums $P^*$ et $P_*^*$ sont liés par la relation.

$$ (P^*-P^*)^{-1}F_* + F'_* (P^*-P^*)^{-1} = -H'R^{-1}H \qquad (6.17) $$

Cette relation est obtenue avec la même précision que celle demandée pour le calcul de $P^*$ et de $P_*^*$.
-On a testé le domaine de convergence. Ainsi en prenant pour condition initiale.

$$ \Omega(0) = -1 $$

on converge vers une solution $P_*$ identique au $P_*$ obtenu en prenant une condition initiale nulle. Bien sûr le nombre d'itérations et le temps de calcul ont très sensiblement augmenté.

-On a également testé la vitesse de convergence des algorithmes.

Indiquons les ordres de grandeurs : (pour $n = 3, m = 2$)

<table><tr><td>20 itérations</td><td>précision 7°/°</td></tr><tr><td>30 itérations</td><td>précision 2°/°</td></tr><tr><td>40 itérations</td><td>précision 8°/°°</td></tr><tr><td>50 itérations</td><td>précision 2°/°°</td></tr></table>

On pourra se référer à l'annexe 2 pour plus de détails.

Ces résultats nous permettent d'affirmer que ces algorithmes sont précis et qu'il sont aussi très simples à mettre en oeuvre. On trouvera d'ailleurs en annexe 3 un certain nombre de résultats.
Entrée des données
H,F,Q,S,R

calcul de P par :
$$PF' + FP = -Q$$

$G = PH' + S$

test du rang de R

R nul

R

regulier

R singulier

$R = [HFG+G'F'H']$

$\Omega = G(HG)^{-1}G'$

$\Sigma = H'(HG)^{-1}H$

$G = FG$

$H = HF$

$\Omega = 0$

$\Sigma = 0$

$R = R_a (cf(3.56))$

$\Omega = G_2(H_2G_2)^{-1}G'_2$

$\Sigma = H'_2(H_2G_2)^{-1}H'_2$

$G = G_a (cf(3.57))$

$H = H_a (cf(3.58))$

$JJ = 1$

1
<figure><img src="image_3.png" /></figure>
VITESSE DE CONVERGENCE

Arreur relative

+

50%

25%

15%

10%

5%
REFERENCES.

{FAURRE 1.} : Réalisations markoviennes de processus stationnaires (Thèse de
Doctorat d'état). Rapport Laboria N° 13 (1973).

{FAURRE 2.} : Sur les points conjugués en commande optimale.
C.R. Acad. Sc. Paris, t.226 (24 Juin 68).

{KALMAN 1.} : Théorie de la seconde variation. Introduction à la commande
optimale et aux jeux différents. (Centre d'automatique de
l'E.N.S.M.P.). Référence C.14.

{WILLEMS} : Least squares stationary Optimal control and the algebraic Riccati
equation. (IEEE Transactions vol. AC-16, n°6, 1971). p. 623-634.

{KALMAN 2} :Kalman, H₀, Narendra. Controllability of linear Dynamical Systems,
Contributions to Differential Equations, Vol 1, No 2, p 189-213,
Interscience, 1963.

{SCHWARTZ} : Méthodes mathématiques pour les sciences physiques,
Hermann,

{HAMMING} : Numerical Methods for Scientists and Engineers, Mc Graw-Hill, 1962.