# Chainesde Markov non homogènes à causalité constante :
matrices d'écart d'homogénéité

G. Mauffrey, B. Lemaire

► To cite this version:

G. Mauffrey, B. Lemaire. Chainesde Markov non homogènes à causalité constante : matrices d'écart d'homogénéité. Annales de l'ISUP, 1977, XXII (1-2), pp.83-107. hal-04080818

HAL Id: hal-04080818

https://hal.sorbonne-universite.fr/hal-04080818

Submitted on 25 Apr 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
CHAINES DE MARKOV NON HOMOGENES A CAUSALITE CONSTANTE : MATRICES
D'ECART D'HOMOGENEITE

B.LE MAIRE G.MAUFFREY

Soit $\mathcal{W}$ une chaîne de Markov (à nombre fini d'états) ayant pour suite de vecteurs d'états la suite $(P_n)_{n \in \mathbb{N}^*}$ et pour suite de matrices de transition, à une étape, la suite $(M_n)_{n \in \mathbb{N}^*}$

Nous supposerons, dans toute la suite, que la suite $(M_n)$ n'est pas nécessairement constante, c'est-à-dire que la chaîne n'est pas nécessairement homogène, mais que l'on a du moins l'hypothèse restrictive suivante :

**Hypothèse** : $\exists C$, matrice, $\forall n \in \mathbb{N}^*$, $M_{n+1} = C M_n$, c'est-à-dire qu'il existe une matrice $C$, dite de "causalité" markovienne, telle que la matrice de transition pour la période $n+1$ se déduit de la matrice de transition pour la période $n$ par prémultiplication de $M_n$ par $C$.

**Définition** : Nous dirons que nous avons une chaîne à causalité constante. (Le cas $C=I$ nous ramenant au cas particulier des chaînes homogènes).

**Remarque** : S'il existe au moins une matrice $M_n$ inversible, $C$ sera obtenu immédiatement de $M_n$ et de $M_{n+1}$, puisque : $C = M_{n+1} \cdot M_n^{-1}$;

# I - QUELQUES DEFINITIONS ET PROPRIETES GENERALES

**Définition 1** : Une matrice pseudo-stochastique est une matrice dont la somme de chaque ligne est égale à 1.

Lemme : i) L'ensemble des matrices carrées pseudo-stochastiques (de même ordre) est un demi-groupe $\binom{*}{\bullet}$ possédant un élément neutre, la matrice unité

$$ \begin{bmatrix} 1 & 0 \\ 1 & \\ 0 & 1 \end{bmatrix} $$

<footnote>* Pour la multiplication matricielle.</footnote>
ii) Le sous-ensemble des matrices carrées pseudo-stochastiques inversibles est un groupe (*)

iii) L'ensemble des matrices carrées pseudo-stochastiques est un ensemble convexe.

Les démonstrations, élémentaires, ne seront pas données ici.

## II - ÉTUDE D'UN CAS PARTICULIER : N (nombre d'états) = 2

A - Quelques notations : (La chaîne considérée, à 2 états, est supposée à causalité constante).

$$ \text{Posons} \quad M_1 = M_2 + \begin{bmatrix} -\xi_1 & + \xi_1 \\ -\xi_2 & + \xi_2 \end{bmatrix} = C^{-1} M_2 \quad (\text{si on suppose que C est inversible**}) \\ = DM_2, \text{ en posant } D = C^{-1} $$

$$ M_2 = M_3 + \begin{bmatrix} -\xi_3 & + \xi_3 \\ -\xi_4 & + \xi_4 \end{bmatrix} = DM_3 \\ D = \begin{bmatrix} d_1 & 1 - d_1 \\ d_2 & 1 - d_2 \end{bmatrix} $$

(D est en effet pseudo-stochastique)

Nous allons maintenant relier $\xi_i, i=1,2,3,4$ à $d_i, i=1,2$

<footnote>* Voir note en fin de page précédente.</footnote>

<footnote>** Cette restriction n'est pas très forte et, de plus, correspond à un cas particulier très facile à étudier directement : en effet, dans le cas N=2, C non inversible signifie, puisque C est pseudo-stochastique, que les 2 lignes de C sont identiques. On peut alors voir, immédiatement, que l'on a $M_{n+1} = M_n$, dès que $n \ge 1$, avec, de plus, les 2 lignes de $M_n$ identiques.</footnote>

<footnote>On a alors, toujours pour $n \ge 1$, non seulement un processus homogène, mais aussi un processus stationnaire.</footnote>
*

B - **Théorème** : Si $d_1 \neq d_2$ (voir note en bas de page pour le cas contraire)

alors :

$$ \begin{bmatrix} \epsilon_3 & -\epsilon_3 \\ \epsilon_4 & -\epsilon_4 \end{bmatrix} = \frac{1}{d_1 - d_2} \begin{bmatrix} \epsilon_1 & -\epsilon_1 \\ \epsilon_2 & -\epsilon_2 \end{bmatrix} = (C_1 - C_2) \begin{bmatrix} \epsilon_1 & -\epsilon_1 \\ \epsilon_2 & -\epsilon_2 \end{bmatrix} $$

dans le cas où $M_2$ est **inversible**. Si $M_2$ n'est pas **inversible**, la chaîne est **homogène et stationnaire**.

**

**Démonstration du théorème**

$$ 1^\circ) \text{ Posons } M_2 = \begin{pmatrix} m_2 & 1-m_2 \\ p_2 & 1-p_2 \end{pmatrix} \quad \left( M_1 = \begin{pmatrix} m_1 & 1-m_1 \\ p_1 & 1-p_1 \end{pmatrix} \right) $$

$$ \text{La relation } D \times M_2 = M_2 + \begin{pmatrix} -\epsilon_1 & +\epsilon_1 \\ -\epsilon_2 & +\epsilon_2 \end{pmatrix} (=M_1) \text{ donne} $$

immédiatement, par identification :

$$ d_1 m_2 + (1-d_1)p_2 = m_2 - \epsilon_1 $$

$$ d_2 m_2 + (1-d_2)p_2 = p_2 - \epsilon_2 $$

c'est-à-dire :

$$ d_1 (m_2 - p_2) = m_2 - p_2 - \epsilon_1 $$

$$ d_2 (m_2 - p_2) = - \epsilon_2 $$

et, en supposant $M_2$ **inversible**.

$$ (E_1) \qquad \begin{array}{ll} d_1 = 1 - \displaystyle\frac{\epsilon_1}{m_2 - p_2} & \text{ou } \epsilon_1 = (m_2 - p_2)(1 - d_1) \\ \\ d_2 = \displaystyle\frac{-\epsilon_2}{m_2 - p_2} & \text{ou } \epsilon_2 = (p_2 - m_2)d_2 \end{array} $$

<footnote>* Si on pose $k=d_1-d_2$ on peut voir immédiatement, de la démonstration du théorème que $k = \frac{m_1-p_1}{m_2-p_2}$</footnote>

<footnote>** Une démonstration plus rapide sera donnée dans la partie E de ce même paragraphe, mais les liens entre les $d_i$, les $c_j$ et les $\epsilon_k$ ont paru intéressants à étudier directement.</footnote>
2°) Si $M_2$ n'est pas inversible, c'est-à-dire si $m_2=p_2$, on a alors, nécessairement :

$$ M_1 = \begin{pmatrix} d_1 & 1-d_1 \\ d_2 & 1-d_2 \end{pmatrix} \quad \begin{pmatrix} m_2 & 1-m_2 \\ m_2 & 1-m_2 \end{pmatrix} \\ = \begin{pmatrix} m_2 & 1-m_2 \\ m_2 & 1-m_2 \end{pmatrix} = M_2 $$

Le processus est alors homogène et stationnaire.

3°) De même, en utilisant la relation :

$$ C \cdot M_2 = M_2 + \begin{pmatrix} \xi_3 & -\xi_3 \\ \xi_4 & -\xi_4 \end{pmatrix} \quad (=M_3) $$

on obtient (pour $m_2 \neq p_2$)

$$ \begin{array}{l@{\qquad}l@{\qquad}l} \text{(E}_2\text{)} & C_1 = I + \frac{\xi_3}{m_2-p_2} & \text{ou } \xi_3 = (1-C_1)(p_2-m_2) \\ & C_2 = \frac{\xi_4}{m_2-p_2} & \text{ou } \xi_4 = C_2(m_2-p_2) \end{array} \quad (*) $$

4°) Les relations $(E_3)$ $C_1 = \frac{1-d_2}{d_1-d_2}$ et $C_2 = \frac{-d_2}{d_1-d_2}$ liant les coefficients des matrices inverses C et D, jointes aux relations $(E_1)$ et $(E_2)$ donnent alors :

$$ \boxed{\xi_3 = \frac{\xi_1}{d_1-d_2} \quad \text{et} \quad \xi_4 = \frac{\xi_2}{d_1-d_2}} \qquad \text{c.q.f.d.} $$

$$ C_1 - C_2 = \frac{m_2 - p_2}{m_1 - p_1} $$

<footnote>* Rappelons que l'on peut montrer aisément que :</footnote>
### C - Corrolaire :

i) Si $\alpha_1 \neq \alpha_2$ ($M_2$ inversible) alors

$$1^{\circ)} \quad \text{si} \quad \left| \begin{array}{c} 0 < |C_1 - C_2| < 1 \\ C_1 - C_2 \end{array} \right| \quad M_n \to M_1 + \frac{1}{1 - (C_1 - C_2)} \begin{pmatrix} \varepsilon_1 & -\varepsilon_1 \\ +\varepsilon_2 & -\varepsilon_2 \end{pmatrix}$$

$$\to \ast \quad 2^{\circ)} \quad \text{si} \quad \left| \begin{array}{c} C_1 - C_2 > 1 \\ C_1 - C_2 \end{array} \right| \quad \lim_{n \to \infty} M_n \text{ n'existe pas}$$

$$3^{\circ)} \quad \text{si} \quad \left| \begin{array}{l} \bar{C}_1 - \bar{C}_2 = 1 \\ \to (\ast) \end{array} \right| \begin{cases} 1 & C_1 = 1, M_n = M_1, \forall n \in \mathbb{N}^* \\ 2 & C_1 \neq 1, \lim_{n \to \infty} M_n \text{ n'existe pas} \end{cases}$$

$$4^{\circ)} \quad \text{si} \quad \left| \begin{array}{c} \bar{C}_1 - \bar{C}_2 = 1 \\ C_1 - C_2 \end{array} \right| \begin{cases} M_{2n+1} = M_1, & \forall n \in \mathbb{N} \\ M_{2n+2} = M_2, & \forall n \in \mathbb{N} \end{cases}$$

$$5^{\circ)} \quad \text{si} \quad \left| \begin{array}{c} C_1 - C_2 = 0 \\ C_1 - C_2 \end{array} \right|, \quad \text{le processus est homogène, et stationnaire}$$

ii) Si $\alpha_1 = \alpha_2 = \alpha$, $M_n = M_2$, $\forall n \ge 2$ (Le processus est homogène, et stationnaire).

**Démonstration** : La preuve du corrolaire est immédiate, puisque reposant sur les propriétés bien connues de la série géométrique.

### D - Stochasticité de la limite (éventuelle) de la suite $(M_n)_{n \in \mathbb{N}}$

Nous allons maintenant nous intéresser, dans le cas où $(M_n)$ converge, aux propriétés nécessaires de cette limite.

Les propriétés des matrices de transition sont telles que l'on doit avoir, $\forall n \in \mathbb{N}$, $M_n$ stochastique. On a d'abord le lemme suivant :

**Lemme** : Si $\lim_{n \to \infty} M_n$ existe, alors cette limite est stochastique.

**Preuve** : La limite éventuelle de cette suite doit aussi être stochastique, l'ensemble des matrices stochastiques étant un sous-ensemble convexe borné fermé.

<footnote>* Ce cas ne peut d'ailleurs se produire dans la pratique, car pour n suffisamment grand, $M_n$ ne serait plus stochastique.</footnote>
**Remarque** : Nous avons vu, dans le paragraphe C, dans quelles conditions la suite $(M_n)_{n \in N}$, c'est-à-dire en fait la suite

$$ \left\{ C^{n-1} \cdot M_1 \right\} $$

convergeait, au moins dans le cas $N=2$, $N$ étant le nombre d'états.

Nous allons généraliser ce résultat dans le cas $N$ quelconque, en montrant que si toutes les valeurs propres de $C$, en dehors d'une seule (qui est toujours égale à 1), sont strictement inférieures, en module, à 1, alors la suite $(M_n)$ converge : de plus, quelle que soit la matrice $C$, si la suite $(M_n)$ converge, c'est nécessairement vers une matrice stochastique dans le cas où toutes les $M_n$ sont stochastiques.

Avant d'établir ce résultat, très général, nous allons donner une autre démonstration du théorème B.

## E - Autre forme du théorème B

**Théorème** : Si $E_1, E_2, \dots, E_n$ sont les différentes matrices d'écart, alors : $\left| E_n = \lambda^{n-1} E_1 \right|$, $\lambda$ et $1$ (*) étant les 2 valeurs

propres de la matrice $C$, avec $\lambda = \frac{1}{k} = C_1 - C_2$

Rappels : $M_2 = C \cdot M_1 = M_1 + E_1, \dots, M_{n+1} = C \cdot M_n = M_n + E_n$

**Preuve** : D'après le théorème de Cayley, nous avons :

$$ (C - I) (C - \lambda I) = 0 $$

d'où, en post multipliant par $M_1$, première matrice de transition

$$ (C - I) C M_1 = \lambda (C - I) M_1 $$

$$ \Leftrightarrow (C - I) M_2 = \lambda (C - I) M_1 $$

$$ \Leftrightarrow \left| E_2 = \lambda E_1 \right| $$

$C^n$ ayant les mêmes valeurs propres que $C$, nous aurions,

$$ \text{de même : } \left| E^{n+1} = \lambda^n E \right| $$

Puisque $\begin{pmatrix} C_1 & 1-C_1 \\ C_2 & 1-C_2 \end{pmatrix}$ a pour valeurs propres $1$ et $\lambda$, on a,

$$ \text{par identification : } \left| C_1 - C_2 = \lambda = \frac{1}{k} \right| \quad \left( = \frac{m_2 - p_2}{m_1 - p_1} \right) \quad \text{c.q.f.d} $$

<footnote>* C a toujours 1 comme valeur propre, puisqu'elle est pseudo-stochastique.</footnote>
### III - EXISTENCE D'UNE MATRICE LIMITE DANS LE CAS GENERAL D'UNE CHAINE CAUSALE A N ETATS

#### A - POSITION DU PROBLEME (conjecture de LIPSTEIN)

Soit $C$ une matrice de causalité régulière d'ordre $N$. Soit $M_1$ une matrice carrée stochastique d'ordre $N$. Nous nous proposons de trouver une condition nécessaire et suffisante pour que la suite $(M_n)_{n \ge 1}$ soit convergente, avec $|M_n = C^{n-1}M_1|$

Nous aurons, pour cela, besoin de quelques propriétés des polynomes minimaux d'une matrice.

#### B - POLYNOME MINIMAL D'UNE MATRICE

Etant donné une matrice $A$ il existe un polynome $P(X)$, normé, de degré minimum tel que $P(A) = 0$. Ce polynome, dit polynome minimal, divise, en particulier, le polynome caractéristique de $A$. On a, plus précisément :

$$ P(X) = (X - z_0)^{\beta_0} (X - z_1)^{\beta_1} \dots (X - z_k)^{\beta_k} \\ \text{avec } \begin{cases} z_0, z_1, \dots, z_k \text{ valeurs propres, } z_i \text{ de multiplicité } \alpha_i, \\ \text{et } i=0, 1, \dots, k, \ 1 \le \beta_i \le \alpha_i \end{cases} $$

**DEFINITION** : $z_i$ est valeur propre à spectre simple ssi la dimension du sous-espace vectoriel propre associé à $z_i$ est $\alpha_i$. On peut démontrer que :

**Théorème** : $z_i$ est à spectre simple ssi $z_i$ est d'indice 1 (i.e l'exposant de $(X-z_i)$ dans le polynome minimal est égal à 1)

**Remarque** : Si toutes les valeurs propres d'une matrice d'ordre $N$ sont à spectre simple, la matrice est dite scindée. Cela signifie que $R^N$ est somme directe des sous-espaces propres, qui sont, ici égaux aux sous-espaces spectraux.
C - PROPRITÉS GENERALES DES MATRICES D'ÉCART

Rappelons qu'une matrice d'écart E est une matrice dont la somme des éléments de chaque ligne vaut zéro.

La chaîne de Markov, à N états, étudiée ici étant supposée à causalité constante, nous avons :

$$M_{n+1} = C^n M_1$$

et nous poserons :

$$E_{n+1} = M_{n+2} - M_{n+1} = (C-I) C^n M_1$$

Soit : $X^r + A_{r-1}X^{r-1} + \dots + A_0$ le polynome minimal de C.

l'étant valeur propre de C, nous pouvons écrire :

$$\left\{
\begin{array}{l}
A_{r-1} = -1 + B_{r-2} \\
A_{r-2} = -B_{r-2} + B_{r-3} \\
\vdots \\
A_p = -B_p + B_{p-1} \\
\vdots \\
A_l = -B_l + B_o \\
A_o = -B_o
\end{array}
\right.$$

L'équation minimale peut donc s'écrire en faisant intervenir C :

$$(C-I)C^{r-1} + B_{r-2}(C-I)C^{r-2} + \dots + B_o(C-I) = 0$$

(Eq4)

D'où :

Lemme 1 : Les matrices d'écart $E_n$ vérifient une équation de *récurrence linéaire* à coefficients *constants*, d'ordre $r-1$, r étant le degré du polynome minimal de C.
En effet l'équation $(E_n)$ devient, en la multipliant par $C^n M_1$ :

$$ (C-I)C^{r+n-1}M_1 + B_{r-2}(C-I)C^{r+n-2} + \dots + B_o(C-I)C^n M_1 = 0 $$
et, en remplaçant $(C-I)C^n M_1$ par $E_{n+1}$

$$ \underline{E_{n+r} + B_{r-2} E_{n+r-1} + \dots + B_o E_{n+1} = 0} $$

(Eq5)

c.q.f.d

**Lemme 2 :** Quelque soit $n \ge 1$, $E_n$ peut s'écrire comme *combinatoire* linéaire des (r-1) premières matrices d'écart

$$ E_n = \sum_{i=1}^{r-1} a(i,n) E_i $$

les $a(i,n)$ étant déterminés de façon unique par des équations de récurrence linéaire à coefficients constants, lorsque les $E_i, i=1 \text{ à } r-1$ sont indépendants.

**Démonstration :**

i) Par récurrence il est évident que les $E_n$ peuvent s'exprimer comme *combinatoires* linéaires des r-1 premières matrices d'écart, c.a.d :

$$ E_n = \sum_{i=1}^{r-1} a(i,n)E_i $$

ii) Par identification, les $a(i,n)$ doivent donc vérifier les équations :

$$ \underline{1 \le i \le r-1, a(i,n+r-1) + B_{r-2} a(i,n+r-2) + \dots + B_o a(i,n) = 0} \quad (\text{Eq}) $$

**Remarque :** Cette équation de récurrence se résoud de façon simple.

En effet : $B_{r-2}$ représente l'opposé de la somme des r-1 valeurs spectrales de C (différentes ou non), l'étant exclu (1 fois).

$B_{r-3}$ représente le produit 2 à 2 des r-1 valeurs spectrales.

$B_{r-4}$ représente l'opposé du produit 3 à 3.

<footnote>(*) Cette identification étant possible, puisque les $(E_i)$ sont supposées indépendantes. $i=1,...,r-1$</footnote>
Ces racines (spectrales) étant notées $z_i, 0 \le i \le k$, $z_i$ étant d'indice $\beta_i$, avec $\sum_{i=0}^{k} \beta_i = r-1$, il est bien connu que les solutions de l'équation de récurrence (Eq6) sont de la forme :

$$ (Eq7) \qquad \left[ \begin{array}{c|c} \sum_{i=0}^{k} \beta_i & \lambda(i,j,p)n^{j-1} z_i^n \quad \text{pour } 1 \le p \le r-1 \\ \sum_{j=1}^{\sum_{i=0}^{k} \beta_i} & \end{array} \right] $$

les $\lambda(i,j,p)$ étant déterminés par les conditions initiales :

$$ (a(p,k)) = \delta_{pk} \quad \text{pour } 1 \le k \le r-1 $$

**Lemme 3** : $\forall i=0,1,...,k \quad \forall j=1,...,k, \quad \beta_i \neq \beta_j \quad \text{t.q. } \lambda(i,j,p) \neq 0$

En effet, dans $\mathbb{R}^{r-1}$ les vecteurs $e_p = (\delta_{p\ell})_{\ell=1,...,r-1}$ représentent la base canonique : si le lemme était faux cela signifierait que ces $r-1$ vecteurs indépendants seraient chacun combinaison linéaire de $r-2$ vecteurs, ce qui est absurde c.q.f.d

On a donc, en particulier, $\forall i \neq j \quad \exists p \quad \text{t.q. } \lambda(i,j,p) \neq 0$

On a donc le

**Théorème** La suite $(M_n)_{n \ge 1}$, avec $M_{n+1} = M_n + \sum_{i=1}^{n} E_i (= C^n M_1)$ est convergente, dans le cas où les $r-1$ premières matrices $E_n$ sont indépendantes, ssi les conditions suivantes sont satisfaites.

$C_1$ : $1$ est valeur propre à spectre simple

$C_2$ : les valeurs propres de $C$ différentes de $1$ sont de module strictement inférieur à $1$.

**Démonstration**

On sait en effet que la série de terme général
$$ u_n = n^a z_i^n \quad \text{est convergente ssi } |z_i| < 1 \quad (\text{avec } a \ge 0) $$

Du lemme 2, de l'équation (Eq7) et du lemme 3 on déduit
alors le théorème précédent, puisque :

$$ E_n = \sum_{p=1}^{r-1} \left( \sum_{i=0}^{k} \beta_i \sum_{j=1}^{\lambda(i,j,p)} n^{j-1} \right) E_p \quad (\text{Eq7bis}) $$

Ce théorème correspond à la conjecture de Lipstein reprécisée dans l'article de HARARY-LIPSTEIN-STYAN "a matrix approach to nonstationary chains" (Op.Res. N-D 1970) dont la démonstration et les conditions de suffisance n'avaient pas encore été énoncées, à notre connaissance.
Corollaire :

Si $l$ est l'unique valeur propre de $C$, alors la suite $(M_n^{(l)})_{n \ge 1}$ est convergente ssi $C = I$

On a aussi le :

**Théorème 2** : La suite $(M_n)$ est convergente au sens de CESARO dans le cas des $(E_n)$ indépendantes ssi les conditions suivantes sont vérifiées.

$C_{1bis}$ : Toutes les valeurs propres de module $1$ sont à spectre simple.

$C_{2bis}$ : Les autres valeurs propres sont de module strictement inférieur à $1$.

## IV - RECHERCHE DE LA FORME DE LA MATRICE LIMITE DANS LE CADRE DU THEOREME
### C ETANT UNE MATRICE SCINDEE

#### A - NOTATIONS

Soit $z_1, z_2, \dots, z_{r-1}$ les valeurs spectrales de $C$ autres que $1$.

Nous poserons : $\ell_i(z) = \prod_{j \ne i} \frac{z-z_j}{z_i-z_j} \quad (\ell_i(z_j) = \delta_{ij})$

#### B - EXPRESSION DES $\lambda$

L'équation Eq7 peut ici s'écrire, puisque $\beta_i=1 \forall i$ (donc $j=1$) en posant $\lambda(i,1,p) = \lambda(i,p)$

$$ \begin{bmatrix} r-1 & & \\ & a(p,n) = \sum_{i=1}^{r-1} \lambda(i,p) z_i^n & \\ & & 1 \le p \le r-1 \end{bmatrix} \quad (\text{Eq8}) $$

Nous sommes donc ramenés à (r-1) systèmes de (r-1) équations pour déterminer les $\lambda$.

Pour p fixé nous avons r-1 équations à r-1 inconnues, qui peuvent se résoudre de façon simple :

Multiplions la n-ième équation par $\frac{1}{n!} \ell_i^{(n)}(0)$, où $\ell_i^{(n)}(0)$ désigne la valeur de la dérivée nième du polynome $\ell_i$ au point $0$
En ajoutant alors membre à membre les $r-1$ équations nous obtenons

$$ \sum_{n=1}^{r-1} \left[ \frac{1}{n!} \ell_i^{(n)}(0) \sum_{j=1}^{r-1} \lambda(j,p) z_j^n \right] = \ell_i^{(p)}(0) \times \frac{1}{p!} \left( \sum_{n=1}^{r-1} \frac{1}{n!} \ell_i^{(n)}(0) \delta_{pn} \right) $$

c'est-à-dire :

$$ \sum_{j=1}^{r-1} \lambda(j,p) \left[ \sum_{n=1}^{r-1} \frac{1}{n!} \ell_i^{(n)}(0) z_j^n \right] = \ell_i^{(p)}(0) \times \frac{1}{p!} $$

De la formule de Taylor pour les polynomes de degré $r-1$, on obtient

$$ \sum_{j=1}^{r-1} \lambda(j,p) \ell_i^{(j)}(z_j) = \ell_i^{(p)}(0) \times \frac{1}{p!} $$

$$ \text{D'où } \left| \lambda(i,p) = \ell_i^{(p)}(0) \times \frac{1}{p!} \right. $$

### C - FORME DE LA MATRICE LIMITÉE DANS LE CAS OU LA MATRICE EST SCINDEE

L'équation 7bis s'écrit :

$$ E_n = \sum_{p=1}^{r-1} \left( \sum_{i=1}^{r-1} \frac{\ell_i^{(p)}(0)}{p!} z_i^n \right) E_p $$

c'est-à-dire que $M_{n+1}$ est alors égal à :

$$ \begin{aligned} M_{n+1} &= M_l + \sum_{k=1}^{n} \left[ \sum_{p=1}^{r-1} \left( \sum_{i=1}^{r-1} \frac{\ell_i^{(p)}(0)}{p!} z_i^k \right) E_p \right] \\ &= M_l + \sum_{p=1}^{r-1} \left[ \sum_{i=1}^{r-1} \frac{\ell_i^{(p)}(0)}{p!} \sum_{k=1}^{n} z_i^k \right] E_p \end{aligned} $$

Soit, à la limite, puisque $|z_i|<1$, pour $i=1,2,...,r-1$

$$ M_{\infty} = M_l + \sum_{p=1}^{r-1} \left[ \sum_{i=1}^{r-1} \frac{1}{p!} \frac{\ell_i^{(p)}(0)}{1-z_i} \right] E_p $$

(Eq9)

Nous allons montrer que $M_{\infty}$ peut s'exprimer uniquement en fonction des coefficients $B_p$ ou $A_p$.
**Théorème 3** : Dans le cas où C est scindée, et sous les hypothèses du théorème 1, on a :

$$ M_{\infty} = M_1 + \frac{1}{1 + \sum_{p=1}^{r-1} B_p} \begin{pmatrix} r-1 & \sum_{k=1}^{r-1} B_n \cdot E_k \\ \sum_{k=1}^{r-1} (1 + \sum_{n=k+1}^{r-1} B_n) E_k \end{pmatrix} $$

**Préuve** : Soit $P_i(z) = \frac{P(z)}{z-z_i}$

D'après la formule d'interpolation de LAGRANGE, tout polynome K de degré inférieur ou égal à r-1 peut s'écrire sous la forme :

$$ K(z) = \sum_{i=0}^{r-1} \frac{P_i(z)}{P_i(z_i)} K(z_i) \quad (ici z_o=1) $$

En prenant pour K le polynome unité nous obtenons :

$$ l = \sum_{i=0}^{r-1} \frac{P_i(z)}{P_i(z_i)} $$

soit, en dérivant n fois :

$$ \begin{cases} r-1 & P_i^{(n)}(z) \\ 0 & P_i(z) \end{cases} $$
Remarquons que, puisque
$$P(z) = \prod_{i=0}^{r-1} (z - z_i) = \begin{pmatrix} r-1 \\ \vdots \\ r-1 \\ \prod_{i=1}^{r} (z-z_i) \end{pmatrix} (z-1)$$
et que
$$\ell_i(z) = \prod_{o \neq i} \frac{z_i - z_j}{z_i - z_j}$$

pour $1 \le i \le r-1$

$$\frac{\ell_i(z)}{1-z_i} = \frac{P_i(z)}{P_i(z_i)}$$

$$\frac{P_i'(z)}{P_i(z_i)} = - \frac{\ell_i'(z)}{1-z_i} + (1-z) \frac{\ell_i''(z)}{1-z_i}$$

De façon générale, on aurait :

$$\frac{\ell_i^{(n)}(z)}{1-z_i} = \frac{P_i^{(n)}(z)}{P_i(z_i)} + N \frac{\ell_i^{(n-1)}(z)}{1-z_i}$$

$$\text{Donc} \quad \frac{\ell_i^{(n)}(0)}{1-z_i} = 0 = \frac{P_i^{(n)}(0)}{P_i(z_i)} + n \frac{P_i^{(n-1)}(0)}{P_i(z_i)} + \dots + n! \frac{P_i^{(0)}(0)}{P_i(z_i)}$$

$$\text{Alors} \quad \sum_{i=1}^{r-1} \frac{\ell_i^{(k)}(0)}{(1-z_i)^k} = \sum_{i=0}^{r-1} \frac{1}{k!} \left( \frac{P_i^{(k)}(0)}{P_i(z_i)} \cdots \cdots + k! \frac{P_i^{(0)}(0)}{P_i(z_i)} \right) \\ \qquad - \frac{1}{k!} \left( \frac{P_o^k(0)}{P_o(1)} \cdots \cdots + k! \frac{P_o^{(0)}(0)}{P_o(1)} \right)$$

$$\text{Or } P_{O}^{(n)}(0) = n! B_{n}$$

$$\text{Donc} \quad \sum_{i=1}^{r-1} \frac{\ell_i^{(k)}(0)}{(1-z_i)^k} = 1 - \frac{\sum_{n=0}^{k} B_n}{1 + \sum_{n=0}^{r-1} (r-1)!} = \frac{1 + \sum_{n=k+1}^{r-1} B_n}{1 + \sum_{n=0}^{r-1} B_n}$$

Ce qui nous donne :

$$M_{\infty} = M_{O} + \frac{1}{1 + \sum_{n=0}^{r-1} B_n} \left\{ \sum_{k=1}^{r-1} \left( 1 + \sum_{n=k+1}^{r-1} B_n \right) E_k \right\}$$
V - CAS DES RACINES D'INDICE QUELCONQUE

A - PRELIMINAIRES

Nous sommes toujours dans les hypothèses du théorème 1. Soit
z₀=1 et z₁,z₂,...,zₚ les autres racines de l'équation minimale, respectivement d'ordre α₁,α₂,... αₚ avec Σ_{i=1}^{p} αᵢ = r-1

$$
\text{Nous noterons } R(X) = \prod_{i=1}^{p} (X-z_i)^{\alpha_i} = X^r + B_{r-1} X^{r-1} + \dots + B_0
$$

$$
\ell_i(z) = \prod_{j \neq i} (z - z_j)^{\alpha_j} \frac{1}{\prod_{j \neq i} (z_i - z_j)^{\alpha_j}}
$$

-P(X) = (1-X) R(X) et à partir de R on définira de même

$$
\begin{cases}
i \neq 0 & L_i(z) = \ell_i(z) \times \frac{1-z}{1-z_i} \\
(i=0) & L_o(z) = \frac{R(z)}{R(1)}
\end{cases}
$$

Rappel : La base de Lagrange pour l'interpolation polynomiale de l'Hermite est l'ensemble des polynomes $\left( \begin{matrix} f_{i,j}(z) & 1 \le i \le p \\ & 0 \le j \le \alpha_i - 1 \\ & \vdots \\ & 0 \le j \le \alpha_i - 1 \end{matrix} \right)$

vérifiant les conditions

$$
\forall j \quad 0 \le j \le \alpha_i - 1 \quad \forall k \neq i \quad \forall 0 \le m \le \alpha_k - 1 \quad \left\{
\begin{array}{l}
f_{i,j}^{(m)}(z_k) = 0 \\
f_{i,j}^{(m)}(z_i) = \delta_{jm}
\end{array}
\right.
$$

Tout polynome de degré inférieur ou égal à r-1 s'écrit alors :

$$
T(z) = \sum_{i=1}^{p} \left[ \sum_{j=0}^{\alpha_i - 1} f_{ij}^{(z)} T^{(j)}(z_i) \right]
$$

Un calcul assez simple, donné en annexe, montre que :

$$
f_{i,j}(z) = \left( \sum_{n=j}^{\alpha_i - 1} \sum_{k=n}^{\alpha_i - 1} C_h^j \left[ \frac{1}{\ell_i^k} \right]^{(n-j)} (z_i^{\alpha_i - j}) \right) \ell_i(z)
$$
Si $a(n,q)$ est le coefficient de $E_q$ dans l'expression de $E_n$ nous avons, en prenant comme base de l'espace vectoriel des suites solutions de l'équation de récurrence

$$ 
\begin{gathered}
u_{i,j}(n) = \frac{n!}{(n-j)!} z_i^n \quad \begin{array}{l} 0 \le i \le p \\ 0 \le j \le \alpha_i - 1 \end{array} \quad \text{Si } n < j \frac{n!}{n-j!} = 0 \\ 
a_{(n,q)} = \sum_{i=1}^{p} \left( \sum_{j=0}^{\alpha_i - 1} \left( \chi_{i,j,q} \right) \frac{n!}{(n-j)!} z_i^n \right)
\end{gathered}
$$

Les $\lambda(i,j,q)$ étant déterminés par le système de r équations à r inconnues

$$ 0 \le k \le N-1 \quad \left\{ \begin{array}{c} \sum_{i=1}^{p} \left( \sum_{j=0}^{\alpha_i - 1} \lambda(i,j,q) \frac{k!}{(k-j)!} z_i^k \right) \end{array} \right\} = \delta_{kq} $$

Multiplions la $k$-ème équation par $\frac{1}{k!} f_{i,j}^{(k)}(0)$, et additionnons les r équations. D'après les conditions imposées aux $f_{i,j}$, et la base choisi, le coefficient de $\lambda(m,n,q)$ est $z_m^n \times f_{i,j}^{(n)}(z_m)$.

Donc seul le terme en $\lambda(i,j,q)$ a un coefficient non nul, égal à $z_i^j$.
D'où :
$$ \lambda(i,j,q) = \frac{1}{q!} \frac{f_{i,j}^{(q)}(0)}{z_i^j} $$

## B - DETERMINATION DE LA MATRICE LIMITÉE DES MÉMORÉS

En remarquant que pour $|z_i| < 1$ (ce qui est supposé vrai ici).

$$ \sum_{n=0}^{\infty} \frac{n!}{(n-j)!} z_i^n = z_i^j \sum_{n=0}^{\infty} \frac{d z_i^j}{(1-z)^n} \quad (\star) $$

Nous obtenons :

$$ M_{\infty} = M_{0} + \sum_{q=0}^{-1} \frac{1}{q!} \left( \sum_{i=1}^{p} \left( \sum_{j=0}^{\alpha_i - 1} d_{z_i}^j \left( \frac{1}{1-z} \right) f_{i,j}^{(q)}(0) \right) E_q \right) $$

<footnote>(\star) $d_{z_i}^j(\frac{1}{1-z})$ représente la dérivée d'ordre j de la fonction $I \mapsto \frac{1}{1-z}$ au point $z_i$.</footnote>
En considérant l'interpolation de l'Hermite par rapport au point $z_i$ d'ordre $\alpha_i$ et $z_0=1$ d'ordre 1, nous avons une formule semblable à celle donnée dans le rappel, où nous noterons les polynomes d'interpolation avec des lettres majuscules.

En particulier pour le polynome constant égal à 1 nous avons :

$$1 = \sum_{i=1}^{p} F_{i,0}(z) + F_{0,0}(z).$$

$$\text{avec } F_{i,0}(z) = \left[ \sum_{l=0}^{\alpha_i - 1} \left( \frac{1}{L_i^l} \right)^{(p)} (z - z_i)^l \right] L_i(z)$$

$$\text{et } F_{0,0}(z) = R(z)$$

Pour trouver $M_0$ nous allons tout d'abord démontrer que :

$$\left(\sum_{j=0}^{\alpha_i - 1} \left(\frac{1}{1-z}\right)^{(j)} z_i^{(z)} f_{i,j}(z) = F_{i,0}(z)\right) \quad (*)$$

En effet :

$$\ell_i(z) (1-z) \sum_{j=0}^{\alpha_i - 1} \left(\frac{1}{1-z}\right)^{(j)} z_i^{(z)} \sum_{m=j}^{\alpha_i - 1} C_m^j \left(\frac{1}{i}\right)^{(m-j)} (z-z_i)^m (*) \\ = (1-z) \ell_i(z) \sum_{m=0}^{\alpha_i - 1} \left( \sum_{j=0}^{m} C_m^j \frac{1}{\ell_i^j} (m-j) \frac{1}{1-z} (z-z_i)^m \right) (*)$$

Or d'après la formule de Leibnitz

$$\sum_{j=0}^{m} C_m^j \left(\frac{1}{\ell_i^j}\right)^{(m-j)} (z_i^j) \times \left(\frac{1}{1-z}\right)^{(j)} (z_i^j) = \left(\frac{1}{\ell_i^j \times (1-z)}\right)^{(m)} (z_i^j) = \left(\frac{1}{L_i^j}\right)^{(m)} (z_i^j) \times \frac{1}{1-z_i^j}$$

$$\text{D'où } (1-z) \sum_{j=0}^{\alpha_i - 1} \left(\frac{1}{1-z}\right)^{(j)} (z_i^j) f_{i,j}(z) = \frac{1-z}{1-z_i} \ell_i(z) \sum_{m=0}^{\alpha_i - 1} \frac{1}{L_i^m} (z_i^m) (z-z_i)^m \\ \text{c.q.f.d}$$

<footnote>(*) $\left(\frac{1}{1-z}\right)^j (z_i^j)$ ou $d_{z_i}^j \left(\frac{1}{1-z}\right)$</footnote>
Un simple raisonnement par récurrence montre que :

$$ \sum_{j=0}^{\alpha_i=1} \left( \frac{1}{1-z} \right)^{(j)} (z_i)^{(k)} f_{ij}^{(k)}(0) = F_{i,0}^{(k)} + \dots + k! F_{i,0}^{(k)}(0) = \sum_{\ell=0}^{k} \frac{k!}{\ell!} F_{i,0}^{(\ell)}(0) $$

D'où :

$$ \frac{1}{q!} \sum_{i=1}^{p} \sum_{j=0}^{\alpha_i - 1} \left( \frac{1}{1-z} \right)^{(j)} (z_i)^{(k)} f_{ij}^{(q)}(0) = \sum_{i=1}^{p} \sum_{\ell=0}^{q} \frac{1}{\ell!} F_{i,0}^{(\ell)}(0) \\ = \sum_{\ell=0}^{q} \frac{1}{\ell!} \sum_{i=1}^{p} F_{i,0}^{(\ell)}(0) \quad (0) $$

Or :

$$ \sum_{i=1}^{p} F_{i,0}^{(\ell)}(0) = \delta_{1\ell} - F_{0,0}^{(\ell)}(0) \text{ avec } F_{0,0}^{(\ell)}(0) = \ell! B_{\ell} \times \frac{1}{R(1)} $$

D'où :

$$ \frac{1}{q!} \sum_{i=1}^{p} \sum_{j=0}^{\alpha_i - 1} \left( \frac{1}{1-z} \right)^{j} f_{1j}^{(q)}(0) = 1 - \sum_{\ell=0}^{q} \frac{B_{\ell}}{R^{(\ell)}} = \frac{1}{R_1} + \sum_{\ell=q+1}^{r-1} \frac{B_{\ell}}{R^{(\ell)}} $$

$$ \text{ce qui donne, en posant } B_r = 1 \\ = \frac{\sum_{\ell=q+1}^{r} B_e}{\sum_{\ell=0}^{r} B_e} $$

On retrouve donc, comme dans le cas des racines distinctes :

$$ M_{\infty} = M_{0} + \sum_{q=0}^{r-1} \frac{\sum_{\ell=q+1}^{r} B_{e}}{\sum_{\ell=0}^{r} B_{e}} E_{q} $$

Soit, en revenant à la définition des $E_q$

$$ M'_{\infty} = \frac{1}{\sum_{\ell=0}^{r} B_e} \left\{ \sum_{r-1}^{r} B_e + B_{r-1} + \dots + B_0 I \right\} M_0 $$

$$ M_{\infty} = \frac{1}{\sum_{\ell=0}^{r} B_e} R(C) M_0 $$

(ce qui vérifie bien $(C-I)M_{\infty} = 0$)

soit $CM_{\infty} = M_{\infty}$ comme on s'en doutait)
ANNEXE

Détermination des $f_{i,j}(z)$. Le premier système de conditions entraine que $f_{ij}(z)$ est divisible par $\ell_i(z)$.

Soit $f_{i,j}(z) = A_{i,j}(z)\ell_i(z)$ où $A_{i,j}$ est un polynome de degré $\alpha_{i-1}$.

Pour déterminer $A_{i,j}(z)$, il suffit d'utiliser la deuxième série de conditions et la formule de Newton. En effet :

$$A_{i,j}(z) = \frac{f_{i,j}(z)}{\ell_i(z)}$$

Soit :

$$A_{i,j}^{(p)}(z_i) = 0 \text{ si } p<j$$

$$A_{i,j}^{(p)}(z_i) = \left( \sum_{p=j}^{j} \frac{1}{\ell_i(z)} \right)^{(p-j)} (z_i) \quad (\text{Formule de Liebnitz})$$

$$\text{Donc } A_{i,j}^{(p)}(z) = \sum_{p=j}^{\alpha_{i-1}} \left( \frac{1}{\ell_i(z)} \right)^{(p-j)} (z_i)^{\alpha_i} (z-z_i)^{p}$$

REMARQUES

1°)

**Théorème** : Si $1$ est valeur propre simple la matrice limite $M_\infty$ quand elle existe, a toutes ses lignes identiques.

**Démonstration** : Puisque $M_\infty = CM_\infty$, toute colonne de $M_\infty$ peut être considérée comme vecteur propre de $C$ associé à la valeur propre $1$. Dans le cas où $1$ est valeur propre simple, les vecteurs propres sont de la forme $\begin{pmatrix} x \\ x \\ \dot{x} \end{pmatrix}$, d'où le résultat.

En particulier dans le cas de deux états si $C \neq I$ et si $M_n$ tend vers une limite stochastique, $M_\infty$ peut être associée à un processus homogène stationnaire.
### REMARQUE 2

Si M est régulière les ($E_i$) sont indépendantes.

$$ \text{REMARQUE 3} \qquad i=1, \dots, r-1 $$

Cas où les ($E_i$) sont dépendantes (cf.2 exemples ci-après)

Alors, on peut écrire, les $E_i$ étant indépendantes, $i=1, \dots, p-1$

avec $P \subset r$ ($C^P + a_{p-1}C^{p-1} + \dots + a_1I) \subset M=0$

le polynome $C^P + a_{p-1}C^{p-1} + \dots + a_1I$ divise le polynome minimal (1) et pourra être appelé polynome causatif de M; il faut et il suffit alors de raisonner sur le polynome causatif de M (il est toujours racine du polynome causatif).

Démonstration de (1) : soit $\lambda_1, \lambda_2, \dots, \lambda_{p-1}, \mu$ les racines du polynome causatif de M. Si par exemple $\mu$ n'était pas valeur propre de C alors $\mu$ un vecteur colonne de $M$, noté $M_\alpha$, tel que :

$$ \begin{array}{l} p-1 \\ \Pi_i (C - \lambda_i I) M_\alpha \neq 0 \quad \text{et} \quad (C - \mu I) \Pi_i (C - \lambda_i I) M_\alpha = 0 \\ i=1 \quad \alpha = M_\alpha \end{array} $$

$$ \Rightarrow \quad (C - \mu I) M_\beta = 0 $$

$$ \Rightarrow \quad \mu \text{ valeur propre de C} \qquad c.q.f.d $$

$$ \text{Exemple 1: Si } C = \begin{bmatrix} 1 & 0 & 0 \\ \frac{1}{2} & \frac{1}{2} & 0 \\ -1 & 0 & 2 \end{bmatrix} \qquad \text{Prenons } M = \begin{bmatrix} a & b & c \\ a' & b' & c' \\ a'' & b'' & c'' \end{bmatrix} $$

alors le polynome causatif est $(C-I)(C - \frac{1}{2}I)$. $M=0$

$$ i.e C^2 M - CM = \frac{1}{2} (CM - M) \Rightarrow E_2 = \frac{1}{2} E_1 $$

$C^n M$ converge bien que $C^n$ ne converge pas.

Dans le cas où les ($E_i$) sont dépendantes le polynôme causatif le rôle du polynôme minimal : $E_0^{-1}$ a donc l'extension du Théorème 1.

**Théorème 1bis :** La suite $(M_n)$ est convergente ssi les conditions

suivantes sont satisfaites : $n \ge 1$

$C_1$ : il est d'indice 1 dans le polynôme causatif

$C_2$ : les autres racines du polynôme causatif sont de module

strictement inférieur à $\frac{1}{2}$.
### REMARQUE 4 (Exemple 2)

Dans le cas de deux états le cas particulier se réduit au cas où $M_1$ est non régulière c'est-à-dire $M_1$ stationnaire.

### REMARQUE 5

Si $I$ est valeur propre a spectre simple et si toutes les valeurs propres de $C$ apparaissent dans le "polynome causatif" de $M_1$ la limite $M_o$ conserve la même valeur que celle trouvée dans le cas où le "polynome causatif" de $M_1$ était le polynome minimal de $C$.

Les conditions sont nécessaires pour que le passage à la limite fait pour le polynome minimal soit licite (on peut évidemment étendre ceci au cas où $I$ est valeur propre à spectre simple et où toutes les valeurs propres de $C$ sont de module strictement inférieur à $1$).

En effet on a $M_o = \frac{K(C)}{K(1)} M_1$. où $K$ est le "polynome causatif".

Montrons que $R$ étant le polynome minimal de $C./C-I$

$$ \left( \frac{R(C)}{R(1)} - \frac{K(C)}{K(1)} \right) M_o = 0 \quad \text{On peut écrire } R(C) = K(C) \times B(C). $$

Ce qui revient donc à démontrer que :

$$ \frac{K(C)}{K(1)} \left\{ B(C) \frac{K(1)}{R(1)} - I \right\} M_o = 0 $$

c'est-à-dire que $C-I$ est en facteur dans le crochet.

$$ \text{or } B(1) \frac{K(1)}{R(1)} = \frac{R(1)}{K(1)} \times \frac{K(1)}{R(1)} = 1 \quad \text{c.q.f.d.} $$

Donc, si le polynome causatif fait intervenir toutes les valeurs propres de $C$, il suffit d'utiliser les résultats obtenus dans le cas général. On peut même par un raisonnement analogue à celui fait dans la remarque 2 utiliser le polynome caractéristique de $C$ divisé par $C-I$ à la puissance $\beta_o$.

### REMARQUE 6

Pour que $1, \lambda_1, \lambda_2, \dots, \lambda_p$ soient les valeurs propres de $C$ qui interviennent dans le polynome causatif il faut et il suffit que si $F_o, F_1, \dots, F_{p-1}$ sont les sous espaces propres associés à ces valeurs propres, tous les vecteurs colonnes de $M$ soient des vecteurs de $F_o, F_1, \dots, F_p$.
VI- CAS DE TROIS ETATS

M matrice 3×3

C matrice 3×3

Nous allons donner la matrice limite dans le cas général et la
matrice limite et la forme particulière de M dans le cas particulier.

CAS 1 : C a pour valeurs propres 1, α et β distinctes |α|<|β|<1

Dans ce cas M_n converge, quelle que soit M

$$
M_{\infty} = M + \frac{1-\alpha-\beta}{1-\alpha-\beta+\alpha\beta} E_1 + \frac{1}{(1-\alpha)(1-\beta)} E_2
$$

Soit encore

$$
M_{\infty} = \frac{1}{(1-\alpha)(1-\beta)} (C^2 - (\alpha+\beta)C + \alpha\beta I) M .
$$

avec $\alpha+\beta = \text{Trace } C - 1$

$$
\alpha\beta = \text{Det. } C.
$$

D'autre part M∞ est une matrice dont toutes les lignes sont
identiques.

$$
\text{Soit } C = \begin{pmatrix} a & b & 1-a-b \\ a' & b' & 1-a'-b' \\ a'' & b'' & 1-a''-b'' \end{pmatrix} \quad M = \begin{pmatrix} m_1 & m_2 & 1-m_1-m_2 \\ m_1' & m_2' & 1-m_1'-m_2' \\ m_1'' & m_2'' & 1-m_1''-m_2'' \end{pmatrix}
$$

$$
M = \begin{pmatrix} P & Q & R \\ P & Q & R \\ P & Q & R \end{pmatrix} \quad R = 1-P-Q
$$

$$
(1-\alpha)(1-\beta) P = m_1 (a'b'' - a''b' + a'') + (b'' + a''b - ab'') m_1' + (1-a'' - b'' + ba' - ab') m_1''
$$

$$
(1-\alpha)(1-\beta) Q = m_2 (a'b'' - a''b' + a'') + (b'' + a''b - ab'') m_2' + (1-a'' - b'' + ba' - ab') m_2''
$$

CAS 2 : C a pour valeur propre 1,α,β distinctes |α|<1<|β|.

En particulier α et β sont réelles soit (1,1,1) et (ℓ,m,n) les vecteurs
propres associés respectivement à l et α . Pour que (M_n) soit convergente
il faut et il suffit que M_l soit de la forme .

$$
M_l = \begin{pmatrix} \lambda + \mu \ell & \lambda' + \mu' \ell & 1-\lambda-\lambda'-(\mu+\mu')\ell \\ \lambda + \mu m & \lambda' + \mu' m & 1-\lambda-\lambda'-(\mu+\mu')m \\ \lambda + \mu n & \lambda' + \mu' n & 1-\lambda-\lambda'-(\mu+\mu')n \end{pmatrix}
$$
La matrice $M_∞$ a pour forme

$$M_{\infty} = \frac{1}{1-\alpha} (C-\alpha I) M_1 = \left\{ \frac{1}{1-\alpha} \begin{array}{cccc} \lambda(1-\alpha) & \lambda'(1-\alpha) & (1-\lambda-\lambda') & (1-\alpha) \\ \lambda(1-\alpha) & \lambda'(1-\alpha) & (1-\lambda-\lambda') & (1-\alpha) \\ \lambda(1-\alpha) & \lambda'(1-\alpha) & (1-\lambda-\lambda') & (1-\alpha) \end{array} \right\}$$

$$M_{\infty} = \begin{bmatrix} \lambda & \lambda' & 1-\lambda-\lambda' \\ \lambda & \lambda' & 1-\lambda-\lambda' \\ \lambda & \lambda' & 1-\lambda-\lambda' \end{bmatrix}$$

### CAS 3 :

C a pour valeur propre simple 1 et double $\alpha$, $\alpha$ étant à spectre simple et $|\alpha|<1$ ($\alpha$ est réel)

Dans ce cas la matrice limite existe quelle que soit M et on a

$$M_{\infty} = M + \frac{1}{1-\alpha} E_1 \quad \text{avec } 2\alpha = \text{Tr } C-1$$

$M_1$ a toutes ses lignes égales

$$C = \begin{bmatrix} a & b & 1-a-b \\ a' & b' & 1-a'-b' \\ a'' & b'' & 1-a''-b'' \end{bmatrix} \quad \text{Pour que soit valeur propre à spectre simple il faut et il suffit que}$$

$$\begin{cases} a-\alpha = a'=a \\ b = b'-\alpha=b' \end{cases}$$

$$M_{\infty} = \begin{bmatrix} P = a m_1 + b m_1' + (1-a-b) m_1'' & Q = a m_2 + b m_2' + (1-a-b) m_2'' & 1 - Q - P \\ P & Q & 1 - Q - P \\ P & Q & 1 - Q - P \end{bmatrix}$$
### CAS 3bis

C a pour valeur propre simple 1 et une valeur propre double $\alpha$ à spectre non simple $|\alpha|<1$

Dans ce cas $M_\infty$ existe quelle que soit M et on a

$$M_{\infty} = M + \frac{1-2\alpha}{(1-\alpha)^2} E_1 + \frac{1}{(1-\alpha)^2} E_2$$

$M_\infty$ a toutes ses lignes égales.

L'expression de $M_\infty$ est la même que celle trouvée au cas 1 en remplaçant $(1-\alpha)$ $(1-\beta)$ par $(1-\alpha)^2$

### CAS 4

C a pour valeur propre simple 1 et double $\alpha$, $\alpha$ étant à spectre simple ou non $|\alpha|>1$

Dans ce $M_n$ est convergente si et seulement si M est stationnaire.

### CAS 5

C a 1 comme valeur propre double à spectre non simple

Soit $(\ell,m,n)$ un vecteur propre à droite associée à la valeur propre $\alpha$ On est dans le même cas que le cas 2 pour $|\alpha|<1$

Si $|\alpha|<1$ on est dans le cas 4.

### CAS 6

C a 1 comme valeur propre double à spectre simple et $|\alpha|<1$ ; convergence quelque soit M

$$M_{\infty} = M_1 + \frac{1}{1-\alpha} E_1$$

$M_\infty$ n'a plus obligatoirement toutes ses lignes égales.

### CAS 7

C a 1 comme valeur propre double à spectre simple et $\alpha>1$. On se ramène au cas 2 ou $(\ell,m,n)$ désigne un deuxième vecteur propre associé à $1$; Cas ou $M_1$ est la matrice associée à un processus homogène non stationnaire.
### CAS 8

C a 1 comme valeur propre triple à spectre simple.

$$C = I$$

### CAS 8bis

C a 1 comme valeur propre triple d'indice 2 ;
alors on est dans le cas 7.

### CAS 8ter

C a 1 comme valeur propre triple d'indice 3.
Alors il n'y a convergence que si M est stationnaire homogène.

<figure><img src="image_2.png" /></figure>

Reçu en 1976