Propriété de Markov

En probabilité, un processus stochastique vérifie la propriété de Markov si et seulement si la distribution conditionnelle de probabilité des états futurs, étant donnés les états passés et l'état présent, ne dépend en fait que de l'état présent et non pas des états passés (absence de « mémoire »). Un processus qui possède cette propriété est appelé processus de Markov. Pour de tels processus, la meilleure prévision qu'on puisse faire du futur, connaissant le passé et le présent, est identique à la meilleure prévision qu'on puisse faire du futur, connaissant uniquement le présent : si on connait le présent, la connaissance du passé n'apporte pas d'information supplémentaire utile pour la prédiction du futur.

Propriété de Markov faible (temps discret, espace discret)

Définition 
C'est la propriété caractéristique d'une chaîne de Markov : en gros, la prédiction du futur à partir du présent n'est pas rendue plus précise par des éléments d'information supplémentaires concernant le passé, car toute l'information utile pour la prédiction du futur est contenue dans l'état présent du processus. La propriété de Markov faible possède plusieurs formes équivalentes
qui reviennent toutes à constater que la loi conditionnelle de  sachant le passé, i.e. sachant  est une fonction de  seul :

On suppose le plus souvent les chaînes de Markov homogènes, i.e. on suppose que le mécanisme de transition ne change pas au cours du temps. La propriété de Markov faible prend alors la forme suivante :
 

Cette forme de la propriété de Markov faible est plus forte que la forme précédente, et entraîne en particulier que
 
Dans la suite de l'article on ne considèrera que des chaînes de Markov homogènes. Pour une application intéressante des chaînes de Markov inhomogènes à l'optimisation combinatoire, voir l'article Recuit simulé.

La propriété de Markov faible pour les chaînes de Markov homogènes a une autre forme, beaucoup plus générale que la précédente, mais pourtant équivalente à la précédente :

Notons que les évènements passés  et futurs  prennent ici la forme la plus générale possible, alors que l'évènement présent  reste sous une forme particulière, et pas par hasard : si on remplace  par  dans l'énoncé ci-dessus, alors l'énoncé devient faux en général, car l'information sur le passé devient utile pour prévoir le présent (où  peut-il bien se trouver, plus précisément, à l'intérieur de la partie  ?), et, partant de là, pour prévoir le futur.

Il existe une propriété de Markov forte, liée à la notion de temps d'arrêt : cette propriété de Markov forte est cruciale pour la démonstration de résultats importants (divers critères de récurrence, loi forte des grands nombres pour les chaînes de Markov).

Indépendance conditionnelle 
La propriété de Markov faible « générale » entraine que

Cette égalité exprime lindépendance conditionnelle entre le passé et le futur, sachant le présent (sachant que ). Cependant, si l'on compare avec la propriété de Markov faible « générale » telle qu'énoncée plus haut, on constate qu'on a perdu la propriété d'homogénéité : la propriété de Markov faible « générale » est en fait équivalente à la propriété plus forte

 Critère 

 Propriété de Markov forte (temps discret, espace discret) 
 Temps d'arrêt 
Notons  la tribu engendrée par la suite  Dans le cas de variables aléatoires à valeurs dans un espace d'états  fini ou dénombrable, une partie  appartient à  si et seulement s'il existe  tel que

Interprétation. Imaginons que les variables aléatoires  représentent les résultats d'un joueur lors des parties successives d'un jeu, et que  représente la partie après laquelle le joueur décide d'arrêter de jouer :  est un temps d'arrêt si la décision d'arrêter est prise en fonction des résultats des parties déjà jouées au moment de l'arrêt, i.e. si pour tout  il existe un sous ensemble  tel que :

Cela interdit au joueur de prendre sa décision en fonction des résultats des parties futures : cela revient à faire l'hypothèse que tricherie et don de double vue sont exclus.

Pour une définition d'un temps d'arrêt en situation générale on pourra regarder

Interprétation. On sait que pour tout  il existe un sous ensemble  tel que :

Si de plus  cela signifie que pour tout  il existe un sous ensemble  tel que

En quelque sorte, on teste si l'évènement  se produit ou pas en observant le comportement de la suite  jusqu'au temps  par abus de langage, on dit parfois que l'évènement  porte sur la suite 

 Propriété de Markov forte 
Dans l'énoncé général de la propriété de Markov faible, l'instant « présent », n, peut-être remplacé par un instant « présent » aléatoire,  pourvu que  soit un temps d'arrêt :

Cela peut s'interpréter comme une forme d'indépendance (une indépendance conditionnelle ) entre le passé,  et le futur,  de  sachant ce qui se passe à l'instant  à savoir  En effet, en particularisant  on obtient que

puis, en revenant à un élément général  de , on obtient la formulation suivante :

 Cas particulier des temps de retour 
Dans le cas où la chaîne de Markov est irréductible, où l'état  est récurrent, et où le temps d'arrêt  considéré est linstant de k-ème retour en  noté plus haut  on constate que, par récurrence de l'état 

et que, par définition de 

Ainsi les conditions apparaissant dans la propriété de Markov forte sont presque certaines.
Or, dès que  on a  Ici cela donne que

Pour tout k, il y a donc indépendance ( inconditionnelle ) entre les évènements qui précèdent le k-ème passage en  et les évènements qui suivent le k-ème passage en  Qui plus est, la trajectoire de la chaîne de Markov après le k-ème passage en  a même loi que la trajectoire d'une chaîne de Markov partant de  à l'instant 0 : elle redémarre comme neuve, indépendamment de ce qui a pu se passer auparavant. On dit alors que les temps de retour successifs sont des instants de renouvellement ou bien des instants de régénération.

Les morceaux de trajectoires entre deux régénérations consécutives forment alors une suite de variables aléatoires i.i.d. (sauf le premier morceau, indépendant, mais éventuellement de loi différente, si la chaîne de Markov ne part pas de  à l'instant 0). Cela conduit à une démonstration de la loi forte des grands nombres pour les chaînes de Markov déduite de la loi forte des grands nombres pour les v.a.r. i.i.d.. Cela donne également une méthode pour construire des intervalles de confiance pour les paramètres intéressants de la chaîne de Markov.

Propriété de Markov faible (temps continu, espace discret) 
Mathématiquement, si X(t), t > 0, est un processus stochastique, et si x(t), t > 0, est une fonction, la propriété de Markov est définie ainsi :

Généralement, on utilise une hypothèse d'homogénéité dans le temps, c'est-à-dire :

Dans certains cas, un processus à première vue non-markovien peut tout de même avoir des représentations markoviennes en modifiant le concept d'état actuel et futur. Soient X un intervalle de temps, et Y un processus tel que chaque état de Y représente un intervalle de temps de X :

Si Y est markovien, alors c'est la représentation markovienne de X et X qui est alors appelée processus de Markov du second ordre. Les processus d'ordre supérieur sont définis de la même manière.

Équation de Chapman-Kolmogorov-Smoluchowski 
C'est une équation intégrale qui assure la cohérence du processus :
 .

Elle se transforme en une équation aux dérivées partielles, plus facile à manipuler, qui prend le nom d'équation de Fokker-Planck.

Références 
 Norris, J. : Markov Chains.
 

 Philippe A. Martin, Introduction aux processus stochastiques en physique
 Ch. Ancey, Simulations stochastiques - Applications aux écoulements géophysiques et la turbulence

Voir aussi 
 Andrei Markov
 Chaîne de Markov
 Couverture de Markov

Chaîne de Markov
Processus de Markov