Title: Contribution à l'étude des processus de Markov