In waarskynlikheidsleer is 'n Markovproses 'n stogastiese proses wat soos volg gekarakteriseer word: Die toestand c k {\displaystyle c_{k}} op tydstip k {\displaystyle k} is een van 'n eindige aantal in die reeks { 1 , … , M } {\displaystyle \{1,\ldots ,M\}} . Onder die aanname dat die proses slegs van tyd 0 tot tyd N loop en dat die aanvangs- en eindtoestande bekend is, word die toestandopeenvolging dan voorgestel deur 'n eindige vektor C = ( c 0 , . . . , c N ) {\displaystyle C=(c_{0},...,c_{N})} . Laat P ( c k | c 0 , c 1 , . . . , c ( k − 1 ) ) {\displaystyle P(c_{k}|c_{0},c_{1},...,c_{(k-1)})} die waarskynlikheid (kans dat dit sal gebeur) van die toestand ck op tyd k bepaal deur alle toestande tot tyd k − 1 aandui.