Usualmente una cadena de Márkov sería definida para un conjunto discreto de tiempos (es decir, una cadena de Márkov de tiempo discreto), aunque algunos autores usan la misma terminología donde "tiempo" puede tomar valores continuos.