Si la función puede ser descrita por una matriz estocástica, o sea, una matriz en la que las suma de sus filas o columnas es igual a uno, entonces el sistema iterado se llama cadena de Márkov.