donde P denota la matriz de transición de la cadena de Márkov.