En markovsk beslutningsprosess (MBP) består av en mengde tilstander X, en mengde starttilstander S, som er en delmengde av X, en mengde handlinger A, en forsterkende funksjon R, der R(X, A) er en forventet umiddelbar belønning for å utføre en handling som gir tilstand x, og en handlingsmodell P der P (x '| x, a) er sannsynligheten for at utførende handling i tilstand x vil føre til tilstand x'. Det er videre et krav at valg av handling skal være avhengig utelukkende av den nåværende observasjonen av x. Dersom kunnskap om tidligere handlinger eller tilstander påvirker dagens handlingsvalg, da er det ikke en MBP.