I den publiserte artikkelen så undersøkte de kun stokastiske automata med og hvor er bijektiv, noe som gjorde at de kunne behandle handlinger og tilstander på samme vis. Tilstandene i en slik automat tilsvarer tilstandene i en Markov-prosess med diskrete tilstander og parametre (discrete-state discrete-parameter Markov process). Ved hvert tidssteg så vil automaten lese et påtrykk (innsignal) fra miljøet, oppdatere til med funksjonen , velge tilfeldig en etterfølgende tilstand i henhold til sannsynligheten gitt av , og gi tilhørende handling som respons (utsignal). Automatens miljø leser handlingen og sender det neste påtrykket til automaten. Ofte brukes settet som påtrykk, med 0 og 1 tilsvarende henholdsvis og fra miljøet. I dette tilfellet vil automaten minimere antallet straffepåtrykk, og tilbakekoblingen mellom automaten og miljøet er kalt en «P-modell». Mer generelt så vil en «Q-modell» tillate et tilfeldig påtrykk , og en «S-modell» bruker et reelle nummer i et intervall som .