個過程模擬咗一個虛擬世界，個虛擬世界有三個狀態（、 同 ）喺每一個狀態當中，玩家都有兩個可能嘅選擇（ 同 ）同埋相應嘅報償，而每個選擇有若干機會率會令到個世界變成另外一個狀態（由啲箭咀同箭咀側邊嘅數字表示）。