Más formalmente el medio ambiente se modela como un proceso de decisión de Markov (MDP) con los estados formula_50 y acciones formula_51con las siguientes distribuciones de probabilidad: la distribución de costos instantánea formula_52,La distribución de observación formula_53 y la transición formula_54 Mientras que una política se define como la distribución condicional sobre las acciones dadas las observaciones.