En cada punto en el tiempo formula_46, El agente realiza una acción formula_47y el medio ambiente genera una observación formula_48y un costo instantáneo formula_49, De acuerdo con algunas dinámicas (por lo general desconocidos).