Oración 1: el gradiente de la recompenza promedio J(π) está dado la expresión ∇θJ(πθ) = ∑ u∈A ∇θπθ(x, u)Qπ(x, u) Nota: Para el siguiente lema, recuerde que en los métodos policy-gradient las política π depen- den de un parámetro θ
Oración 2: como la recompenza promedio J(π) depende de π la podemos escribir con una dependencia explícita de θ 3.1
Conector: por lo tanto,
Relación: reasoning
Género: theses