Oración 1: métodos Policy-Gradient Observe que ∇θJ(πθ) no depende de la escogencia de x
Oración 2: si sumamos sobre la distribución estacionaria llegamos a que∑ x∈S dπ(x)∇θJ(πθ) = ∑ x∈S dπ(x) ∑ u∈A ∇θπθ(x, u)Qπ(x, u) + ∑ x∈S dπ(x) ∑ u∈A πθ(x, u) ∑ x′∈S p(x′|x, u)∇θV π(x)− ∑ x∈S dπ(x)∇θV π(x) = ∑ x∈S dπ(x) ∑ u∈A ∇θπθ(x, u)Qπ(x, u) + ∑ x∈S ∑ x′∈S dπ(x) ∑ u∈A πθ(x, u)p(x′|x, u)∇θV π(x) − ∑ x∈S dπ(x)∇θV π(x) Ahora, como dπ es la distribución estacionaria, si se selecciona una acción siguiendo la política π uno sigue estando en la misma distribución dπ
Conector: por lo tanto,
Relación: reasoning
Género: theses