Oración 1: métodos Policy-Gradient Entonces, usando la definición de Qπ(x, u)∑ x∈S dπ(x) ∑ u∈A πθ(x, u)ψxuψ T xuw ∗ = Ex∼dπ u∼π [Qπ(x, u)ψxu] Luego, w∗ = (∑ x∈S dπ(x) ∑ u∈A πθ(x, u)ψxuψ T xu )−1 Eu∼π [Qπ(x, u)ψxu] Y como se vio en (3.2)
Oración 2: w∗ = G(θ)−1Eu∼π [Qπ(x, u)ψxu] Este último lema nos dice que el parámetro óptimo w∗ no depende realmente de b(s)
Conector: esto es,
Relación: entailment
Género: theses