system: [SYSTEM]

user: 2. 问题描述 本文所描述的离散时间非线性系统为： x k + 1 = f ( x k + u k ) ，     k = 0 ， 1 ， 2 ， ⋯ (1) 其中 x k ∈ R n 为状态向量， u k ∈ R m 为控制向量。此外X和U为一个完备集合， D = { ( x ， u ) | x ∈ X ， u ∈ U } 。系统(1)在X上稳定，函数 f ( x ， u ) 在集合D上连续，且 f ( 0 ， 0 ) = 0 ， x = 0 是系统(1)的一个稳定状态。本文考虑的是无模型的最优控制问题，即函数 f ( x ， u ) 的具体解析式是不知道的。优化目标是找到一个稳定的反馈控制 u k = u ( x k ) ，使得性能指标函数(2)最小。 V u ( x 0 ) = ∑ l = 0 ∞ P ( x l ， u l ) . (2) 其中 P ( x ， u ) = S ( x ) + W ( u ) ， 和 W ( u ) 为正定函数。 3. 策略梯度自适应动态规划 对于上述最优控制问题，由于该系统是非线性的且系统模型 f ( x ， u ) 的解析式并不知道。为了克服这些困难，引入了策略梯度自适应动态规划来求解该最优控制问题。 定义1对于系统(1)，如果 u ( x ) 在X上连续，且 ∀ x ∈ X ， V u ( x ) < ∞ ，则称控制 u ( x ) 是可控的，记 u ( x ) ∈ U ( X ) 。基于自适应动态规划理论，定义值函数 V u ( x k ) 为： V u ( x k ) = ∑ l = k ∞ P ( x l ， u l ) . (3) 易知： V u ( x k ) = P ( x k ， u k ) + V u ( x k +1 ) . (4) 记最优值函数为： V * ( x ) = min u V u ( x ) . (5) 对应的最优控制为： u * ( x ) = arg min u V u ( x k ) . (6) 根据自适应动态规划，为了更好求解该最优控制问题，下面引入Q函数： Q u ( x k ， a ) = P ( x k ， a ) + ∑ l = k + 1 ∞ P ( x l ， u l ) . (7) 且易知 Q u ( x k ， u ) = V u ( x k ) ，Q函数也可以表示为： Q u ( x k ， a ) = P ( x k ， a ) + Q u ( x k + 1 ， u ) = P ( x k ， a ) + V u ( x k + 1 ) . (8) 对应最优控制 u * ( x ) 的最优Q函数为： Q * ( x k ， a ) = Q u * ( x k ， a ) = P ( x k ， a ) + V * ( x k + 1 ) . (9) 相应的最优控制 为： u * ( x ) = arg min u V u ( x ) = arg min a Q * ( x ， a ) . (10) 为了求解该最优控制问题，通过迭代的思想，希望利用Q函数的梯度信息来更新控制策略u，然后把控制策略u带入Q函数。策略梯度自适应动态规划算法的具体步骤如下： 步骤1：给定初始控制策略 u ( 0 ) ∈ U ( X ) 和允许误差 ε ，且令 i = 0 。 步骤2：估计Q函数： Q ( i ) ( x k ， a ) = P ( x k ， a ) + Q ( i ) ( x k +1 ， u ( i ) ) . (11) 步骤3：更新控制策略u： u ( i + 1 ) ( x ) = u ( i ) ( x ) − α ∇ a Q ( i ) ( x ， a ) | a = u ( i ) . (12) 其中 α 为常数。 步骤4：若 ‖ Q ( i ) ( x k ， a ) − Q ( i + 1 ) ( x k ， a ) ‖ ≤ ε ，则输出Q函数和控制策略，否则令 i = i + 1 ，返回步骤2。 对于系统(1)，首先定义其Hamiltonian函数为： H ( x k ， u ， V ) = V ( x k + 1 ) − V ( x k ) + P ( x k ， u ) = V ( f ( x k ， u ) ) − V ( x k ) + P ( x k ， u ) . (13) 且 V ( i ) ( x k ) = V u ( i ) ( x k ) = ∑ l = k ∞ P ( x l ， u ( i ) ( x l ) ) 。 引理1 [ 11 ] 给定 u ( 0 ) ( x ) ∈ U ( X ) ，根据策略梯度自适应动态规划算法得到控制序列 { u ( i ) ( x ) } 。假设 ∇ a V ( i ) ( f ( x k ， a ) ) ， ∇ a a V ( i ) ( f ( x k ， a ) ) ， ∇ a W ( a ) 和 ∇ a a W ( a ) 存在，且 A = ∇ u T H ∇ u u H ∇ u H ， B = ∇ u T H ∇ u H ， C = h 。 α _ = B − B 2 − A C A ， α ¯ = B + B 2 − A C A 。如果对于 ∀ i ， x ， a ， B 2 − A C ≥ 0 且 α _ ≤ α ≤ α ¯ ，则： 1) ， 2) u ( i ) ∈ U ( X ) 。 证明：1) 将Hamiltonian函数 H ( x k ， u ， V ( i ) ) 在 u ( i ) 处进行二阶泰勒展开： H ( x k ， u ， V ( i ) ) = H ( x k ， u ( i ) ， V ( i ) ) + ( u − u ( i ) ) T ∇ u H ( x k ， u ( i ) ， V ( i ) )                                                                                                                                   + 1 2 ( u − u ( i ) ) T ∇ u u H ( x k ， u ( i ) ， V ( i ) ) ( u − u ( i ) ) + h ( u ) . (14) 根据式(8)和(13)易知： ∇ a Q ( i ) ( x k ， a ) = ∇ a V ( i ) ( f ( x k ， a ) ) + ∇ a W ( a ) = ∇ u H ( x k ， u ， V ( i ) ) . (15) ∇ a a Q ( i ) ( x k ， a ) = ∇ a a V ( i ) ( f ( x k ， a ) ) + ∇ a a W ( a ) = ∇ u u H ( x k ， u ， V ( i ) ) . (16) 由于 ∇ a V ( i ) ( f ( x k ， a ) ) ， ∇ a a V ( i ) ( f ( x k ， a ) ) ， ∇ a W ( a ) ， ∇ a a W ( a ) ，对于 ∀ i 都存在，因此 ∇ u H ， ∇ u u H 都存在。由式(12)和(14)~(16)易知： H ( x k ， u ( i + 1 ) ， V ( i ) ) = H ( x k ， u ( i ) ， V ( i ) ) + ( u ( i + 1 ) − u ( i ) ) T ∇ u H ( x k ， u ( i ) ， V ( i ) )     + 1 2 ( u ( i + 1 ) − u ( i ) ) T ∇ u u H ( x k ， u ( i ) ， V ( i ) ) ( u ( i + 1 ) − u ( i ) ) + h ( u ( i + 1 ) ) = H ( x k ， u ( i ) ， V ( i ) ) − α ∇ a T Q ( i ) ( x k ， u ( i ) ) ∇ u H ( x k ， u ( i ) ， V ( i ) )     + 1 2 α 2 ∇ a T Q ( i ) ( x k ， u ( i ) ) ∇ u u H ( x k ， u ( i ) ， V ( i ) ) ∇ a Q ( i ) ( x k ， u ( i ) ) + h ( u ( i + 1 ) ) = H ( x k ， u ( i ) ， V ( i ) ) − α ∇ a T H ( x k ， u ( i ) ， V ( i ) ) ∇ u H ( x k ， u ( i ) ， V ( i ) )     + 1 2 α 2 ∇ a T H ( x k ， u ( i ) ， V ( i ) ) ∇ u u H ( x k ， u ( i ) ， V ( i ) ) H ( x k ， u ( i ) ， V ( i ) ) + h ( u ( i + 1 ) ) . 令 A = ∇ u T H ∇ u u H ∇ u H ， B = ∇ u T H ∇ u H ， C = h ，且 A ≥ 0 ，则： H ( x k ， u ( i + 1 ) ， V ( i ) ) = H ( x k ， u ( i ) ， V ( i ) ) + 1 2 A α 2 − B α + C . (17) 如果 B 2 − A C ≥ 0 ，当 α _ ≤ α ≤ α ¯ 时，其中 α _ = B − B 2 − A C A ， α ¯ = B + B 2 − A C A ，则： 1 2 A α 2 − B α + C ≤ 0. (18) 即 H ( x k ， u ( i + 1 ) ， V ( i ) ) ≤ H ( x k ， u ( i ) ， V ( i ) ) 。根据Hamiltonian函数定义知： H ( x k ， u ( i ) ， V ( i ) ) = 0 。 故： H ( x k ， u ( i + 1 ) ， V ( i ) ) ≤ 0 。 2) 假设 u ( i ) ( x ) ∈ U ( X ) ，对于系统 x k + 1 = f ( x k ， u ( i + 1 ) ) ，则对于Lyapunov函数 V ( i ) ( x k ) 有： Δ V ( i ) ( x k ) = V ( i ) ( f ( x k ， u ( i + 1 ) ) ) − V ( i ) ( x k ) = V ( i ) ( f ( x k ， u ( i + 1 ) ) ) − V ( i ) ( x k ) + P ( x k ， u ( i + 1 ) ) − P ( x k ， u ( i + 1 ) ) = H ( x k ， u ( i + 1 ) ， V ( i ) ) − P ( x k ， u ( i + 1 ) ) . (19) 由 H ( x k ， u ( i + 1 ) ， V ( i ) ) ≤ 0 ，知： Δ V ( i ) ( x k ) ≤ − P ( x k ， u ( i + 1 ) ) ≤ 0 。即： V ( i ) ( f ( x k ， u ( i + 1 ) ) ) ≤ V ( i ) ( x k ) < ∞ 。 对于所有 x ， u ≠ 0 ，根据定义1知： u ( i + 1 ) ( x ) ∈ U ( X ) 。由数学归纳法知，当 u ( 0 ) ( x ) ∈ U ( X ) ，有 u ( i ) ( x ) ∈ U ( X ) 。 引理2 [ 11 ] 对于所有 ( x ， a ) ∈ D ，根据策略梯度自适应动态规划算法得到序列 { Q ( i ) ( x ， a ) } 和 满足：1) Q ( i ) ( x ， a ) ≥ Q ( i + 1 ) ( x ， a ) ≥ Q * ( x ， a ) ， 2) lim i → ∞ Q ( i ) ( x ， a ) = Q * ( x ， a ) 。 证明 1)由式(4)和(8)知： Q ( i ) ( x k ， u ( i + 1 ) ) = P ( x k ， u ( i + 1 ) ) + V ( i ) ( f ( x k ， u ( i + 1 ) ) ) = P ( x k ， u ( i + 1 ) ) + V ( i ) ( f ( x k ， u ( i + 1 ) ) ) − V ( i ) ( x k ) + V ( i ) ( x k ) = H ( x k ， u ( i + 1 ) ， V ( i ) ) + V ( i ) ( x k ) ≤ H ( x k ， u ( i ) ， V ( i ) ) + V ( i ) ( x k ) = V ( i ) ( x k ) . (20) 且： V ( i + 1 ) ( x k ) = P ( x k ， u ( i + 1 ) ) + V ( i ) ( x k + 1 ) − V ( i ) ( x k + 1 ) + V ( i + 1 ) ( x k + 1 ) = Q ( i ) ( x k ， u ( i + 1 ) ) − V ( i ) ( x k + 1 ) + V ( i + 1 ) ( x k + 1 ) ≤ V ( i ) ( x k ) − V ( i ) ( x k + 1 ) + V ( i + 1 ) ( x k + 1 ) = P ( x k ， u ( i ) ) + V ( i + 1 ) ( x k + 1 ) ≤ P ( x k ， u ( i ) ) + P ( x k + 1 ， u ( i ) ) + V ( i + 1 ) ( x k + 2 ) ≤ ∑ l = k ∞ P ( x l ， u ( i ) ) = V ( i ) ( x k ) . (21) 则对于所有 ( x k ， a ) ∈ D ，有： Q ( i + 1 ) ( x k ， a ) = P ( x k ， a ) + V ( i + 1 ) ( x k + 1 ) ≤ P ( x k ， a ) + V ( i ) ( x k + 1 ) = Q ( i ) ( x k ， a ) . (22) 由于式(9)知： Q ( i ) ( x k ， a ) = P ( x k ， a ) + V ( i ) ( x k + 1 ) ≥ P ( x k ， a ) + V * ( x k + 1 ) = Q * ( x k ， a ) . (23) 故可得： Q ( i ) ( x ， a ) ≥ Q ( i + 1 ) ( x ， a ) ≥ Q * ( x ， a ) 。 2) 由式(12)知，当i趋于 ∞ 时有： u ∞ = u ∞ − α ∇ a Q ∞ ( x ， a ) | a = u ∞ . (24) 即： α ∇ a Q ∞ ( x ， a ) | a = u ∞ = 0. (25) 由式(8)知： (26) 则有： ∇ a W ( a ) | a = u ∞ + ∇ a V ∞ ( f ( x k ， a ) ) | a = u ∞ = 0. (27) 又由式(4)知： (28) 上式对u求导得： ∇ u W ( u ) | u = u * + ∇ u V * ( f ( x k ， u ) ) | u = u * = 0. (29) 易知式(27)和(29)是一样的，由唯一性得： V ∞ ( x ) = V * ( x ) . (30) 由式(26)得： Q ∞ ( x k ， a ) = P ( x k ， a ) + V ∞ ( x k + 1 ) = P ( x k ， a ) + V * ( x k + 1 ) = Q * ( x k ， a ) . (31) 由结论1)知，序列 是单减序列，记 lim i → ∞ Q ( i ) ( x ， a ) = Q ∞ ( x ， a ) ，则有： lim i → ∞ Q ( i ) ( x ， a ) = Q * ( x ， a ) 。