system: [SYSTEM]

user: 4. 问题求解 4.1. 有限时域上布尔网络最优控制问题的求解方法 我们注意到对任意时刻的控制输入 u ^ ( k ) = δ 2 m i ，令 L ⋉ u ^ ( k ) = L i ∈ L 2 n × 2 n ，则可把布尔控制网络系统(5)看成一个布尔切换系统 [ 12 ] [ 13 ] [ 14 ] [ 15 ] ，自然地，布尔切换系统的第i个子系统是一个布尔系统。从而得到 x ^ ( k + 1 ) = L i x ^ ( k ) ， i ∈ [ 1 ， 2 m ] (9) 系统(5)的状态转移矩阵L可以表示为 L = [ L 1   L 2   ⋯   L 2 m ] (10) 下面考虑有限时域 ( K = N < ∞ ) 时布尔网络最优控制问题的求解方法。 因对任意n维非正向量 ω ( k ) ， k ∈ [ 0 ， K ] 和状态 x ^ ( k ) ， k ∈ [ 0 ， K ] ，成立下列恒等式： 0 = ω ( 0 ) T ⋉ x ^ ( 0 ) + ∑ k = 0 K − 1 [ ω ( k + 1 ) T ⋉ x ^ ( k + 1 ) − ω ( k ) T ⋉ x ^ ( k ) ] − ω ( K ) T ⋉ x ^ ( K ) (11) 因此，由(8)式-(11)式可得 J ( u ^ ) = − ω ( 0 ) T ⋉ x ^ ( 0 ) + ( λ K Φ f T + ω ( K ) T ) ⋉ x ^ ( K )                     + ∑ k = 0 K − 1 λ k Φ T ⋉ u ^ ( k ) ⋉ x ^ ( k ) − ∑ k = 0 K − 1 [ ω ( k + 1 ) T ⋉ x ^ ( k + 1 ) − ω ( k ) T x ^ ( k ) ] (12) 又因为 u ^ ( k ) = δ 2 m i ， i ∈ [ 1 ， 2 m ] ，故对任意状态 x ^ ( k ) ， k ∈ [ 0 ， K ] ，成立 ω ( k ) T x ^ ( k ) = [ ω ( k ) T   ω ( k ) T   ⋯     ω ( k ) T ] ⋉ u ^ ( k ) ⋉ x ^ ( k ) (13) 将(13)式代入(12)式得 J ( u ^ ) = − ω ( 0 ) T ⋉ x ^ ( 0 ) + ( λ K Φ f T + ω ( K ) T ) ⋉ x ^ ( K )                     + ∑ k = 0 K − 1 ( λ k Φ T − ω ( k + 1 ) T L + [ ω ( k ) T   ⋯   ω ( k ) T ] ) ⋉ u ^ ( k ) ⋉ x ^ ( k ) (14) 令 ψ ( k ) T = [ ψ 1 ( k ) T   ψ 2 ( k ) T   ⋯   ψ 2 m ( k ) T ] = [ λ k Φ 1 T   λ k Φ 2 T |   ⋯   | λ k Φ 2 m T ] − ω ( k + 1 ) T [ L 1   L 2   ⋯   L 2 m ] + [ ω ( k ) T   ω ( k ) T   ⋯   ω ( k ) T ] (15) 即(14)式可等价表示为 J ( u ^ ) = − ω ( 0 ) T ⋉ x ^ ( 0 ) + ( λ K Φ f T + ω ( K ) T ) ⋉ x ^ ( K )                     + ∑ k = 0 K − 1 [ ψ 1 ( k ) T   ψ 2 ( k ) T   ⋯   ψ 2 m ( k ) ] T ⋉ u ^ ( k ) ⋉ x ^ ( k ) (16) 为使目标泛函(16)式达到最大，根据贝尔曼动态规划方法的最优性原理，我们希望每一步的取值达到最大，即取 ω ( K ) 为零向量时使终端达到最大，对 ∀ k ∈ [ 0 ， K − 1 ] ， j ∈ [ 1 ， 2 n ] ，存在 i ∈ [ 1 ， 2 m ] 使得向量 [ ψ i ( k ) ] j = 0 ，否则 [ ψ i ( k ) ] j ≤ 0 。 因此，我们设计如下算法，使目标泛函(16)式达到最大： Step 1：设向量 ω ( K ) = 0 2 n T ； Step 2：当 k = K − 1 ， K − 2 ， ⋯ ， 1 ， 0 ，向量 ω ( k ) 的第j项为 − [ ω ( k ) ] j = max i ∈ [ 1 ， 2 m ] ( λ k [ Φ i ] j − [ ω ( k + 1 ) T L i ] j ) ， ∀ j ∈ [ 1 ， 2 n ] ; Step 3：使目标泛函(16)式达到最大值的控制输入序列 u ^ ( k ) ， k ∈ [ 0 ， K − 1 ] 可选择如下： 对 ∀ x ^ ( k ) = δ 2 n j ，可得 u ^ ( k ) = δ 2 m i * ( j ， k ) 。 其中 i * ( j ， k ) = arg max i ∈ [ 1 ， 2 m ] ( λ k [ Φ i ] j − [ ω ( k + 1 ) T L i ] j ) ， j ∈ [ 1 ， 2 n ] 注1：事实上，根据算法的设计，最优控制序列 u ^ ( k ) 实际上是一个反馈控制，即 u ^ ( k ) = Η ( k ) x ^ (k) 其中 Η ( k ) = [ δ 2 m i * ( 1 ， k )   δ 2 m i * ( 2 ， k )   ⋯   δ 2 m i * ( 2 n ， k ) ] 注2：根据贝尔曼动态规划方法，令值函数为 { J K ( x ^ ( K ) ) = max u ^ ( K − 1 ) ∈ Δ 2 m λ K Φ f T ⋉ δ 2 n j J [ 0 ， K − 1 ] ( x ^ ( k ) ， u ^ ( ⋅ ) ) = J [ 0 ， K − 1 ] ( δ 2 n j ， u ^ ( ⋅ ) ) = max u ^ ( ⋅ ) ∈ Δ 2 m { λ K Φ f T ⋉ δ 2 n j + J k + 1 ( δ 2 n j ， u ^ ( ⋅ ) ) } 由本文设计的算法可知 − [ ω ( k ) ] j = max u ^ ( k ) ∈ Δ 2 m J ( δ 2 n j ， u ^ (⋅) ) − [ ω ( k ) ] j = max u ^ ( k ) ∈ Δ 2 m { λ K Φ f T ⋉ δ 2 n j + J k + 1 ( δ 2 n j ， u ^ ( ⋅ ) ) } − [ ω ( k ) ] j = max u ^ ( k ) ∈ Δ 2 m { λ K Φ f T ⋉ δ 2 n j } + max u ^ ( k ) ∈ Δ 2 m { J k + 1 ( δ 2 n j ， u ^ ( k ) ) } 从中我们得到，本文给出的方法与动态规划算法的求解结果相一致。 综上，我们得到了有限时域上布尔网络最优控制问题的求解方法。 4.2. 无穷时域上布尔网络最优控制的求解方法 下面我们考虑受控系统(5)支配下，无穷时域 ( K → ∞ ) 上的布尔网络最优控制问题。设目标泛函为 J ( u ^ ) = ∑ k = 0 ∞ λ k Φ ( u ^ ( k ) ， x ^ ( k ) ) (17) 其中 0 < λ < 1 ， Φ ( ⋅ ， ⋅ ) : D n + m → M 2 n × 2 m 上的有界效用函数。 对于无穷时域上的最优控制问题，其最优控制问题的可解性等价于目标泛函中无穷级数的收敛性。如下定理给出无穷时域上布尔网络最优控制问题的求解方法。 定理4.2.1：对布尔控制系统(5)以及目标泛函(17)，总存在最优控制 u ^ * ( k ) ，且当有限时域中终端步K取得充分大时，从有限时域上求得的最优控制序列 { u ^ ( 1 ) * ， u ^ ( 2 ) * ， ⋯ ， u ^ ( K ) * } 与无穷时域上的最优控制序列的前K个值一致。 证明：令 M = max u ^ ( k ) ， x ^ ( k ) ∈ Δ | Φ ( u ^ ( k ) ， x ^ ( k ) ) | ，则由 u ^ ( k ) ， x ^ ( k ) 都是有限维向量， Φ ( ⋅ ， ⋅ ) : D n + m → M 2 m × 2 n 上有界函数，可知 M < + ∞ ，所以无穷级数 ∑ k = 0 ∞ λ k Φ ( u ^ ( k ) ， x ^ ( k ) ) 的优级数为 M ∑ k = 0 ∞ λ k 是收敛的。 即无穷级数 ∑ k = 0 ∞ λ k Φ ( u ^ ( k ) ， x ^ ( k ) ) 一致收敛。故对任意给定的 ε > 0 ，存在足够大的p，使得 | ∑ k = p ∞ λ k Φ ( u ^ ( k ) ， x ^ ( k ) ) | ≤ ∑ k = p ∞ λ p M = λ p + 1 1 − λ M < ε 2 不妨设 K = p ，考虑受控系统如下求解有限时域最优控制问题 J K ( x ^ 0 ， u ^ ) = ∑ k = 0 K λ k Φ ( u ^ ( k ) ， x ^ (k)) 若 { u ^ ( 1 ) * ， u ^ ( 2 ) * ， ⋯ ， u ^ ( K ) * } 为 J K ( x ^ 0 ， u ^ ) 的最优控制，若 { u ^ ∞ ( 1 ) * ， u ^ ∞ ( 2 ) * ， ⋯ ， u ^ ∞ ( K ) * ， ⋯ } 为 J ∞ ( x ^ 0 ， u ^ ) 的最优控制，则有 J K ( x ^ 0 ; u ^ ( 1 ) * ， u ^ ( 2 ) * ， ⋯ ， u ^ ( K ) * ) − J ∞ ( x ^ 0 ; u ^ ∞ ( 1 ) * ， u ^ ∞ ( 2 ) * ， ⋯ ， u ^ ∞ ( K ) * ， ⋯ ) ≤ ε 否则 J ( x ^ 0 ; u ^ ( 1 ) * ， u ^ ( 2 ) * ， ⋯ ， u ^ ( K ) * ， u ^ ∞ ( K + 1 ) * ， ⋯ ) − J ( x ^ 0 ; u ^ ∞ ( 1 ) * ， u ^ ∞ ( 2 ) * ， ⋯ ， u ^ ∞ ( K ) * ， ⋯ ) = ∑ k = 0 K λ k [ Φ ( u ^ ( k ) * ， x ^ ( k ) * ) − Φ ( u ^ ∞ ( k ) * ， x ^ ∞ ( k ) * ) ]       + ∑ k = K ∞ λ k [ Φ ( u ^ ( k ) * ， x ^ ( k ) * ) − Φ ( u ^ ∞ ( k ) * ， x ^ ∞ ( k ) * ) ] > ε − 2 ⋅ ε 2 = 0 这与 u ^ ∞ ( k ) * 为最优控制相矛盾，即无穷时域上的最优控制存在。 □ 注3：当K取得足够大时，无穷时域上的最优控制序列 { u ^ ∞ ( 1 ) * ， u ^ ∞ ( 2 ) * ， ⋯ ， u ^ ∞ ( K ) * ， ⋯ } 可从有限时域得到的最优控制序列 { u ^ ( 1 ) * ， u ^ ( 2 ) * ， ⋯ ， u ^ ( K ) * } 逐次逼近得到。