system: [SYSTEM]

user: 3. 动态规划原理 现在我们引入倒向随机半群，对于给定的初始状态 ( t ， x ， i ) ，我们定义了一个正数 δ ≤ T − t ，对于允许的控制过程 u ( ⋅ ) ∈ U t ， t + δ 和 v ( ⋅ ) ∈ V t ， t + δ ，以及一个实值随机变量 η ∈ ( Ω ， F t + δ ， P ; R ) ，我们定义 G t ， t + δ t ， x ， i ; u ， v [ η ] = Y t ¯ t ， x ， i ; u ， v 其中， ( Y ¯ s t ， ξ ， i ; u ， v ， Z ¯ s t ， ξ ， i ; u ， v ) s ∈ [ t ， t + δ ] 是下面倒向随机微分方程在端点时刻 t + δ 的解， Y ¯ s t ， x ， i ; u ， v = η + ∫ s t + δ f ( r ， X r t ， ξ ， i ; u ， v ， Y ¯ r t ， ξ ， i ; u ， v ， Z ¯ r t ， ξ ， i ; u ， v ， θ r t ， i ， u r ， v r ) d r − ∫ s t + δ Z ¯ r t ， ξ ， i ; u ， v d B r ，   P- a . s . ，   s ∈ [ t ， t + δ ] ， 且 X t ， x ， i ; u ， v 是随机微分方程(2.1)的解。根据倒向随机微分方程解的唯一性，我们得到倒向随机微分方程(2.2)的解 Y t ， x ， i ; u ， v 满足 J ( t ， x ， i ; u ， v ) = E [ Y t t ， x ， i ; u ， v | F t ] = E [ G t ， T t ， x ， i ; u ， v [ Φ ( X T t ， x ， i ; u ， v ， θ T t ， i ) ] | F t ] = E [ G t ， t + δ t ， x ， i ; u ， v [ Y t + δ t ， x ， i ; u ， v ] | F t ] = E [ G t ， t + δ t ， x ， i ; u ， v [ E [ Y t + δ t ， x ， i ; u ， v | F t + δ ] ] | F t ] = E [ G t ， t + δ t ， x ， i ; u ， v [ J ( t + δ ， X t + δ t ， x ， i ; u ， v ， θ t + δ t ， i ; u ， v ) ] | F t ] . 我们现在介绍具有状态切换的随机微分对策的值函数的动态规划原理。 命题3.1. 在假设(H2.1)和(H2.2)下，下面动态规划原理成立：对于所有 0 < δ ≤ T − t ， x ∈ R n ， i ∈ M ， U ( t ， x ， i ) = esssup α ∈ A t ， t + δ essinf v ∈ V t ， t + δ E [ G t ， t + δ t ， x ， i ; α ( v ) ， v [ U ( t + δ ， X t + δ t ， x ， i ; α ( v ) ， v ， θ t + δ t ， i ) ] | F t ] ， 和 W ( t ， x ， i ) = essinf β ∈ B t ， t + δ esssup u ∈ U t ， t + δ E [ G t ， t + δ t ， x ， i ; u ， β ( u ) [ W ( t + δ ， X t + δ t ， x ， i ; u ， β ( u ) ， θ t + δ t ， i ) ] | F t ] . 证明：令 W δ ( t ， x ， i ) = essinf β ∈ B t ， t + δ esssup u ∈ U t ， t + δ E [ G t ， t + δ t ， x ， i ; u ， β ( u ) [ W ( t + δ ， X t + δ t ， x ， i ; u ， β ( u ) ， θ t + δ t ， i ) ] | F t ] . 我们将 W δ ( t ， x ， i ) 与 W ( t ， x ， i ) 相吻合的证明分几个步骤进行证明。 第一步.令 β ∈ B t ， T 是任意固定的，则给定 u 2 ∈ U t + δ ， T ，我们定义 β 在 U t ， t + δ 的限制 β 1 如下： β 1 ( u 1 ) = β ( u 1 ⊕ u 2 ) | [ t ， t + δ ] ，     u 1 ∈ U t ， t + δ ， 其中 u 1 ⊕ u 2 = u 1 χ [ t ， t + δ ] + u 2 χ ( t + δ ， T ] 将 u 1 扩展为 U t ， T 中的一个元素。显然， β 1 ∈ B t ， t + δ 。且从 β 的非预测性性质，我们得到 β 1 独立于 u 2 ∈ U t + δ ， T 的特殊选择。因此，从 W δ ( t ， x ， i ) 的定义得 W δ ( t ， x ， i ) ≤ esssup u 1 ∈ U t ， t + δ E [ G t ， t + δ t ， x ， i ; u 1 ， β 1 ( u 1 ) [ W ( t + δ ， X t + δ t ， x ， i ; u 1 ， β 1 ( u 1 ) ， θ t + δ t ， i ) ] | F t ] ， 令 I δ ( t ， x ， i ; u ， v ) = E [ G t ， t + δ t ， x ， i ; u ， v [ W ( t + δ ， X t + δ t ， x ， i ; u ， v ， θ t + δ t ， i ) ] | F t ] 且对于一些序列 { u l 1 ， l ≥ 1 } ⊂ U t ， t + δ 使得， I δ ( t ， x ， i ; β 1 ) = esssup u 1 ∈ U t ， t + δ I δ ( t ， x ， i ; u 1 ， β 1 ( u 1 ) ) = sup l ≥ 1 I δ ( t ， x ， i ; u l 1 ， β 1 ( u l 1 ) ) ，   P- a . s . 令 ϵ > 0 且设 Γ ˜ l = { I δ ( t ， x ， i ; β 1 ) ≤ I δ ( t ， x ， i ; u l 1 ， β 1 ( u l 1 ) ) + ϵ } ∈ F t ， l ≥ 1 。构造 Γ 1 = Γ ˜ 1 ， Γ l = Γ ˜ l ∖ ( ∪ k = 1 l − 1 Γ ˜ k ) ∈ F t ， l ≥ 2 ， { Γ l } l ≥ 1 是 ( Ω ， F t ) 的一分割，且 u 1 ϵ = ∑ l ≥ 1     χ Γ l u l 1 ∈ U t ， t + δ 。此外，从 β 1 的非预测性，我们得到 β 1 ( u 1 ϵ ) = ∑ l ≥ 1 χ Γ l β 1 ( u l 1 ) 。由倒向随机微分方程的存在性和唯一性，得到对于 β 1 ∈ B t ， t + δ ， 因此， W δ ( t ， x ， i ) ≤ I δ ( t ， x ， i ; β 1 ) ≤ ∑ l ≥ 1 χ Γ l I δ ( t ， x ， i ; u l 1 ， β 1 ( u l 1 ) ) + ϵ = I δ ( t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) ) + ϵ = E [ G t ， t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) [ W ( t + δ ， X t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) ， θ t + δ t ， i ) ] | F t ] + ϵ ，   P- a . s . (3.1) 我们现在关注区间 [ t + δ ， T ] ，借助 β 1 ( ⋅ ) = β ( ⋅ ⊕ u 2 ) ∈ B t ， t + δ 不依赖于 u 2 ∈ U t + δ ， T ，我们能定义 β 2 ( u 2 ) = β ( u 1 ϵ ⊕ u 2 ) | [ t + δ ， T ] ，对于任意 u 2 ∈ U t + δ ， T ，从 β ∈ B t ， T 可知， β 2 : U t + δ ， T → V t + δ ， T 属于 B t + δ ， T 。因此，由 W ( t + δ ， y ， j ) 的定义知，对于任意的 ( y ， j ) ∈ R n × M 使得， W ( t + δ ， y ， j ) ≤ esssup u 2 ∈ U t + δ ， T J ( t + δ ， y ， j ; u 2 ， β 2 ( u 2 ) ) ，   P- a . s . 从引理2.2和引理2.6，存在一常数 C ∈ R 使得，对于任意 u 2 ∈ U t + δ ， T ， y ， y ′ ∈ R n ， (i) | W ( t + δ ， y ， j ) − W ( t + δ ， y ′ ， j ) | ≤ C | y − y ′ | ， (ii) | J ( t + δ ， y ， j ; u 2 ， β 2 ( u 2 ) ) − J ( t + δ ， y ′ ， j ; u 2 ， β 2 ( u 2 ) ) | ≤ C | y − y ′ | ，   P- a . s . (3.2) 我们通过近似 X t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) 来表示构造， W ( t + δ ， X t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) ， θ t + δ t ， i ) ≤ esssup u 2 ∈ U t + δ ， T J ( t + δ ， X t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) ， θ t + δ t ， i ; u 2 ， β 2 ( u 2 ) ) ，   P- a . s . 为了估计上面不等式的右边，我们注意到存在一些序列 { u k 2 ， k ≥ 1 } ⊂ U t + δ ， T 使得 esssup u 2 ∈ U t + δ ， T J ( t + δ ， X t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) ， θ t + δ t ， i ; u 2 ， β 2 ( u 2 ) ) = sup k ≥ 1 J ( t + δ ， X t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) ， θ t + δ t ， i ， u k 2 ， β 2 ( u k 2 ) ) ， P- a . s . 令 ϵ > 0 且 △ ˜ k = { esssup u 2 ∈ U t + δ ， T J ( t + δ ， X t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) ， θ t + δ t ， i ; u 2 ， β 2 ( u 2 ) )               ≤ J ( t + δ ， X t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) ， θ t + δ t ， i ; u k 2 ， β 2 ( u k 2 ) ) + ϵ } ∈ F t + δ ， k ≥ 1. 构造 △ 1 =   △ ˜ 1 ， △ k =   △ ˜ k ∖ ( ∪ j = 1 k − 1 △ ˜ j ) ∈ F t + δ ， k ≥ 2 ， { △ k } k ≥ 1 是 ( Ω ， F t + δ ) 一分割，此外， u 2 ϵ = ∑ k ≥ 1 χ △ k u k 2 ∈ U t + δ ， T 。因此，从 β 2 的非预测性知， β 2 ( u 2 ϵ ) = ∑ k ≥ 1 χ △ k β 2 ( u k 2 ) ，且由 β 1 ， β 2 的定义，我们得到 β ( u 1 ϵ ⊕ u 2 ϵ ) = β 1 ( u 1 ϵ ) ⊕ β 2 ( u 2 ϵ ) 。由倒向随机微分方程的存在性和唯一性，我们知 J ( t + δ ， X t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) ， θ t + δ t ， i ; u 2 ϵ ， β 2 ( u 2 ϵ ) ) = E [ Y t + δ t + δ ， X t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) ， θ t + δ t ， i ; u 2 ϵ ， β 2 ( u 2 ϵ ) | F t + δ ] = E [ ∑ k ≥ 1 χ △ k Y t + δ t + δ ， X t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) ， θ t + δ t ， i ; u k ϵ ， β 2 ( u k ϵ ) | F t + δ ] = ∑ k ≥ 1 χ △ k J ( t + δ ， X t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) ， θ t + δ t ， i ; u k ϵ ， β 2 ( u k ϵ ) ) ， P- a . s . 因此， W ( t + δ ， X t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) ， θ t + δ t ， i ) ≤ esssup u 2 ∈ U t + δ ， T J ( t + δ ， X t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) ， θ t + δ t ， i ; u 2 ， β 2 ( u 2 ) ) ≤ E [ ∑ k ≥ 1 χ △ k Y t + δ t ， x ， i ; u 1 ϵ ⊕ u k 2 ， β ( u 1 ϵ ⊕ u k 2 ) | F t + δ ] + ϵ = E [ Y t + δ t ， x ， i ; u 1 ϵ ⊕ u 2 ϵ ， β ( u 1 ϵ ⊕ u 2 ϵ ) | F t + δ ] + ϵ = E [ Y t + δ t ， x ， i ; u ϵ ， β ( u ϵ ) | F t + δ ] + ϵ ， P- a . s . ， (3.3) 其中 u ϵ = u 1 ϵ ⊕ u 2 ϵ ∈ U t ， T 。从(3.1)和(3.3)可以知道， W δ ( t ， x ， i ) ≤ E [ G t ， t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) [ E [ Y t + δ t ， x ， i ; u ϵ ， β ( u ϵ ) | F t + δ ] + ϵ ] | F t ] ≤ E [ G t ， t + δ t ， x ， i ; u 1 ϵ ， β 1 ( u 1 ϵ ) [ E [ Y t + δ t ， x ， i ; u ϵ ， β ( u ϵ ) | F t + δ ] ] | F t ] + ( C + 1 ) ϵ = E [ G t ， t + δ t ， x ， i ; u ϵ ， β ( u ϵ ) [ E [ Y t + δ t ， x ， i ; u ϵ ， β ( u ϵ ) | F t + δ ] ] | F t ] + ( C + 1 ) ϵ = E [ G t ， t + δ t ， x ， i ; u ϵ ， β ( u ϵ ) [ Y t + δ t ， x ， i ; u ϵ ， β ( u ϵ ) ] | F t ] + ( C + 1 ) ϵ = E [ Y t t ， x ， i ; u ϵ ， β ( u ϵ ) | F t ] + ( C + 1 ) ϵ ≤ esssup u ∈ U t ， T E [ Y t t ， x ， i ; u ， β ( u ) | F t ] + ( C + 1 ) ϵ ， P- a . s . (3.4) 因为 β ∈ B t ， T 是任意选择的对于所有的 β ∈ B t ， T ，我们有 。因此， W δ ( t ， x ， i ) ≤ essinf β ∈ B t ， T esssup u ∈ U t ， T E [ Y t t ， x ， i ; u ， β ( u ) | F t ] + ( C + 1 ) ϵ = W ( t ， x ， i ) + ( C + 1 ) ϵ . 则令 ϵ → 0 ，我们得到 W δ ( t ， x ， i ) ≤ W ( t ， x ， i ) 。 第二步 我们现在处理 W ( t ， x ， i ) ≤ W δ ( t ， x ， i ) 的情况。从 W δ ( t ， x ， i ) 的定义，我们得到 W δ ( t ， x ， i ) = essinf β 1 ∈ B t ， t + δ esssup u 1 ∈ U t ， t + δ E [ G t ， t + δ t ， x ， i ; u 1 ， β 1 ( u 1 ) [ W ( t + δ ， X t + δ t ， x ， i ; u 1 ， β 1 ( u 1 ) ， θ t + δ t ， i ) ] | F t ] = essinf β 1 ∈ B t ， t + δ I δ ( t ， x ， i ; β 1 ) ， 且对于一些 { β l 1 ， l ≥ 1 } ⊂ B t ， t + δ 使得， 对于任意的 ϵ > 0 ，我们令 Λ ˜ l = { I δ ( t ， x ， i ; β l 1 ) − ϵ ≤ W δ ( t ， x ， i ) } ∈ F t ， l ≥ 1 ， Λ = Λ ˜ 1 且 Λ l = Λ ˜ l ∖ ( ∪ k = 1 l − 1 Λ ˜ k ) ∈ F t ， l ≥ 2 ， { Λ l } l ≥ 1 是 ( Ω ， F t ) 的一分割，且 β 1 ϵ = ∑ l ≥ 1 χ Λ l β l 1 ∈ B t ， t + δ 。由倒向随机微分方程的存在性和唯一性，我们得到对于所有的 u 1 ∈ U t ， t + δ I δ ( t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) ) = ∑ l ≥ 1 χ Λ l I δ ( t ， x ， i ; u 1 ， β l 1 ( u 1 ) ) ， P- a . s . ， 此外，对于所有的 u 1 ∈ U t ， t + δ ， W δ ( t ， x ， i ) ≥ ∑ l ≥ 1 χ Λ l I δ ( t ， x ， i ; β l 1 ) − ϵ ≥ ∑ l ≥ 1 χ Λ l I δ ( t ， x ， i ; u 1 ， β l 1 ( u 1 ) ) − ϵ = I δ ( t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) ) − ϵ = E [ G t ， t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) [ W ( t + δ ， X t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) ， θ t + δ t ， i ) ] | F t ] − ϵ ， P- a . s . (3.5) 我们现在关注区间 [ t + δ ， T ] ，从 W ( t + δ ， y ， j ) 的定义，我们得到，对于任意 ( y ， j ) ∈ R n × M ，存在 β y ， j ϵ ∈ B t + δ ， T 使得 W ( t + δ ， y ， j ) ≥ esssup u 2 ∈ U t + δ ， T J ( t + δ ， y ， j ; u 2 ， β y ， j ϵ ( u 2 ) ) − ϵ ， P- a . s . (3.6) 我们现在考虑 R n 的分割，即， ∑ l ≥ 1 O l = R n 满足对于每一 l ≥ 1 ， d i a m ( O l ) ≤ ϵ 。令任意的 ( y l ， j ) ∈ O l × M ， l ≥ 1 是固定的，且定义 X t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) ¯ = ∑ l ≥ 1 ， j ∈ M y l χ { X t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) ∈ O l ， θ t + δ t ， i = j } . 显然，我们有 | X t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) − X t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) ¯ | ≤ ϵ ， (3.7) 在 Ω 的每一处，对于任意的 u 1 ∈ U t ， t + δ 。而且，对于每一个 y l 和j，存在 β y l ， j ϵ ∈ B t + δ ， T 使得 成立，且 β u 1 ϵ = ∑ l ≥ 1 ， j ∈ M χ { X t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) ∈ O l ， θ t + δ t ， i = j } β y l ， j ϵ ∈ B t + δ ， T . 现在我们定义新的策略 β ϵ ( u ) = β 1 ϵ ( u 1 ) ⊕ β u 1 ϵ ( u 2 ) ， u ∈ U t ， T ，其中 u 1 = u | [ t ， t + δ ] ， u 2 = u | ( t + δ ， T ] 。显然， β ϵ : U t ， T → V t ， T 。 接下来，我们将证明 β ϵ 是非预测性的，实际上，令 S : Ω → [ t ， T ] 是 F -停时， u ， u ′ ∈ U t ， T ，使得 u ≡ u ′ 在 〚 t ， S 〛 上。将 u ， u ′ 分解为 u 1 ， u ′ 1 ∈ U t ， t + δ ，使得 u = u 1 ⊕ u 2 和 u ′ = u ′ 1 ⊕ u ′ 2 。因为在 〚 t ， S ∧ ( t + δ ) 〛 上， u 1 ≡ u ′ 1 ，我们有 β 1 ϵ ( u 1 ) ≡ β 1 ϵ ( u ′ 1 ) 在 〚 t ， S ∧ ( t + δ ) 〛 上。另一方面，在   〛 t + δ ， S ∧ ( t + δ ) 〛 ( ⊂ ( t + δ ， T ] × { S > t + δ } ) 上 u 2 ≡ u ′ 2 ，且在 S > t + δ 上，我们有 X t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) = X t + δ t ， x ， i ; u ′ 1 ， β 1 ϵ ( u ′ 1 ) 。因此，从定义知，在 { S > t + δ } 上， β u 1 ϵ = β u ′ 1 ϵ 且在   〛 t + δ ， S ∨ ( t + δ ) 〛 上， β u 1 ϵ ( u 2 ) ≡ β u ′ 1 ϵ ( u ′ 2 ) 。所以，在 〚 t ， S 〛 上， β ϵ ( u ) = β 1 ϵ ( u 1 ) ⊕ β u 1 ϵ ( u 2 ) ≡ β 1 ϵ ( u ′ 1 ) ⊕ β u ′ 1 ϵ ( u ′ 2 ) = β ϵ ( u ′ ) 从而知 β ϵ ∈ B t ， T 。 固定 u ∈ U t ， T 是任意的且分为 u 1 = u | [ t ， t + δ ] ∈ U t ， t + δ ， u 2 = u | ( t + δ ， T ] ∈ U t + δ ， T ，则从(3.5)，(3.2) (i)和(3.7)，我们知 W δ ( t ， x ， i ) ≥ E [ G t ， t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) [ W ( t + δ ， X t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) ， θ t + δ t ， i ) ] | F t ] − ϵ ≥ E [ G t ， t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) [ W ( t + δ ， X t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) ¯ ， θ t + δ t ， i ) − C ϵ ] | F t ] − ϵ ≥ E [ G t ， t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) [ W ( t + δ ， X t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) ¯ ， θ t + δ t ， i ) ] | F t ] − C ϵ = E [ G t ， t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) [ ∑ l ≥ 1 ， j ∈ M χ { X t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) ∈ O l ， θ t + δ t ， i = j } W ( t + δ ， y l ， j ) ] | F t ] − C ϵ . 从(3.6)，(3.2) (ii)和(3.7)得，对于任意的 u ∈ U t ， T ， W δ ( t ， x ， i ) ≥ E [ G t ， t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) [ ∑ l ≥ 1 ， j ∈ M χ { X t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) ∈ O l ， θ t + δ t ， i = j } J ( t + δ ， y l ， j ; u 2 ， β y l ϵ ( u 2 ) ) − ϵ ] | F t ] − C ϵ ≥ E [ G t ， t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) [ ∑ l ≥ 1 ， j ∈ M χ { X t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) ∈ O l ， θ t + δ t ， i = j } J ( t + δ ， y l ， j ; u 2 ， β y l ϵ ( u 2 ) ) ] | F t ] − C ϵ = E [ G t ， t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) [ J ( t + δ ， X t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) ¯ ， θ t + δ t ， i ; u 2 ， β u 1 ϵ ( u 2 ) ) ] | F t ] − C ϵ ≥ E [ G t ， t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) [ J ( t + δ ， X t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) ， θ t + δ t ， i ; u 2 ， β u 1 ϵ ( u 2 ) ) − C ϵ ] | F t ] − C ϵ ≥ E [ G t ， t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) [ J ( t + δ ， X t + δ t ， x ， i ; u 1 ， β 1 ϵ ( u 1 ) ， θ t + δ t ， i ; u 2 ， β u 1 ϵ ( u 2 ) ) ] | F t ] − C ϵ = E [ G t ， t + δ t ， x ， i ; u ， β ϵ ( u ) [ E [ Y t + δ t ， x ， i ; u ， β ϵ ( u ) | F t + δ ] ] | F t ] − C ϵ = E [ G t ， t + δ t ， x ， i ; u ， β ϵ ( u ) [ Y t + δ t ， x ， i ; u ， β ϵ ( u ) ] | F t ] − C ϵ = E [ Y t t ， x ， i ; u ， β ϵ ( u ) | F t ] − C ϵ ， P- a . s . ， 因此， W δ ( t ， x ， i ) ≥ esssup u ∈ U t ， T J ( t ， x ， i ; u ， β ϵ ( u ) ) − C ϵ ≥ essinf β ∈ B t ， T esssup u ∈ U t ， T J ( t ， x ， i ; u ， β ( u ) ) − C ϵ = W ( t ， x ， i ) − C ϵ ， P- a . s . 令 ϵ → 0 ，我们有 W δ ( t ， x ， i ) ≥ W ( t ， x ， i ) 。 证毕。