system: [SYSTEM]

user: 3. DPP&DPE 3.1. 动态规划原理 引理3.1：(动态规划原理)对于任意 x ≥ 0 ，假设存在平稳马氏策略 L * ∈ Π x 使得 V ( x ) = V L * ( x ) ，令 M 表示可测函数集合 l : ℝ + → [ 0 ， l 0 ] 满足 ϕ x l ( t ) = x + ∫ 0 t [ c + i ϕ x l ( s ) − l ( ϕ x l ( s ) ) ] d s ，则对任意 t ≥ 0 ，有 V ( x ) = sup l ∈ M E x [ ∫ 0 t ∧ τ 1 e − δ s l ( X s l ) d s + e − δ ( t ∧ τ 1 ) V ( X t ∧ τ 1 l ) ] . 证明：设 l * ∈ M 是最优平稳马氏策略 L * 的关联函数，对任意 x ， t ≥ 0 有 V ( x ) = V L * ( x ) = E x [ ∫ 0 t ∧ τ 1 e − δ s l * ( X s l * ) d s ] + E x [ ∫ t ∧ τ 1 τ L * e − δ s l * ( X s l * ) d s ] 我们考虑等式右侧的第二项，根据过程 X l * 的强马氏性，可得 E x [ ∫ t ∧ τ 1 τ L * e − δ s l * ( X s l * ) d s ] = E x [ E ( ∫ t ∧ τ 1 τ L * e − δ s l * ( X s l * ) d s | F t ∧ τ 1 ) ] = E x [ E ( ∫ t ∧ τ 1 τ L * e − δ s l * ( X s l * ) d s | X t ∧ τ 1 l * ) ] = E x [ e − δ ( t ∧ τ 1 ) E X t ∧ τ 1 l * ( ∫ 0 τ L * e − δ s l * ( X s l * ) d s ) ] = E x [ e − δ ( t ∧ τ 1 ) V ( X t ∧ τ 1 l * ) ] . 因此有 V ( x ) = E x [ ∫ 0 t ∧ τ 1 e − δ s l * ( X s l * ) d s + e − δ ( t ∧ τ 1 ) V ( X t ∧ τ 1 l * ) ] . (5) 此时对任意函数 l ∈ M ，我们可以构建一个新的分红策略 L ^ ： L ^ s = { ∫ 0 s l ( X s L ^ ) d s ，                                   0 ≤ s ≤ t ∧ τ 1 ; L ^ t ∧ τ 1 + ∫ t ∧ τ 1 τ L * l * ( X s L ^ ) d s ，         t ∧ τ 1 < s ≤ τ L ^ . 则易证 L ^ 是马氏策略。因此， V ( x ) ≥ V L ^ ( x ) = E x [ ∫ 0 t ∧ τ 1 e − δ s l ( X s l ) d s + ∫ t ∧ τ 1 τ L ^ e − δ s l * ( X s l * ) d s ] . 记 X t ∧ τ 1 L ^ = X t ∧ τ 1 l 。根据推导(5)的方法，同样我们可以得到 V ( x ) ≥ E x [ ∫ 0 t ∧ τ 1 e − δ s l ( X s l ) d s + e − δ ( t ∧ τ 1 ) V ( X t ∧ τ 1 l ) ] . 故得证。 3.2. 动态规划方程 定理3.2：对于任意 x ≥ 0 ，假设存在平稳马氏策略 L * ∈ Π x 使得 V ( x ) = V L * ( x ) ，则对任意 t ≥ 0 有 0 = sup l ∈ M { L l V ( x ， t ) + ∫ 0 t l ( ϕ x l ( s ) ) d s − δ ∫ 0 t V ( ϕ x l ( s ) ) d s } ， (6) 其中 L l V ( x ， t ) = V ( ϕ x l ( t ) ) − V ( x ) + λ ∫ 0 t ( Q V ( ϕ x l ( s ) ) − V ( ϕ x l ( s ) ) ) d s 且 Q V ( x ) = ∫ 0 x V ( x − y ) d Q ( y ) 。 证明：对于任意 x ， t ≥ 0 和 l ∈ M ，根据引理3.1有 V ( x ) ≥ E x [ ∫ 0 t ∧ τ 1 e − δ s l ( X s l ) d s + e − δ ( t ∧ τ 1 ) V ( X t ∧ τ 1 l ) ] = e − λ t ∫ 0 t e − δ s l ( X s l ) d s + ∫ 0 t λ e − λ s ∫ 0 s e − δ u l ( X u l ) d u d s     + e − ( λ + δ ) t V ( ϕ x l ( s ) ) + ∫ 0 t λ e − ( λ + δ ) s Q V ( ϕ x l ( s ) ) d s . 根据Stieltjes积分的分部积分公式可知 e − λ t ∫ 0 t e − δ s l ( X s l ) d s = ∫ 0 t e − ( λ + δ ) s l ( X s l ) d s − ∫ 0 t λ e − λ s ∫ 0 s e − δ u l ( X u l ) d u d s 和 e − ( λ + δ ) t V ( ϕ x l ( t ) ) − V ( x ) = ∫ 0 t e − ( λ + δ ) s d V ( ϕ x l ( s ) ) − ( λ + δ ) ∫ 0 t e − ( λ + δ ) s V ( ϕ x l ( s ) ) d s . 因此可得 0 ≥ ∫ 0 t e − ( λ + δ ) s d V ( ϕ x l ( s ) ) + ∫ 0 t e − ( λ + δ ) s l ( ϕ x l ( s ) ) d s     − ( λ + δ ) ∫ 0 t e − ( λ + δ ) s V ( ϕ x l ( s ) ) d s + ∫ 0 t λ e − ( λ + δ ) s Q V ( ϕ x l ( s ) ) d s = ∫ 0 t e − ( λ + δ ) s H l V ( x ， d s ) ， (7) 其中 H l V ( x ， t ) = L l V ( x ， t ) + ∫ 0 t l ( ϕ x l ( s ) ) d s − δ ∫ 0 t V ( ϕ x l ( s ) ) d s 。根据可加泛函 ϕ 及 M 的定义有 ϕ x l ( s + t ) = ϕ ϕ x l ( s ) l ( t ) ，则易检验得到 H l V ( x ， s + t ) = H l V ( x ， s ) + H l V ( ϕ x l ( s ) ， t ) 。因此 ∫ 0 t + h e − ( λ + δ ) s H l V ( x ， d s ) = ∫ 0 t e − ( λ + δ ) s H l V ( x ， d s ) + ∫ t t + h e − ( λ + δ ) s H l V ( x ， d s ) = ∫ 0 t e − ( λ + δ ) s H l V ( x ， d s ) + e − ( λ + δ ) t ∫ 0 h e − ( λ + δ ) s H l V ( ϕ x l ( t ) ， d s )   . 根据(7)记 ∫ 0 h e − ( λ + δ ) s H l V ( ϕ x l ( t ) ， d s ) ≤ 0 ，则 ∫ 0 t e − ( λ + δ ) s H l V ( x ， d s ) 是非增的，且 H l V ( x ， d s ) 对于任意固定 x ≥ 0 是非负可测的，这表明 0 ≥ L l V ( x ， t ) + ∫ 0 t l ( ϕ x l ( s ) ) d s − δ ∫ 0 t V ( ϕ x l ( s ) ) d s . (8) 另一方面，假设 l * ∈ M 是最优平稳马氏策略 L * 的关联函数。根据推导(7)的方法，同理可得 0 = L l * V ( x ， t ) + ∫ 0 t l * ( ϕ x l * ( s ) ) d s − δ ∫ 0 t V ( ϕ x l * ( s ) ) d s . (9) 我们结合(8)和(9)可以得到： 0 = sup l ∈ M { L l V ( x ， t ) + ∫ 0 t l ( ϕ x l ( s ) ) d s − δ ∫ 0 t V ( ϕ x l ( s ) ) d s } . (10) 令 U x 表示函数 α : ℝ + ↦ [ 0 ， l 0 ] 的集合且满足 ϕ x α ( t ) = x + ∫ 0 t [ c + i ϕ x α ( s ) ] d s 。现在对于任意固定的 x ≥ 0 ，根据(6)有 0 = sup α ∈ U x { L l V ( x ， t ) + ∫ 0 t α ( s ) d s − δ ∫ 0 t V ( ϕ x α ( s ) ) d s } . (11) 其中 L α V ( x ， t ) = V ( ϕ x α ( t ) ) − V ( x ) + λ ∫ 0 t Q V ( ϕ x α ( s ) ) − V ( ϕ x α ( s ) ) d s 。方程(11)是可测的，故称为测度值动态 规划方程(测度值DPE)。