system: [SYSTEM]

user: 4. 动态规划原理(DPP)及动态规划方程(DPE) 定义 U x 是可测函数 α ( ⋅ ) : R + ↦ [ 0 ， l 0 ] 的集合， α ( ⋅ ) 满足下列条件： x ≥ 0 ，方程 φ x α ( t ) = x + ∫ 0 t g ( φ x α ( s ) ) d s − α ( t ) 有唯一解 φ x α ； t ≥ 0 ， α ( t ) ≤ x + ∫ 0 t g ( φ x α ( x ) ) d s 。 下面我们给出马氏策略及马氏策略集合的定义。 定义4.1：如果受控后的余额过程 X L 是强马氏过程，称 L ∈ Π x 是马氏控制；如果 X L 是时齐的强马氏过程，则称L为平稳的马氏控制。 定义 M 为可测函数 L ( ⋅ ) : R + ↦ [ 0 ， l 0 ] 的集合，且 l ( ⋅ ) 满足 1) x ≥ 0 ， l ( x ， ⋅ ) ∈ U x 。 2) 对任意 x ≥ 0 ， s ， t ≥ 0 ，有 l ( x ， s ) + l ( φ x l ( s ) ， t ) = l ( x ， s + t ) 3) 当 t ∈ [ τ n ， τ n + 1 ] 时， L t = L τ n + l ( X τ n L ， t − τ n ) ， 4) 方程 φ x l ( t ) = x + ∫ 0 t g ( φ x l ( s ) ) d s − l ( x ， t ) (4.1) 有唯一解 φ l ； 通过上述定义及 [ 10 ] 定理2.3可得集合 M 中的函数是马氏策略函数。 引理4.2：假设存在最优平稳马氏策略 L * 及相应的函数 l * ∈ M 。值函数V满足 V ( x ) = sup l ∈ M E x [ ∫ 0 t ∧ τ 1 e − δ t l ( x ， d s ) + e − δ ( t ∧ τ 1 ) V ( X t ∧ τ 1 L ) ] ， x ≥ 0 ， t ≥ 0 (4.2) 其中 X t ∧ τ 1 L = φ x l ( t ∧ τ 1 l ) − Y 1 I { τ 1 ≤ t } 。 证明：当最优策略 L * 是平稳马氏策略时，可得 V ( x ) = E x [ ∫ 0 t ∧ τ 1 e − δ s l * ( x ， d s ) ] + E x [ ∫ t ∧ τ 1 τ L * e − δ s d L s * ] ， t ≥ 0 ， x ≥ 0 (4.3) 由于 L * 是马氏策略，则等式右边第二部分可以写成 E x [ ∫ t ∧ τ 1 τ L * e − δ s d L s * ] = E [ e − δ ( t ∧ τ 1 ) V ( X t ∧ τ 1 L * ) ] . 则(4.3)可写为 V ( x ) = E x [ ∫ 0 t ∧ τ 1 e − δ s l * ( x ， d s ) + e − δ ( t ∧ τ 1 ) V ( X t ∧ τ 1 L * ) ] ， x ≥ 0 ， t ≥ 0 (4.4) 函数 l ∈ M 。下面我们构造一个新的策略L：将 分红策略在第一次索赔到达前为一般策略L，在之后的索赔到达间隔之间为最优策略 L * 。 在新的策略之下，值函数满足 (4.6) 由(4.4)和(4.6)，可得(4.2)。 定理4.3：假设存在最优平稳马氏策略 L * ∈ Π x 及函数 l * ∈ M ，则值函数V(x)满足 0 = sup l ∈ M { l ( x ， t ) − δ ∫ 0 t V ( φ x l ( s ) ) d s + A l V ( x ， t ) } ， (4.7) 其中 A l V ( x ， t ) = V ( φ ( t ) ) − V ( x ) − λ ∫ 0 t V ( φ x l ( s ) ) d s + λ ∫ 0 t ∫ 0 φ x l ( s ) V ( φ x l ( s ) − y ) d Q ( y ) d s . 根据引理3.1， 有 V ( x ) ≥ E x [ ∫ 0 t ∧ τ 1 e − δ s l ( x ， d s ) + e − δ ( t ∧ τ 1 ) V ( X t ∧ τ 1 L ) ] = F ( x ， t ) ∫ 0 t ∧ τ 1 e − δ s l ( x ， d s ) + ∫ 0 t ∫ 0 s e − δ u l ( x ， d u )   d F ( x ， s ) + F ( x ， t ) e − δ t V ( φ x l ( t ) ) + ∫ 0 t e − δ s ∫ 0 φ x l ( s ) V ( φ x l ( s ) − y )   d Q ( y ) d F ( x ， s ) . 运用分部积分，得 e − λ s ∫ 0 t e − δ s l ( x ， d s ) = ∫ 0 t e − δ s e − λ s l ( x ， d s ) + ∫ 0 t ∫ 0 s e − δ u l ( x ， d u ) d e − λ s 和 e − λ t e − δ t V ( φ x l ( t ) ) = V ( x ) + ∫ 0 t e − δ s V ( φ x l ( s ) ) d e − λ s + ∫ 0 t e − λ s e − δ s d V ( φ x l ( s ) ) − δ ∫ 0 t e − δ s e − λ s V ( φ x l ( s ) ) d s . 则 0 ≥ ∫ 0 t e − δ s e − λ s [ − ( λ + δ ) V ( φ x l ( s ) ) + λ ∫ 0 φ x l ( s ) V ( φ x l ( s ) − y ) d Q ( y ) ] d s + ∫ 0 t e − δ s e − λ s l ( x ， d s ) + ∫ 0 t e − δ s e − λ s d V ( φ x l ( s ) ) (4.8) 令 H l V ( x ， t ) = ∫ 0 t [ − ( λ + δ ) V ( φ x l ( s ) ) + λ ∫ 0 φ x l ( s ) V ( φ x l ( s ) − y ) d Q ( y ) ] d s + l ( x ， t ) + V ( φ x l ( t ) ) − V (x) 方程(4.8)可写为 0 ≥ ∫ 0 t e − δ s e − λ s H l V ( x ， d s ) = ∫ 0 u e − δ s e − λ s H l V ( x ， d s ) + ∫ u t e − δ s e − λ s H l V ( x ， d s ) 。 l ∈ M ，根据 [ 10 ] 定理2.3知： φ x l ( s + t ) = φ φ x l ( s ) l ( t ) ，则有 H l V ( x ， 0 ) = 0 ， H l V ( x ， s + t ) = H l V ( x ， s ) + H l V ( φ x l ( s ) ， t ) 。 因此 ∫ u t e − δ s e − λ s H l V ( x ， d s ) = ∫ 0 t − u e − δ ( u + s ) e − λ ( u + s ) H l V ( φ x l ( u ) ， d s ) ≤ 0 。 由上可得 ∫ 0 t e − δ s e − λ s H l V ( x ， d s ) 关于t是非增的。对于任意 x ≥ 0 ，可得 0 ≥ l ( x ， t ) − δ ∫ 0 t V ( φ x l ( s ) ) d s + A l V ( x ， t ) ， (4.9) 其中 A l V ( x ， t ) = V ( φ ( t ) ) − V ( x ) − λ ∫ 0 t V ( φ x l ( s ) ) d s + λ ∫ 0 t ∫ 0 φ x l ( s ) V ( φ x l ( s ) − y ) d Q ( y ) d s . 另一方面，假设存在最优平稳马氏策略 及相应的函数 l * ∈ M 。运用与(4.9)相同的推导方法，(4.3)可写为 0 = l * ( x ， t ) − δ ∫ 0 t V ( φ x l * ( s ) ) d s + A l V ( x ， t ) (4.10) 由(4.9)和(4.10)，可得 0 = sup l ∈ M { l ( x ， t ) − δ ∫ 0 t V ( φ x l ( s ) ) d s + A l V ( x ， t ) } 。 对固定的 ，上述等式在 l ∈ M 时取得最大值等价于 l ( x ， ⋅ ) ∈ U x 时取最大值。我们可改写(4.7)，如下式： (4.11) 其中 A l V ( x ， t ) = V ( φ ( t ) ) − V ( x ) − λ ∫ 0 t V ( φ x l ( s ) ) d s + λ ∫ 0 t ∫ 0 φ x l ( s ) V ( φ x l ( s ) − y ) d Q ( y ) d s . 方程(4.11)是测度值方程，因此我们可以称之为测度值动态规划方程(测度值DPE)。