system: [SYSTEM]

user: 3. 条件分布下的数字特征 3.1. 条件期望 条件期望在概率论及现实生活中用途广泛，近年来随着研究的深入，条件期望在很多领域中都得到了应用，并取得了很好的效果。下文详细介绍了有关条件期望的定义、性质和重期望公式等，并基于上一章的内容，给出了重期望公式的全概率形式。 定义3.1.1：设 ( X ， Y ) 是二维连续型随机变量，对于一切使得 f Y ( y ) > 0 的y，若 E ( | X | | Y = y ) = ∑ i | x i | P ( X = x i | Y = y ) < ∞ ，则称 E ( X | Y = y ) = ∑ i x i P ( X = x i | Y = y ) (3.1.1) 为给定 Y = y 条件下X的条件数学期望。 定义3.1.2：设 ( X ， Y ) 是二维连续型随机变量，对于一切使得 f Y ( y ) > 0 的y，若 E ( | X | | Y = y ) = ∫ − ∞ ∞ | x | f X | Y ( x | y ) d x < ∞ ，则称 E ( X | Y = y ) = ∫ − ∞ ∞ x f X | Y ( x | y ) d x (3.1.2) 为给定 Y = y 条件下X的条件数学期望。 我们特别要强调的是： E ( X | Y = y ) 是y的函数，对y的不同取值， E ( X | Y = y ) 的取值也在发生变化，而 E ( X | Y ) 是随机变量Y的函数，可以将 E ( X | Y = y ) 看成是 Y = y 时 E ( X | Y ) 的一个取值。 性质3.1.1：设X，Y是随机变量， g ( x ) ， h ( y ) 是实函数，且以下涉及的数学期望均存在，则 E ( ( a 0 + ∑ i = 1 n a i X i ) | Y ) = a 0 + ∑ i = 1 n a i E ( X i | Y ) ， a i ∈ R ， i = 1 ， ⋯ ， n (3.1.3) E ( h ( Y ) | Y ) = h ( Y ) (3.1.4) E ( g ( X ) h ( Y ) | Y ) = h ( Y ) E ( g ( X ) | Y ) (3.1.5) 当X，Y独立时， E ( g ( X ) | Y ) = E g ( X ) (3.1.6) 定理3.1.1 [ 1 ] (重期望公式)：设 ( X ， Y ) 是二维随机变量，且 E ( X ) 存在，则 E ( X ) = E ( E ( X | Y ) ) (3.1.7) 重期望公式的用途在于当计算X的均值较困难时，借助一个与X有关的量Y，用Y的不同取值把X的取值划分成若干个小区域，先在小区域上求X的平均，再以此类平均求加权平均，即可得X的均值EX。 上一章给出了给定 Y ≤ y 条件下X的条件分布函数和密度函数，我们很容易联想到Y取值于某一区间条件下X的条件分布函数和密度函数，考虑到重期望公式在该条件下的表示，很容易即得： 定理3.1.2 (重期望公式的全概率形式)：设 ( X ， Y ) 是随机变量，且 E ( X ) 存在，若存在 y 1 ， ⋯ ， y n ，且 − ∞ < y 1 ≤ y 2 ≤ ⋯ ≤ y n < ∞ ，则 E ( X ) = E ( X | Y ≤ y 1 ) ⋅ F Y ( y 1 ) + E ( X | y 1 < Y ≤ y 2 ) ⋅ ( F Y ( y 2 ) − F Y ( y 1 ) ) + ⋯     + E ( X | y n − 1 < Y ≤ y n ) ⋅ ( F Y ( y n ) − F Y ( y n − 1 ) ) + E ( X | Y > y n ) ⋅ ( 1 − F Y ( y n ) ) (3.1.8) 其中，最简单的形式为 E X = E ( X | Y ≤ y ) ⋅ F Y ( y ) + E ( X | Y > y ) ⋅ ( 1 − F Y ( y ) ) (3.1.9) 证明：这里仅给出(3.1.9)式的证明，(3.1.8)同理可证。 当 ( X ， Y ) 为二维连续随机变量时， E ( X | Y ≤ y ) ⋅ F Y ( y ) = ∫ − ∞ ∞ x f X | Y ≤ y ( x | Y ≤ y ) d x ⋅ F Y ( y ) = ∫ − ∞ ∞ x ∫ − ∞ y f ( x ， v ) d v F Y ( y ) d x ⋅ F Y ( y ) = ∫ − ∞ ∞ ∫ − ∞ y f ( x ， v ) d v d x E ( X | Y > y ) ⋅ ( 1 − F Y ( y ) ) = ∫ − ∞ ∞ x f X | Y > y ( x | Y > y ) d x ⋅ ( 1 − F Y ( y ) ) = ∫ − ∞ ∞ x ∫ y ∞ f ( x ， v ) d v 1 − F Y ( y ) d x ⋅ ( 1 − F Y ( y ) ) = ∫ − ∞ ∞ ∫ y ∞ f ( x ， v ) d v d x 将结果代入(3.1.9)式可得 E ( X | Y ≤ y ) ⋅ F Y ( y ) + E ( X | Y > y ) ⋅ ( 1 − F Y ( y ) ) = ∫ − ∞ ∞ ∫ − ∞ y f ( x ， v ) d v d x + ∫ − ∞ ∞ ∫ y ∞ f ( x ， v ) d v d x = ∫ − ∞ ∞ ∫ − ∞ ∞ x f ( x ， v ) d v d x = E X 离散场合证明类似，故结论得证。 注：定理3.1.2是重期望公式的另一种表达形式，实际与重期望公式是一致的。当随机变量Y在不同区间取值时，若X有不同的分布形式，此时借助该定理去求解会更容易，若X有相同的分布形式，该定理只是通过分区间求期望再累加的方式进行求解，与单点求期望再积分或累加是一致的。 推论3.1.1 设 ( X ， Y ) 是随机变量， g ( x ) 为实函数，若 E g ( X ) 存在，则 E ( g ( X ) ) = E ( g ( X ) | Y ≤ y 1 ) ⋅ F Y ( y 1 ) + E ( g ( X ) | y 1 < Y ≤ y 2 ) ⋅ ( F Y ( y 2 ) − F Y ( y 1 ) )     + ⋯ + E ( g ( X ) | y n − 1 < Y ≤ y n ) ⋅ ( F Y ( y n ) − F Y ( y n − 1 ) )     + E ( g ( X ) | Y > y n ) ⋅ ( 1 − F Y ( y n ) ) (3.1.10) 特别地， E ( X k ) = E ( X k | Y ≤ y 1 ) ⋅ F Y ( y 1 ) + E ( X k | y 1 < Y ≤ y 2 ) ⋅ ( F Y ( y 2 ) − F Y ( y 1 ) )     + ⋯ + E ( X k | y n − 1 < Y ≤ y n ) ⋅ ( F Y ( y n ) − F Y ( y n − 1 ) )     + E ( X k | Y > y n ) ⋅ ( 1 − F Y ( y n ) ) (3.1.11) 此外，根据中心矩与原点矩的关系，同理可求得X的k阶中心矩。 性质3.1.2 设X，Y，Z是随机变量， g ( x ) 是实函数，且以下涉及的数学期望均存在，则 E [ E ( g ( X ) | Y ) ] = E g ( X ) (3.1.12) E ( X Y ) = E ( Y E ( X | Y ) ) (3.1.13) C o v ( Y ， E ( X | Y ) ) = C o v ( X ， Y ) (3.1.14) E ( X Y Z ) = E ( X E ( Y E ( Z | ( X ， Y ) ) | X ) ) (3.1.15) 证明：在此仅给出上述四条性质在连续场合的证明，离散场合的证明可类似得出。设二维连续随机变量 ( X ， Y ) 的联合密度函数为 f ( x ， y ) ， Y = y 条件下X的条件密度函数为 f X | Y ( x | y ) 。 1) E [ E ( g ( X ) | Y ) ] = ∫ − ∞ ∞ ( ∫ − ∞ ∞ g ( x ) f X | Y ( x | y ) d x ) f Y ( y ) d y = ∫ − ∞ ∞ ( ∫ − ∞ ∞ g ( x ) f ( x ， y ) f Y ( y ) d x ) f Y ( y ) d y = ∫ − ∞ ∞ ∫ − ∞ ∞ g ( x ) f ( x ， y ) d x d y = E g (X) 2) E ( X Y ) = ∫ − ∞ ∞ ∫ − ∞ ∞ x y f ( x ， y ) d x d y = ∫ − ∞ ∞ ∫ − ∞ ∞ x y f X | Y ( x | y ) f Y ( y ) d x d y = ∫ − ∞ ∞ y ( ∫ − ∞ ∞ x f X | Y ( x | y ) d x ) f Y ( y ) d y = ∫ − ∞ ∞ y E ( X | Y = y ) f Y ( y ) d y = E ( Y E ( X | Y ) ) 3) C o v ( Y ， E ( X | Y ) ) = E ( Y E ( X | Y ) ) − E ( Y ) E ( E ( X | Y ) ) = E ( X Y ) − E ( Y ) E ( X ) = C o v ( X ， Y ) 4) 假设给定 X = x 时， ( Y ， Z ) 的条件密度函数为 f ( Y ， Z ) | X ( ( y ， z ) | x ) ，给定 X = x 和 Y = y 时，Z的条件密度函数为 f Z | ( X ， Y ) ( z | ( x ， y ) ) ，且 f ( Y ， Z ) | X ( ( y ， z ) | x ) = f Z | ( X ， Y ) ( z | ( x ， y ) ) f Y | X ( y | x ) 成立。 由(2)可得 E ( X Y Z ) = E ( X E ( Y Z | X ) ) 当 X = x 时， E ( Y Z | X = x ) = ∫ − ∞ ∞ ∫ − ∞ ∞ y z f ( Y ， Z ) | X ( ( y ， z ) | x ) d y d z = ∫ − ∞ ∞ ∫ − ∞ ∞ y z f Z | ( X ， Y ) ( z | ( x ， y ) ) f Y | X ( y | x ) d y d z = ∫ − ∞ ∞ y ( ∫ − ∞ ∞ z f Z | ( X ， Y ) ( z | ( x ， y ) ) d z ) f Y | X ( y | x ) d y = ∫ − ∞ ∞ y E ( Z | ( X = x ， Y = y ) ) f Y | X ( y | x ) d y = E ( Y E ( Z | ( X = x ， Y ) ) | X = x ) 故 E ( Y Z | X ) = E ( Y E ( Z | ( X ， Y ) ) | X ) 从而可得 E ( X Y Z ) = E ( X E ( Y E ( Z | ( X ， Y ) ) | X ) ) 证毕。 定理3.1.3 [ 2 ] ：设 ( X ， Y ) 是随机变量，且 E X 2 < ∞ ，对于任何实函数 g ( x ) ，都有 E ( X − E ( X | Y ) ) 2 ≤ E ( X − g ( Y ) ) 2 (3.1.16) 定理3.1.3给出了均方意义下，已知随机变量Y的条件下，X的最优预测为 E ( X | Y ) ，该定理可以解决一系列的预测问题，它在当前的经济发展中发挥了不可或缺的作用。 3.2. 条件方差 条件期望 E ( X | Y ) 是给定Y条件下随机变量X的分布的一种位置特征数，但该位置特征数无法反映出给定Y条件下X取值的“波动”程度，以下定义了度量此种“波动”程度大小的条件方差，并对其性质给予了证明。 定义3.2.1：设 ( X ， Y ) 是二维随机变量，若 E X 2 < ∞ ，则称 D ( X | Y ) = E [ ( X − E ( X | Y ) ) 2 | Y ] (3.2.1) 为Y已知时X的条件数学方差，简称为条件方差。 性质3.2.1：条件方差具有如下性质： D ( X | Y ) = E ( X 2 | Y ) − ( E ( X | Y ) ) 2 (3.2.2) D ( c | Y ) = 0 ， ∀ c ∈ R (3.2.3) D ( ( a X + b ) | Y ) = a 2 D ( X | Y ) ， ∀ a ， b ∈ R (3.2.4) D ( X ) = E D ( X | Y ) + D E ( X | Y ) (3.2.5) 证明：假设以下涉及的期望及方差均存在。 1) D ( X | Y ) = E [ ( X − E ( X | Y ) ) 2 | Y ] = E ( X 2 | Y ) + ( E ( X | Y ) ) 2 − 2 E ( X E ( X | Y ) | Y ) = E ( X 2 | Y ) + ( E ( X | Y ) ) 2 − 2 ( E ( X | Y ) ) 2 = E ( X 2 | Y ) − ( E ( X | Y ) ) 2 2) D ( c | Y ) = E [ ( c − E ( c | Y ) ) 2 | Y ] = E [ ( c − c ) 2 | Y ] = 0 3) D ( ( a X + b ) | Y ) = E [ ( a X + b − E ( ( a X + b ) | Y ) ) 2 | Y ] = E [ ( a X − a E ( X | Y ) ) 2 | Y ] = a 2 E [ ( X − E ( X | Y ) ) 2 | Y ] = a 2 D ( X | Y ) 4) D ( X ) = E ( X − E X ) 2 = E ( X − E ( X | Y ) + E ( X | Y ) − E X ) 2 = E ( X − E ( X | Y ) ) 2 + E ( E ( X | Y ) − E X ) 2 + 2 E [ ( X − E ( X | Y ) ) ( E ( X | Y ) − E X ) ] = E X 2 + ( E ( X | Y ) ) 2 − 2 E ( X E ( X | Y ) ) + E ( E ( X | Y ) − E ( E ( X | Y ) ) ) 2       + 2 E [ X E ( X | Y ) − X E X − ( E ( X | Y ) ) 2 + E X E ( X | Y ) ] = E X 2 + ( E ( X | Y ) ) 2 − 2 E ( X E ( X | Y ) ) + D E ( X | Y )       + 2 E ( X E ( X | Y ) ) − 2 ( E X ) 2 − 2 ( E ( X | Y ) ) 2 + 2 ( E X ) 2 = E X 2 − ( E ( X | Y ) ) 2 + D E ( X | Y ) = E ( E ( X 2 | Y ) ) − E ( E ( X | Y ) ) 2 + D E ( X | Y ) = E D ( X | Y ) + D E ( X | Y ) 证毕。