第三章 随机过程 信控学院 通信教研室 林 霏 lfsdu123@126.com 目标要求(1) 目标要求( ) 掌握随机过程、平稳随机过程、 掌握随机过程、平稳随机过程、随机过程各态历经性的基本 随机过程 概念;掌握随机变量的数字特征 随机变量的数字特征; 概念;掌握随机变量的数字特征; 掌握平稳随机过程的自相关函数和功率谱密度的性质 平稳随机过程的自相关函数和功率谱密度的性质、 掌握平稳随机过程的自相关函数和功率谱密度的性质、计算 与分析; 与分析; 掌握三种常见的平稳随机过程 三种常见的平稳随机过程: 掌握三种常见的平稳随机过程 高斯过程 窄带随机过程 分析 ξ c ( t ), ξ s ( t ), a c ( t ), ? c ( t )的统计特性 正弦波加窄带高斯过程; 正弦波加窄带高斯过程; 掌握随机信号通过线性系统所具有的特性 随机信号通过线性系统所具有的特性。 掌握随机信号通过线性系统所具有的特性。 目标要求(2) 目标要求( ) 重点是: 重点是: 随机过程的概念, 随机过程的概念,平稳随机过程及其数字特征 的理解和掌握,维纳-辛钦关系, 的理解和掌握,维纳-辛钦关系,高斯过程的 性质,窄带随机过程分析, 性质,窄带随机过程分析,正弦波加窄带高斯 过程。 过程。 难点是: 难点是: 高斯过程、窄带随机过程、 高斯过程、窄带随机过程、正弦波加窄带高斯 过程的理解、分析和掌握。 过程的理解、分析和掌握。 目录( ) 目录(1) 3.1 随机过程的基本概念 3.1.1 随机过程的分布函数 3.1.2 随机过程的数字特征 3.2 平稳随机过程 3.2.1 定义 3.2.2 各态历经性 3.2.3 平稳过程的自相关函数和功率谱密度 3.2.1平稳过程的功率谱密度 平稳过程的功率谱密度 3.3 高斯随机过程 3.3.1 定义 3.3.2 重要性质 3.3.2 高斯随机变量 目录( ) 目录(2) 3.4 平稳随机过程通过线性系统 3.5 窄带随机过程 3.6 正弦波加窄带高斯噪声 3.7 高斯白噪声和带限白噪声 3.6 小结 3.1 随机过程的基本概念 为什么研究随机过程? 为什么研究随机过程? 在通信系统的研究中,输入信号、干扰、噪 在通信系统的研究中,输入信号、干扰、 声等都不是确定信号,而是随机信号 随机信号。 声等都不是确定信号,而是随机信号。但这 些随机信号又具有一定的统计规律性。 些随机信号又具有一定的统计规律性。 随机过程是随机信号的数学模型, 随机过程是随机信号的数学模型,研究它的 理论就是研究随机信号的数学工具。 理论就是研究随机信号的数学工具。 3.1 随机过程的基本概念 研究什么? 研究什么? 随机过程的各种统计特性 随机过程通过线性系统 随机过程的第一种定义 第一种定义: k=1,2...是一个随 第一种定义:设Ek,k=1,2...是一个随 机试验,每次试验都有一条时间波形, 时间波形 机试验,每次试验都有一条时间波形, 称为样本函数或实现, 样本函数或实现 称为样本函数或实现, 记做xi(t),所 有可能出现结果的总体 {x1(t),x2(t), 为正整数, …,xi(t),…},i为正整数,构成一个 随机过程,记做ξ(t) 随机过程,记做 (t) 。 随机过程就是所有样本函数的集合。 随机过程就是所有样本函数的集合。 随机过程的一个例子 举例:n部接收机的输出噪声电压 随机过程的第二种定义( ) 随机过程的第二种定义(1) 第二种定义: 第二种定义: 设有一随机实验的样本空间为?。对任一 时间参数t ∈ T ? ( ?∞, ∞ ),都有一定义在? 上的随机变量X ( t ) 与之对应,则称 机过程简记为X ( t )。 { X ( t ) , t ∈ T }为一随机过程。一般也可把随 随机过程的第二种定义( ) 随机过程的第二种定义(2) 随机变量的特点: 随机变量的特点:每次试验结果都是一 个事先不可预知的,但为确定的量; 个事先不可预知的,但为确定的量; 随机过程则是随机变量概念的延伸, 随机过程则是随机变量概念的延伸,随 机过程在任意时刻的值是一个随机变量; 机过程在任意时刻的值是一个随机变量; 随机过程可看作是在时间进程中处于不 同时刻的随机变量的集合。 同时刻的随机变量的集合。 例子 设随机相位余弦波X(t)=a cos(ωt+θ), 设随机相位余弦波 , 其中, 、 为常数 随机变量θ在 为常数, 其中,a、ω为常数,随机变量 在[0, 2π]内服从均匀分布; 内服从均匀分布; 内服从均匀分布 显然X(t)是一个随机过程; 显然 是一个随机过程; 是一个随机过程 若固定时刻t 若固定时刻 1,则X(t1)=a cos(ω t1 + θ) 是一个随机变量; 是一个随机变量; 若在[0, 2π]内任选一个相位 1,则有 内任选一个相位θ 若在 内任选一个相位 , X1(t)=a cos(ωt+ θ1),它是随机过程X(t) ,它是随机过程 的一个样本函数; 的一个样本函数; 3.1.1 随机过程的分布函数 表示一个随机过程, 设ξ(t)表示一个随机过程,它的统计性 质可由其分布函数 概率密度描述 分布函数和 描述。 质可由其分布函数和概率密度描述。 一维分布函数与概率密度 的一维分布函数: 随机过程ξ(t)的一维分布函数: 任一时刻t1,随机变量ξ(t1)小于或等于某 一数值x 的概率, 一数值x1的概率,则 F1 ( x1 , t1 ) = P{ξ (t1 ) ≤ x1} X(t)的一维概率密度函数: 的一维概率密度函数: 的一维概率密度函数 如果F1(x1,t1)对x1的偏导数存在,则 对 的偏导数存在, 如果 ? F1 ( x1 , t1 ) = f 1 ( x1 , t1 ) ? x1 二维分布函数与概率密度 的二维分布函数: 随机过程ξ(t)的二维分布函数: 时刻, 任意固定的t1和t2时刻,把ξ(t1)小于等于 x1和ξ(t2)小于等于x2同时成立的概率 F2 (x1, x2;t1, t2 ) = P{ξ(t1) ≤ x1,ξ(t2 ) ≤ x2} X(t)的二维概率密度函数: 的二维概率密度函数: 的二维概率密度函数 ? 2 F2 ( x1 , x2 ; t1 , t2 ) = f 2 ( x1 , x2 ; t1 , t2 ) ?x1?x2 n维分布函数与概率密度 维分布函数与概率密度 ξ(t)的n维分布函数: 维分布函数: Fn ( x1 , x2 ,? , xn ; t1 , t2 ,? , tn ) = P {ξ ( t 1 ) ≤ x 1 , ξ ( t 2 ) ≤ x 2 , ? , ξ ( t n ) ≤ x n } ξ(t)的n维概率密度函数 维概率密度函数: 维概率密度函数 ? Fn ( x1 , x 2 , ? , x n ; t1 , t 2 , ? , t n ) = f n ( x1 , x 2 , ? , x n ; t1 , t 2 , ? , t n ) ? x1 , ? x 2 , ? , ? x n 3.1.2 随机过程的数字特征 的数学期望或者均值: 随机过程ξ (t)的数学期望或者均值: 的数学期望或者均值 ∞ ?∞ E [ξ ( t )] = ∫ xf1 ( x , t ) dx = a ( t ) 表示随机过程的样本函数曲线的摆动中 心。 随机过程的数字特征- 随机过程的数字特征-方差 随机过程的方差: 随机过程的方差: D[ξ (t)] = E{ξ (t) ? E[ξ (t)]}2 = E[ξ 2 (t)] ? a2 (t) = σ (t) 2 表示随机过程在时刻t 表示随机过程在时刻t相对于均值的 偏离程度 随机过程的数字特征- 随机过程的数字特征-自相关函数 自相关函数R( 定义为: 自相关函数R(t1,t2)定义为: ∞ ∞ Rt1,t2) = E[ξ(t1)ξ(t2)] = ∫ ( ?∞ ?∞ ∫ xx2 f2(x1, x2;t1,t2)dxdx2 1 1 其目的是为了衡量在任意两个时刻上获 得的随机变量之间的关联程度。 得的随机变量之间的关联程度。 随机过程的数字特征- 随机过程的数字特征-协方差函数 协方差函数B( 定义为: 协方差函数B(t1,t2)定义为: B(t1 , t2 ) = E{[ξ (t1 ) ? a(t1 )][ξ (t2 ) ? a(t2 )]} =∫ ∞ ?∞ ?∞ ∫ ∞ [ x1 ? a(t1 )][ x2 ? a(t2 )] f 2 ( x1 , x2 ; t1 , t2 )dx1dx2 自相关函数与协方差函数的关系: 自相关函数与协方差函数的关系: B(t1, t2 ) = R(t1, t2 ) ? a(t1)a(t2 ) 随机过程的数字特征- 随机过程的数字特征-互相关函数 互相关函数R( 定义为: 互相关函数R(t1,t2)定义为: Rξ ,η (t1 , t2 ) = E[ξ (t1 )η (t2 )] 用来衡量两个随机过程之间的相关程度。 用来衡量两个随机过程之间的相关程度。 3.2 平稳随机过程 严平稳(狭义平稳) 严平稳(狭义平稳)随机过程的定义 若随机过程ξ ( t ) 对于任意n和t1 , t2 ,? tn以及?有 = f n ( x1 , x2 , ? xn , t1 + ?, t2 + ?,? tn + ? ) f n ( x1 , x2 , ? xn , t1 , t2 ,? tn ) 则称ξ ( t ) 为严平稳随机过程或狭义平稳随机过程 严平稳随机过程的数字特征 一维分布函数与时间t无关; 一维分布函数与时间 无关; 无关 二维分布函数只与时间间隔τ= 有关。 二维分布函数只与时间间隔 =t2-t1有关。 宽平稳(广义平稳) 宽平稳(广义平稳)随机过程 宽平稳(广义平稳) 宽平稳(广义平稳)随机过程 满足以下条件的随机过程即为宽平稳 E ?ξ ( t ) ? = a ? ? R ( t1 , t2 ) = R (τ ) 严平稳与宽平稳的关系 宽平稳随机过程不一定满足以下条件 严平稳随机过程一定是宽平稳随机过程;但宽 严平稳随机过程一定是宽平稳随机过程; 平稳随机过程不一定是严平稳随机过程 对正态(高斯)随机过程而言, 对正态(高斯)随机过程而言,宽平稳和严平 稳等价 若不加特别说明, 若不加特别说明,平稳过程都是指宽平稳随机 过程 = pn ( x1 , x2 ,? xn , t1 + τ , t2 + τ ,? tn + τ ) pn ( x1 , x2 ,? xn , t1 , t2 ,? tn ) 3.2.2 各态历经性 各态历经性(遍历性 :随机过程的任一实现, 各态历经性 遍历性):随机过程的任一实现,经历了 遍历性 随机过程的所有可能状态 随机过程的数字特征,可以由其任一实现 样本函数 样本函数)的数字 随机过程的数字特征,可以由其任一实现(样本函数 的数字 特征来代表 +T 2 ? 1 lim 遍历 ?a = T →∞ ∫ 2 x ( t ) dt T ?T ? ? T 2 1 ? R (τ ) = lim ∫ 2 x ( t ) x ( t + τ )dt ? T→∞ T ?T ? ?a = a ? ? R (τ ) = R (τ ) 时间平均代替统计平均 遍历过程必定是平稳过程,反之不然。 遍历过程必定是平稳过程,反之不然。 3.2.3 平稳过程的自相关函数和功率谱密度 实平稳随机过程的自相关函数 偶函数: 偶函数: R(τ ) = R(?τ ) 有界性: 有界性: R(τ ) ≤ R(0) 周期性: 若 ξ ( t ) = ξ ( t + T ) , 则 R(τ ) = R(τ + T ). 周期性: 统计平均功率: ? 统计平均功率: E ?ξ 2 ( t ) ? = R(0) ? 直流功率: 直流功率: E 2 ?ξ ( t ) ? = R(∞ ) ? ? ∵ R(∞ ) = lim E ?ξ ( t ) ξ ( t + τ ) ? ? ? = E ?ξ ( t ) ? E ?ξ ( t + τ ) ? = E 2 ?ξ ( t ) ? ? ? ? ? ? ? τ →∞ 交流功率: 2 交流功率: σ = R(0) ? R(∞ ) 能量信号的能量谱密度(确知信号) 能量信号的能量谱密度(确知信号) 设一个能量信号s(t)的能量为 ,其傅里叶变 的能量为E, 设一个能量信号 的能量为 换为s(f)(即频谱密度),则: ),则 换为 (即频谱密度), E = ∫ s (t )dt = ∫ S ( f ) df 2 2 ?∞ ?∞ ∞ ∞ |S(f)|2定义为能量谱密度,表示单位频带内 定义为能量谱密度, 的信号能量。 的信号能量。 功率信号的功率谱密度(确知信号) 功率信号的功率谱密度(确知信号) 将信号s(t)截短为sT(t),-T/2 < t < T/2, 截短为 , , 则信号能量为 E=∫ T /2 ?T / 2 s (t )dt = ∫ ST ( f ) df 2 T 2 ?∞ ∞ 功率谱密度定义为 信号功率为 1 2 P( f ) = lim ST ( f ) T →∞ T P= ∫ ∞ ?∞ P ( f ) df 3.2.4 平稳过程的功率谱密度 随机过程的一个样本函数为确知信号, 随机过程的一个样本函数为确知信号,平稳随 机过程的功率谱密度为所有样本功率谱密度的 数学期望,平稳随机过程的功率谱密度定义为: 数学期望,平稳随机过程的功率谱密度定义为: ? F (ω ) 2 ? E? T ? ? ? Pξ (ω ) = E ? Px (ω ) ? = lim ? ? T→∞ T ■ Pξ ( ω ) ≥ 0 注:xT ( t ) ? FT ( ω ) 问题:很难直接计算! 问题:很难直接计算! 维纳-辛钦定理( ) 维纳-辛钦定理(1) 平稳过程的功率谱密度与其自相关函数是 一对傅立叶变换关系: 一对傅立叶变换关系: ? P ( ω ) = ∞ R ( τ )e ? j ω ι d τ ∫ ?∞ ? ξ ? ∞ 1 R (τ ) = P ξ ( ω )e j ω ι d ω ? 2π ∫ ?∞ ? ? P ( f ) = ∞ R (τ )e ? j 2 π f ι d τ ∫ ?∞ ? ξ ? ∞ ? R (τ ) = ∫ Pξ ( f )e j 2 π f ι d ω ? ?∞ 维纳-辛钦定理( ) 维纳-辛钦定理(2) 结论: 结论:平稳过程的总功率为 ■ 1 R ( 0) = 2π ∫ ∞ ?∞ Pξ ( ω ) d ω = ∫ Pξ ( f ) df ?∞ ∞ 意义: 指出用自相关函数表示功率谱密度的方法; 指出用自相关函数表示功率谱密度的方法; 从频域角度给出随机过程ξ(t)平均功率的 平均功率的 计算法。 计算法。 例子( ) 例子(1) ■ 例.ξ ( t ) = sin ( ω 0 t + θ ) , ω 0为常数,θ ? [ 0, 2π ] 上均匀分 布的 随 机 变 量 . 求 其 数 字 特 征 。 ■ a ( t ) = E ? sin ( ω 0 t + θ ) ? = E ?sin ω 0 t cos θ + cos ω 0 t sin θ ? ? ? ? ? ■ = sin ω 0 tE [ cos θ ] + cos ω 0 tE [ sin θ ] 2π 2π 1 1 dθ + cos ω 0 t ∫ sin θ ? dθ = 0 = sin ω 0 t ∫ cos θ ? 0 0 2π 2π R ( t1 , t 2 ) = E ?sin ( ω 0 t1 + θ ) sin ( ω 0 t 2 + θ ) ? ? ? = E ? cos ω 0 ( t 2 ? t1 ) ? cos ?ω 0 ( t1 + t 2 ) + 2θ ? ? ? ? 1 1 = cos ω 0 ( t 2 ? t1 ) ? 0 = cos ω0τ 2 2 ∴ ξ ( t ) 是广义平 稳随机过 程 { } 2? ? 例子( ) 例子(2) 上例ξ(t)是否具有各态历经性? 是否具有各态历经性? 上例 是否具有各态历经性 验证时间平均值等于统计平均值 例子( ) 例子(3) ■ 求 例( 的 率 密 。 上 ξ t) 功 谱 度 ■ Pξ ( ω ) = ∫ R(τ )e ? jωι dτ ?∞ ∞ 1 ∞ = ∫ cos ω 0τ e ? jωι dτ 2 ?∞ 1 ∞ ? j (ω ? ω0 )ι = ∫ e + e ? j (ω + ω0 )ι 4 ?∞ { }dτ = π 2 [δ (ω ? ω 0 ) + δ (ω + ω 0 )] 例子( ) 例子(3) 求上例中的平均功率? 求上例中的平均功率? 1 A S = R(0) = ∫ P (ω) dω = ?∞ ξ 2π 2 ∞ 2 3.3.3 高斯随机变量 定义: 定义: 一维高斯过程的概率密度: 一维高斯过程的概率密度: 式中, 式中,a = E[X(t)] 为均值 ? ( x ? a )2 ? 1 exp ? ? ? 2σ 2 ? 2π σ ? f ( x) = σ2 = E[X(t) - a]2 为方差 σ 为标准偏差 ∵高斯过程是平稳过程,故 高斯过程是平稳过程, 其概率密度f (x, t1)与t1无关, 其概率密度 与 无关, 即, f (x, t1) = f (x) f (x)的曲线: 的曲线: 的曲线 一维正态(高斯) 一维正态(高斯)分布的性质 一维正态(高斯)分布的性质 (1) (2) (3) ∫ a ?∞ p ( x ) dx = ∫ p ( x ) dx = 1/ 2 a ∞ σ ? f ( x ) 宽窄 1 在点a处取极大值 ; 2πσ a ? f ( x ) 左右平移 标准化正态分布 若a = 0,σ = 1 ,则 ? x2 ? 1 p ( x) = exp ? ? ?, 2π ? 2? 称为标准化正态分布函数 正态分布函数(概率分布函数) 正态分布函数(概率分布函数) F ( x ) = P (ξ ≤ x ) =∫ x ?∞ ? (z ?a)2 ? exp? ? dz 2 ? 2πσ ? 2σ ? 1 误差函数 误差函数定义为: 误差函数定义为: erf ( x ) = 2 π ∫ x 0 e ? t2 dt 自变量的递增函数; 自变量的递增函数; erf(0)=0, erf(∞)=0, erf(-x)=-erf(x). , , 互补误差函数 互补误差函数定义为: 互补误差函数定义为: erfc( x ) = 1 ? erf ( x ) = 2 ∫ π ∞ x e dt ? t2 自变量的递减函数; 自变量的递减函数; erfc(0)=1, erfc(∞)=0, erfc(-x)=2-erfc(x); , , 较大时( ),互补误差函数 当x较大时(实际应用只要 较大时 实际应用只要x>2),互补误差函数 ), 近似为: 近似为: erfc ( x ) ≈ 1 x π e ? x2 Q函数 函数 Q函数定义为: 函数定义为: 函数定义为 Q( x ) = ? t2 ∫ exp ? ? 2 2π x ? 1 ∞ ? ? dt ? Q(-x)=1-Q(x), x≥0; Q(0)=1/2, Q(∞)=0。 , 。 四种函数之间的关系( ) 四种函数之间的关系(1) 概率积分函数与Q函数之间的关系: 概率积分函数与 函数之间的关系: 函数之间的关系 ? ( z ?a) 1 F( x) = ∫ exp?? 2 ?∞ 2πσ ? 2σ ? ? x?a? =1?Q? ? ? σ ? x 2 x?a ? σ 1 ? u2 ? σ ?dz =dz ? ∫?∞ exp?? 2 ?du ? du=σ 2π ? ? z?a u= 四种函数之间的关系( ) 四种函数之间的关系(2) 概率积分函数与误差函数之间的关系: 概率积分函数与误差函数之间的关系: F (x) = t= ∫ x ?∞ ? ( z ? a )2 ? 1 exp ? ? ? dz 2 2σ 2π σ ? ? ? ? 1 2 = ? dz = 2σ dt 2 π z?a 2σ ∫ ( x ? a )/ 2σ ?∞ e ?t2 dt 1 1 x?a = + e rf ( ) 2 2 2σ 四种函数之间的关系( ) 四种函数之间的关系(3) 概率积分函数与互补误差函数之间的关系: 概率积分函数与互补误差函数之间的关系: F (x) = ∫ x ?∞ ? ( z ? a )2 ? 1 exp ? ? ? dz 2 2σ 2π σ ? ? ? ? 1 x?a = 1 ? erfc ( ) 2 2σ 四种函数之间的关系( ) 四种函数之间的关系(4) 互补误差函数与Q函数之间的关系: 互补误差函数与 函数之间的关系: 函数之间的关系 erfc ( x ) = 2Q ( 2x ) 1 x Q ( x ) = erfc ( ) 2 2 高斯(正态) 高斯(正态)随机过程的定义 pn ( x1 , x2 ,? xn , t1 , t2 ,? tn ) = 1 定义: 维概率密度服从下式, 定义:其n维概率密度服从下式,称为高斯随机过程 维概率密度服从下式 ? x j ? a j ? ? xk ? a k ∑∑ B jk ? σ ? ? σ ? ? j =1 k =1 j k ? ?? n n 2 ? ?1 exp ? n/2 1/ 2 ( 2π ) σ 1σ 2 ?σ n B ?2 B ? ?? ?? ?? ? 其中,ak = E ? X ( tk ) ? ,σ k2 = E ? X ( tk ) ? ak ? , ? ? ? ? 1 B = b21 b12 ? b1n 1 ? b2 n ? 1 ,为归一化协方差矩阵的行列式 ? ? ? bn1 bn 2 ? b jk = E ? X ( t j ) ? a j ? ? X ( tk ) ? a k ? ? ? ?? { σ jσ k },为归一化协方差 高斯(正态) 高斯(正态)随机过程的性质 性质 (1)对正态(高斯)随机过程而言,宽平 )对正态(高斯)随机过程而言, 严平稳等价 稳和严平稳等价 (2)对于正态(高斯)随机过程,不相关 )对于正态(高斯)随机过程, 独立是等价的 与独立是等价的 (3)任意有限个高斯随机过程的任意线性 ) 和仍是高斯随机过程 3.4平稳随机过程通过线性系统 平稳随机过程通过线性系统 线性系统的特性 有一对输入端和一对输出端 无源 无记忆 非时变 有因果关系:先有输入、 有因果关系:先有输入、后有输出 有线性关系: 有线性关系:满足叠加原理 若当输入为 若当输入为xi(t)时,输出为 i(t),则当输入为 时 输出为y ,则当输入为 x(t ) = a1 x1 (t ) + a 2 x 2 (t ) 时,输出为: 输出为: y(t ) = a1 y1 (t ) + a2 y2 (t ) 式中, 和 均为任意常数 均为任意常数。