粒子滤波器

title: 滤波问题.
title: 目标.
content: 粒子滤波器的目标是通过观测值估计状态变量的后验概率。粒子滤波器是针对隐马尔可夫模型设计的,系统中既包含隐藏的变量,也包含可观测的变量。可观测变量(观测过程)与隐藏变量(状态过程)通过某种已知的函数关系相关联。类似地,描述状态变量演化的动态系统也是概率学上已知的。  一个通用粒子滤波器通过观察测量过程估计隐藏状态的后验分布。考察下图所示的状态空间:  滤波问题是要通过给定的观测过程 formula_2 在任意时刻 "k" 的值,序列地估计隐藏状态 formula_3 的值。  所有的对 formula_3 的贝叶斯估计服从后验分布 "p"("x" | "y","y",...,"y") 。粒子滤波器方法使用经验测量和通用粒子算法,提供了这些条件概率的近似值。与之对比,马尔可夫链蒙特卡洛(MCMC)或重要性采样方式会对整个后验概率 "p"("x","x",...,"x" | "y","y",...,"y") 进行建模。
title: 信号-观测模型.
content: 粒子滤波器能够从一系列含有噪声或不完整的观测值中,估计出动态系统的内部状态。在动态系统的分析中,需要两个模型,一个用来描述状态随时间的变化(系统模型),另一个用来描述每个状态下观测到的噪声(观测模型),将这两个模型都用几率来表示。  在许多情况下,每得到一个新的观测值时,都必须对系统做出一次估计,利用递回滤波器,能够有效地达到这样的目的。递回滤波器会对得到的资料做连续处理,而非分批处理,因此不需要将完整的资料储存起来,也不需要在得到新的观测值时,将现有的资料重新做处理。递回滤波器包含两个步骤:  预测:利用系统模型,由前一个状态的资讯预测下一个状态的几率密度函数。  更新:利用最新的观测值,修改预测出的几率密度函数。  借由贝叶斯推论(Baysian inference),我们可以描述出状态空间的几率,并在得到新的观测值时,对系统做出更新,因而达成上述目的。
title: 非线性贝叶斯追踪.
content: 在动态系统中,我们常常需要对物体做追踪。假设有一动态系统,已知其状态序列formula_5定义为  formula_6  其中formula_7是状态转移函数,可以是非线性的函数,formula_8是一个独立且相同分布(i.i.d.)的过程噪声序列,formula_9和formula_10分别代表状态和过程噪声向量的维度,formula_11为自然数的集合。追踪的目标是要递回地从观测值formula_12估计出formula_13,而观测值formula_12定义为  formula_15  其中formula_16是观测函数,可以是非线性的函数,formula_17是一个独立且相同分布(i.i.d.)的观测噪声序列,formula_18和formula_19分别代表观测值和观测噪声向量的维度。  从贝叶斯理论的观点来看,追踪问题是要根据到时间formula_20为止的已知资讯formula_21,递回地计算出时间formula_20的状态formula_13的可信度,这个可信度用几率密度函数formula_24来表示。假设初始几率密度函数formula_25(称为先验几率)为已知,则利用「预测」和「更新」两个步骤就能递回地计算出几率密度函数formula_24。  在此假设在时间formula_27的几率密度函数formula_28为已知。
title: 预测.
content: 利用查普曼-科尔莫戈罗夫等式(Chapman–Kolmogorov equation),可以由状态转移函数与时间formula_27的几率密度函数formula_28,计算出时间formula_20的先验几率formula_32  formula_33  其中,由于状态转移模型被假设为一阶马可夫过程,时间formula_27的状态只由时间formula_20决定,因此formula_36。几率模型formula_37由状态转移函数formula_6和formula_39的统计值得到。
title: 更新.
content: 在时间formula_20,我们得到观测值formula_12,因此可以利用贝氏定理,由先验几率formula_32得到后验几率formula_24,也就是考虑观测值后得到的几率。  formula_44  其中的归一化常数为  formula_45  其中的似然函数formula_46由观测函数formula_15和formula_48的统计值得到。  上述「预测」与「更新」的递回关系,是贝叶斯最佳解的基本概念,然而公式中运用到的积分,对于一般非线性、非高斯的系统,难以得到解析解,因此需要利用蒙地卡罗方法来近似贝叶斯最佳解。
title: 序列重要性重采样(Sequential Importance Resampling, SIR).
title: 序列重要性采样(Sequential Importance Sampling, SIS).
content: SIR是由SIS加上重采样(resampling)改良而来,在SIS中,我们将后验几率formula_24用formula_11个随机采样的样本(称为粒子)与各自的权重表示为  formula_51  其中的权重是根据重要性采样的规则产生,且必须符合  formula_52  SIS是将重要性采样递回执行的一种方法,根据重要性采样的理论,一个函数formula_53的期望值可以用加权平均来近似  formula_54  在每一次递回过程中,我们希望由前一次采样的权重,计算出下一次采样的权重。假设采样的样本分布可以表示为  formula_55 formula_56  其中formula_57称为重要性密度(importance density)。若样本formula_58是由重要性密度formula_59抽取出来,则权重可表示为  formula_60  我们将重要性密度分解为  formula_61  再将后验几率表示为  formula_62  则权重的递回式可以表示为  formula_63
title: 重采样(resampling).
content: SIS可能会造成退化问题(degeneracy problem),也就是在经过几次递回后,很多粒子的权重都变小到可以忽略不计,只剩少数粒子的权重较大,如此会浪费大量的计算量在几乎没有作用的粒子上,而使估计性能下降。由于在递回过程中,权重的变异数只会愈来愈大,因此退化问题无法被避免。  为了评估退化问题,我们定义有效粒子数为  formula_64  在进行SIS时,若有效粒子数小于某一阈值,则对粒子做重采样,即可减缓退化问题。重采样的概念是去除权重过小的粒子,专注于权重较大的粒子。进行重采样时,要由现有的粒子分布取样,产生一组新的粒子formula_65,由于产生出的新样本为独立且相同分布(i.i.d.),因此将权重重新设定为formula_66。

Summary: 粒子滤波器(particle filter)是一种使用蒙特卡罗方法(Monte Carlo method)的递归滤波器,透过一组具有权重的随机样本(称为粒子)来表示随机事件的后验几率,从含有噪声或不完整的观测序列,估计出动态系统的状态,粒子滤波器可以运用在任何状态空间的模型上。

Particle filter: Particle filters or Sequential Monte Carlo (SMC) methods are a set of Monte Carlo algorithms used to solve filtering problems arising in signal processing and Bayesian statistical inference. The filtering problem consists of estimating the internal states in dynamical systems when partial observations are made, and random perturbations are present in the sensors as well as in the dynamical system. The objective is to compute the posterior distributions of the states of some Markov process, given some noisy and partial observations. The term "particle filters" was first coined in 1996 by Del Moral in reference to mean field interacting particle methods used in fluid mechanics since the beginning of the 1960s. The term "Sequential Monte Carlo" was coined by Liu and Chen in 1998.