粒子濾波器

title: 滤波问题.
title: 目标.
content: 粒子滤波器的目标是通过观测值估计状态变量的后验概率。粒子滤波器是针对隐马尔可夫模型设计的,系统中既包含隐藏的变量,也包含可观测的变量。可观测变量(观测过程)与隐藏变量(状态过程)通过某种已知的函数关系相关联。类似地,描述状态变量演化的动态系统也是概率学上已知的。  一个通用粒子滤波器通过观察测量过程估计隐藏状态的后验分布。考察下图所示的状态空间:  滤波问题是要通过给定的观测过程 formula_2 在任意时刻 "k" 的值,序列地估计隐藏状态 formula_3 的值。  所有的对 formula_3 的贝叶斯估计服从后验分布 "p"("x" | "y","y",...,"y") 。粒子滤波器方法使用经验测量和通用粒子算法,提供了这些条件概率的近似值。与之对比,马尔可夫链蒙特卡洛(MCMC)或重要性采样方式会对整个后验概率 "p"("x","x",...,"x" | "y","y",...,"y") 进行建模。
title: 信号-观测模型.
content: 粒子滤波器能够从一系列含有噪声或不完整的观测值中,估计出动态系统的内部状态。在动态系统的分析中,需要两个模型,一个用来描述状态随时间的变化(系统模型),另一个用来描述每个状态下观测到的噪声(观测模型),将这两个模型都用几率来表示。  在许多情况下,每得到一个新的观测值时,都必须对系统做出一次估计,利用递回滤波器,能够有效地达到这样的目的。递回滤波器会对得到的资料做连续处理,而非分批处理,因此不需要将完整的资料储存起来,也不需要在得到新的观测值时,将现有的资料重新做处理。递回滤波器包含两个步骤:  预测:利用系统模型,由前一个状态的资讯预测下一个状态的几率密度函数。  更新:利用最新的观测值,修改预测出的几率密度函数。  借由贝叶斯推论(Baysian inference),我们可以描述出状态空间的几率,并在得到新的观测值时,对系统做出更新,因而达成上述目的。
title: 非线性贝叶斯追踪.
content: 在动态系统中,我们常常需要对物体做追踪。假设有一动态系统,已知其状态序列formula_5定义为  formula_6  其中formula_7是状态转移函数,可以是非线性的函数,formula_8是一个独立且相同分布(i.i.d.)的过程噪声序列,formula_9和formula_10分别代表状态和过程噪声向量的维度,formula_11为自然数的集合。追踪的目标是要递回地从观测值formula_12估计出formula_13,而观测值formula_12定义为  formula_15  其中formula_16是观测函数,可以是非线性的函数,formula_17是一个独立且相同分布(i.i.d.)的观测噪声序列,formula_18和formula_19分别代表观测值和观测噪声向量的维度。  从贝叶斯理论的观点来看,追踪问题是要根据到时间formula_20为止的已知资讯formula_21,递回地计算出时间formula_20的状态formula_13的可信度,这个可信度用几率密度函数formula_24来表示。假设初始几率密度函数formula_25(称为先验几率)为已知,则利用「预测」和「更新」两个步骤就能递回地计算出几率密度函数formula_24。  在此假设在时间formula_27的几率密度函数formula_28为已知。
title: 预测.
content: 利用查普曼-科尔莫戈罗夫等式(Chapman–Kolmogorov equation),可以由状态转移函数与时间formula_27的几率密度函数formula_28,计算出时间formula_20的先验几率formula_32  formula_33  其中,由于状态转移模型被假设为一阶马可夫过程,时间formula_27的状态只由时间formula_20决定,因此formula_36。几率模型formula_37由状态转移函数formula_6和formula_39的统计值得到。
title: 更新.
content: 在时间formula_20,我们得到观测值formula_12,因此可以利用贝氏定理,由先验几率formula_32得到后验几率formula_24,也就是考虑观测值后得到的几率。  formula_44  其中的归一化常数为  formula_45  其中的似然函数formula_46由观测函数formula_15和formula_48的统计值得到。  上述「预测」与「更新」的递回关系,是贝叶斯最佳解的基本概念,然而公式中运用到的积分,对于一般非线性、非高斯的系统,难以得到解析解,因此需要利用蒙地卡罗方法来近似贝叶斯最佳解。
title: 序列重要性重采样(Sequential Importance Resampling, SIR).
title: 序列重要性采样(Sequential Importance Sampling, SIS).
content: SIR是由SIS加上重采样(resampling)改良而来,在SIS中,我们将后验几率formula_24用formula_11个随机采样的样本(称为粒子)与各自的权重表示为  formula_51  其中的权重是根据重要性采样的规则产生,且必须符合  formula_52  SIS是将重要性采样递回执行的一种方法,根据重要性采样的理论,一个函数formula_53的期望值可以用加权平均来近似  formula_54  在每一次递回过程中,我们希望由前一次采样的权重,计算出下一次采样的权重。假设采样的样本分布可以表示为  formula_55 formula_56  其中formula_57称为重要性密度(importance density)。若样本formula_58是由重要性密度formula_59抽取出来,则权重可表示为  formula_60  我们将重要性密度分解为  formula_61  再将后验几率表示为  formula_62  则权重的递回式可以表示为  formula_63
title: 重采样(resampling).
content: SIS可能会造成退化问题(degeneracy problem),也就是在经过几次递回后,很多粒子的权重都变小到可以忽略不计,只剩少数粒子的权重较大,如此会浪费大量的计算量在几乎没有作用的粒子上,而使估计性能下降。由于在递回过程中,权重的变异数只会愈来愈大,因此退化问题无法被避免。  为了评估退化问题,我们定义有效粒子数为  formula_64  在进行SIS时,若有效粒子数小于某一阈值,则对粒子做重采样,即可减缓退化问题。重采样的概念是去除权重过小的粒子,专注于权重较大的粒子。进行重采样时,要由现有的粒子分布取样,产生一组新的粒子formula_65,由于产生出的新样本为独立且相同分布(i.i.d.),因此将权重重新设定为formula_66。

Summary: 粒子滤波器(particle filter)是一种使用蒙特卡罗方法(Monte Carlo method)的递归滤波器,透过一组具有权重的随机样本(称为粒子)来表示随机事件的后验几率,从含有噪声或不完整的观测序列,估计出动态系统的状态,粒子滤波器可以运用在任何状态空间的模型上。

Filtre particulaire: Les filtres particulaires, aussi connus sous le nom de méthodes de Monte-Carlo séquentielles, sont des techniques sophistiquées d'estimation de modèles fondées sur la simulation.