最小均方滤波器

title: 最小均方:问题起源.
title: 与最小平方滤波器的异同.
content: 因果维纳滤波器(Causal Wiener Filter)的实现在形式上与最小平方法的实现非常相似,但在讯号处理这一方面却有所不同。对于最小平方的实现,令输入矩阵为formula_1,输出矩阵为formula_2,有:  formula_3  而有限脉冲响应(Finite Impulse Response)的最小均方滤波器却类似Wiener滤波器,只是前者并不依赖计算互相关或自相关函数即可将误差基准最小化,且其解将会收敛直至与Wiener滤波器的解重叠。大部分的线性可适性滤波问题均可以上图中的架构进行模拟,即希望尽量准确地确认一未知系统formula_4,因此通过可适性滤波,仅以可观测讯号formula_5、formula_6与formula_7产生对formula_4的估计值formula_9并尽量使其接近formula_4。上图中的另几个讯号formula_11、formula_12与formula_13却不处于能直接被观测到的范围中。
title: 最小均方滤波器的基本特点.
content: 最小均方滤波器所获得的广泛应用主要得益于其两个特性:易于实作(Simplicity of implementation)与性能稳健(Robust performance)——后者主要得益于最小均方滤波器基本上不受模型影响(Model-independency)。 最小均方滤波器亦与梯度下降法(Method of steepest descent)不同:后者主要对随机输入讯号进行使用确定梯度的递归运算。此外,最小均方滤波器的实现亦不需要对相关函数取值进行测量或计算负矩阵。事实上,其他的各种线性可适性滤波算法均广泛地以最小均方滤波算法为基准,以估量自身效能。
title: 概览与主要思想.
content: 最小均方滤波器的主旨是逐步进行修正,以逼近最佳的滤波系数;由Wiener–Hopf方程可解得,理想中的最佳滤波系数(所构成之向量)为formula_24;其中R为输入滤波器的输入矩阵u(n)的(自)相关矩阵,p为u(n)与理想参考讯号d(n)之间的互相关向量。  基本而言,最小均方滤波算法作为线性可适性滤波算法的一种,包括有以下两个基本步骤:  一、滤波步骤(filtering process):这一步骤包括了(a)计算一线性滤波器对一输入讯号的响应输出与(b)产生上一步中相应输出和理想相应间的测量误差值。 二、自适步骤(adaptive process):这一步骤中,以滤波步骤中得到的测量误差值为根据,滤波器本身的参数取值将被自动更新(以便在下一个周期中产生的测量误差值相对减小)。  上述两个步骤被组合起来,形成一个反馈循环(feedback loop)。 最小均方算法首先由一组很小的权重系数(常取零)开始,且在循环的每一步中找到均方误差的斜率梯度,依据斜率梯度更新滤波器的权重系数。均方误差的斜率梯度为正值即说明若保持现有的滤波器权重系数,误差将在未来的循环中持续向正向增大——因此我们就需要减小权重系数。同样地,若均方误差的斜率梯度为负值,我们就需要增大权重系数。因此,基本的权重系数递归方程为:  formula_25,  其中formula_26代表了均方误差之值,其系数之前的负号说明我们需要向斜率梯度的反方向调整滤波器系数。 上述的均方误差作为以滤波器系数为自变量的函数,具有二次函数的形式;这说明仅存在一个极值能使均方误差值最小,而这正对应了最佳的滤波器系数。因此,最小均方算法可以通过调整均方误差-滤波器系数平面上的曲线位置,来逐步迫近最适的滤波器系数取值。
title: 算法之实现.
content: 对于formula_27的情形,可适性最小均方滤波器的算法实现如下所示:
title: 收敛效率与稳定性.
content: 由于最小均方算法并不使用准确的期望值,滤波器的权重系数也就不会绝对地达到最佳取值,但是在总体上算法仍然可以达到收敛——即实际权重系数将与最佳权重系数相比将或大或小,但误差大小会相当有限。然而若权重系数变动时的方差(或标准差)过大,收敛的方向就可能错误。若算法中的步长未经过谨慎的选择,上述问题就很可能会发生。  如步长formula_28的取值较大,权重系数就会在更新循环中更快地向梯度估计值的方向改变,从而使得权重系数在每一次循环中的变动值更大——若开始时的梯度值为负,在更新权重后梯度便可能变为正值。亦即在「第二个」时刻,权重系数的值将因为负的梯度值向相反方向剧烈改变;此后,权重系数的值仍将以较大的幅度围绕最佳取值上下波动。从另一方面来说,若formula_28的取值过小,要达成最佳权重系数便会需要过于漫长的收敛时间。因此,算法的实现需要在两种极端之间有所权衡与取舍。  因此,算法步长formula_28应有一上限,如下: formula_31  其中formula_32是自相关矩阵formula_33中的最大特征值。当上式所述的条件未能达到时,系统将是非稳定的, formula_34也不会收敛。 最快收敛速度的达成条件如下: formula_35 其中formula_36是R的最小特征值。 考虑到formula_37的值小于等于最佳值,收敛速度将会由formula_36决定,其值越大,就会导致收敛速度越快。这就意味着最佳收敛速度可以在当formula_32接近formula_36时达成,即由formula_41的特征值扩散度决定可达到的最高收敛速度。  一个白噪声讯号的自相关矩阵为formula_42;其中formula_43是讯号的方差。在这种情况下所有的特征值都是相等的,且特征值扩散度在所有的可能矩阵中为最小。  对于这上述结果的一种常见解释是正因为如此,最小均方算法才会对白讯号为输入的情形收敛更快,而对如带有低通或高通特性的有色讯号(均值不为零)输入收敛得更慢。  值得注意的是前面阐述的formula_37值上限只在普遍意义上对可适性最小均方滤波器的稳定性存在影响,在单独的实际情形中,formula_34的系数仍然可能增长至至无限大,即滤波器权重系数仍可能发散而无法达到收敛。一个更为实际的上下限条件是 : formula_46 其中formula_47表示formula_41的轨迹(trace)。上述上下限条件确保了formula_34的系数将不会发散(在实际情况中,由于上述公式在推导过程中所假定的条件过于宽松,formula_37的值不应选取得过于接近上限)。
title: 归一化最小均方滤波器.
content: 对于基本的最小均方算法来说,其最大的缺陷就是对于输入formula_5振幅过于敏感。这就使得设计者难以选取能够确保算法稳定性的步长formula_37取值。因此,可运用归一化最小均方滤波器——最小均方滤波器的一种变种,来将输入讯号的功率归一化,以解决这一问题。下面是对归一化最小均方算法的简述:
title: 最佳步长取值.
content: 若不存在干扰讯号formula_53,归一化最小均方算法可选取的最佳步长值为formula_54,该值不受输入讯号formula_5与实际响应formula_4的影响。在存在干扰(formula_57)的情形中,最佳步长值则为: formula_58  上述结果是在假定讯号formula_12与formula_5互不相关的前提下推导出的,该假设亦在大部分情形下符合现实。推导过程请参见。

Summary: 最小均方滤波器(Least Mean Square Filter,或LMS Filter)是一类可通过最小化误差讯号(error signal)之均方值(mean square)而修正滤波器系数,以模拟所需理想滤波器的自适应滤波器,其中作为修正依据的误差讯号为理想参考讯号与实际输出讯号之差。该种滤波器所用之最小均方法只以当前之讯号误差值为准进行修正,是一种随机梯度下降法。最小均方法系由斯坦福大学的Bernard Widrow教授及他的首位博士班学生Marcian Hoff于1960年提出。最小均方滤波器属于常见的自适应滤波器种类之一。

Least mean squares filter: Least mean squares (LMS) algorithms are a class of adaptive filter used to mimic a desired filter by finding the filter coefficients that relate to producing the least mean square of the error signal (difference between the desired and the actual signal). It is a stochastic gradient descent method in that the filter is only adapted based on the error at the current time. It was invented in 1960 by Stanford University professor Bernard Widrow and his first Ph.D. student, Ted Hoff.