system: [SYSTEM]

user: 3. 信号稀疏表示广义测不准原理中的数学理论及方法 有关信号稀疏表示的广义测不准原理可以追溯到Denoho等人于1989年提出的理论 [ 60 ] ，其主要阐述用栅栏基信号(spikes)和正弦基信号(二者称为时频原子基)表示有限支撑的离散信号和模拟信号的测不准原理问题，给出了信号稀疏表示广义测不准原理雏形，得出了给定能量(2-范数下的定义)的离散信号所对应局部支撑乘积的下限。后来，Denoho等人又于2001年正式给出了把时频原子基作为一个具有过完备性的字典来进行信号稀疏表示的性能边界条件 [ 63 ] 。由于信号稀疏表示采用最小0-范数来进行量化和界定，但是最小0-范数的求解是个NP问题(即数学上需要把所有的情况都穷举完才能找到最优的解，目前NP问题也是困扰数学界多年的难题之一)，所以Denoho等人又给出了信号稀疏表示的最小0-范数和最小1-范数等价的广义测不准原理边界条件，而最小1-范数在数学上是个凸问题，可以通过优化算法进行有效的求解，从而简化了稀疏分解问题。Denoho等人尽管只是给出了时频原子基的广义测不准原理，但是该工作在后来Patrick等人的论文 [ 70 ] 中被称之为信号稀疏表示及重构方面研究的里程碑。 在此基础上，Elad等人于2002年提出了任意两个正交基集的稀疏表示广义测不准原理 [ 64 ] ，从时频原子基扩展到任意两个正交基集，并且给出了更为严格的0-范数和1-范数等价的测不准原理边界条件。后来，Feuer和Nemirovski等人证明了这些条件是充要条件 [ 65 ] [ 66 ] 。同时，Fuchs等人也进行了类似的工作 [ 67 ] [ 68 ] 并在一些扩展空间上给出了相似的结论。 但是，从信号稀疏分解的角度来看，自然界中的信号千变万化，用两个正交基集不一定能够得到理想的稀疏表示结果，两个正交基集显然也不总是稀疏分解的基函数集的最佳选择。所以，Patrick等人于2012年又提出了两个非正交基集的广义测不准原理 [ 70 ] ，其中每个非正交基序列都是冗余的，可以独立实现对信号的稀疏表示(但不一定最佳稀疏表示)，从而把两个正交基集扩展到更为一般的两个基函数集，而且优化了广义测不准原理的边界条件。2013年，Benjamin等人则从支撑和框架角度进行了时频分析广义测不准原理的理论阐述 [ 71 ] ，给出了一些新的概念和定义，为后期稀疏表示方面熵的广义测不准原理的研究提供了一定的基础。另外，Yonina则针对平移不变模拟信号进行了稀疏表示广义测不准原理的理论研究 [ 74 ] 。 在前人研究基础上，我们针对正交基集，对信号唯一最佳稀疏表示广义测不准条件、最佳稀疏表示范数和最小熵关系等进行了研究 [ 57 ] [ 58 ] 。前期研究总结表明，稀疏表示广义测不准原理的研究还处于热点研究阶段，还有很多问题没有解决，同时也表明，稀疏表示广义测不准原理属于典型的数学与信息学 Table 1 Mathematical problems of generalized Heisenberg uncertainty principle 广义测不准原理关系不等式 涉及到的数学问题 变量代换 广义Parseval准则 变量代换 广义Parseval准则 广义Cauchy-Schwartz不等式 其中 ， ， ， . 变量代换 广义Parseval准则 广义Cauchy-Schwartz不等式 其中 ， ， . 变量代换 广义Parseval准则 变量代换 广义Parseval准则 变量代换 广义Parseval准则 表1. 广义Heisenberg测不准原理的数学问题 Table 2 Mathematical problems of generalized Shannon entropic uncertainty principle 广义测不准原理关系不等式 涉及到的数学问题 变量代换 广义Parseval准则 变量代换 广义Parseval准则 (离散型) 其中， 变量代换 广义Hausdorff-Young不等式 Minkowski 不等式 广义Parseval准则 Jensen不等式 表2. 广义Shannon熵测不准原理的数学问题 Table 3 Mathematical problems of generalized Rényi entropic uncertainty principle 广义测不准原理关系不等式 涉及到的数学问题 变量代换 变量代换 (离散型) 变量代换 广义Hausdorff-Young不等式 Minkowski 不等式 广义Parseval准则 Jensen不等式 表3. 广义Rényi熵测不准原理的数学问题 Table 4 Mathematical problems of generalized windowed uncertainty principle 广义测不准原理关系不等式 涉及到的数学问题 变量代换 广义Parseval准则 ( 其中 ) 变量代换 广义Parseval准则 变量代换 广义Parseval准则 表4. 广义加窗测不准原理的数学问题 Table 5 Mathematical problems of generalized logarithmic uncertainty principle 广义测不准原理关系不等式 涉及到的数学问题 变量代换 广义Pitt不等式 广义Parseval准则 变量代换 广义Pitt不等式 广义Parseval准则 表5. 广义对数测不准原理的数学问题 Table 6 Generalized Hausdorff-Young and Pitt Inequalitie 广义不等式 涉及到的数学问题 变量代换 广义Parseval准则 变量代换 广义Parseval准则 变量代换 广义Parseval准则 变量代换 广义Parseval准则 变量代换 广义Parseval准则 变量代换 广义Parseval准则 表6. 广义Hausdorff-Young不等式和广义Pitt不等式 科交叉领域，但是归根结底都可以纳入到相关的数学问题中去(比如，不同范数及范数优化、稀疏求解、稀疏矩阵及矩阵分解等)。表7概括了稀疏表示广义测不准原理的研究现状以及需要完善的研究内容，涵盖了不少数学问题，表8则概述了已有的稀疏表示广义测不准原理所涉及到的主要的数学问题。 下面就针对不同的数学问题进行展开论述。 3.1. p范数 p范数(p-norm)可以看成2范数的扩展，但是：p的范围是[1， inf)。p在(0，1)范围内定义的并不是范数 Table 7 State of the generalized uncertainty principles for signal sparse representatio 稀疏表示理论广义测不准原理不同的数学研究角度 Heisenberg广义测不准原理 熵广义测不准原理 正交基集 非正交基集 框架 正交基集 非正交基集 框架 理论数学条件 信号唯一最佳稀疏表示的数学条件 已有相关工作，比如 [ 64 ] [ 66 ] - [ 69 ] 已有相关工作，比如 [ 71 ] 已有相关工作，比如 [ 64 ] [ 78 ] 已有相关工作，如 [ 65 ] 空白 空白 最佳稀疏表示0-范数和1-范数等价条件 已有相关工作，比如 [ 64 ] [ 66 ] - [ 69 ] 已有相关工作，比如 [ 71 ] 已有相关工作，如 [ 64 ] [ 78 ] 空白 空白 空白 最佳稀疏表示p范数条件 空白 空白 空白 空白 空白 空白 工程 判据 信号唯一最佳稀疏表示条件 已有(我们前期工作) 空白 空白 空白 空白 空白 最佳稀疏表示0-范数和1-范数等价条件 已有相关工作，比如 [ 64 ] 空白 空白 空白 空白 空白 最佳稀疏表示p范数条件 空白 空白 空白 空白 空白 空白 快速基函数选择算法 信号唯一最佳稀疏表示条件 已有相关工作，比如 [ 64 ] 空白 空白 空白 空白 空白 最佳稀疏表示0-范数和1-范数等价条件 已有相关工作，比如 [ 64 ] 空白 空白 空白 空白 空白 最佳稀疏表示p范数条件 空白 空白 空白 空白 空白 空白 最佳稀疏表示范数和最小熵等价数学条件 已有相关工作，比如 [ 65 ] 空白 空白 已有相关工作，如 [ 65 ] 空白 空白 表7. 稀疏表示广义测不准原理基于数学角度的理论研究现状 Table 8 Mathematical problems of generalized uncertainty principles for signal sparse representatio 主要文献 广义测不准原理关系的物理描述 使用的范数 涉及到的数学问题 [ 44 ] [ 60 ] 时域栅栏信号数目和其频域(包含分数阶域)系数数目之和大于数据长度开方的二倍 2-范数(或Frobenius-范数)、0-范数、1-范数 连续和离散信号的0-范数优化、1-范数优化或P0问题、P1问题、Parseval准则 [ 58 ] [ 64 ] 时域栅栏信号数目和其频域系数数目之和大于数据长度开方的二倍；时域栅栏信号唯一稀疏表示的条件是时域栅栏信号数目和其频域系数数目之和小于数据个数开方的倒数；时域栅栏信号1-范数和0-范数等价的条件是时域栅栏信号数目和其频域系数数目之和小于数据个数开方的倒数的一半与0.5之和 1-范数 0-范数 离散信号的1-范数优化、0-范数优化或P0问题、P1问题 [ 58 ] [ 65 ] - [ 69 ] 任意信号在两个正交基下的系数数目之和大于两正交基相关系数倒数的二倍；信号能够用两个正交基唯一稀疏表示的条件是在两个正交基下的系数数目之和小于两正交基相关系数倒数；信号1-范数和0-范数等价的条件是在两个正交基下的系数数目之和小于两正交基相关系数倒数的0.9142倍 1-范数 0-范数 离散信号的1-范数优化、0-范数优化或P0问题、P1问题 [ 71 ] 任意信号在两个非正交基下的系数数目之和大于两非正交基相关系数的复杂函数；信号能够用两个非正交基唯一稀疏表示的条件是在两个非正交基下的系数数目之和小于两非正交基相关系数复杂函数的倒数。 1-范数 0-范数 离散信号的1-范数优化、0-范数优化或P0问题、P1问题 [ 59 ] 最佳稀疏表示下最小熵测不准原理；最佳稀疏表示(0或1)范数和最小熵等价数学条件 1-范数 0-范数 最小熵 离散信号的1-范数优化、0-范数优化或P0问题、P1问题、熵最小优化或Pe问题 表8. 稀疏表示广义测不准原理的数学问题 (但是，我们有时也笼统地称之为0-范数、1/2-范数等)，因为违反了三角不等式。在p范数下定义的单位球(unit ball)都是凸集(convex set，简单地说，若集合A中任意两点的连线段上的点也在集合A中，则A是凸集)，但是当0 < p < 1时，在该定义下的unit ball并不是凸集(注意：我们没说在该范数定义下，因为如前所述，0 < p < 1时，并不是范数)。下图展示了p取不同值时单位圆(因为p取2时为标准的单位圆，故以单位圆为标准比对对象)的形状，见图1。 0-范数是稀疏表示中常用的范数，其物理意义就是求非零数据的个数。由于信号严格稀疏表示采用最小0-范数来进行量化和界定，但是最小0-范数的求解是个NP问题(即数学上需要把所有的情况都穷举完才能找到最优的解)，所以Denoho等很多学者又给出了信号稀疏表示的最小0-范数和最小1-范数等价的广义测不准原理边界条件，然后用1-范数代替0-范数进行问题的求解。 上述范数主要针对向量，实际上矩阵也有范数，一般来讲矩阵范数除了正定性，齐次性和三角不等式之外，还规定其必须满足相容性，所以矩阵范数通常也称为相容范数。需要注意的是，如果不考虑相容性，那么矩阵范数和向量范数就没有区别。引入相容性主要是为了保持矩阵作为线性算子的特征，这一点和算子范数的相容性一致，并且可以得到Mincowski定理以外的信息。矩阵范数最常用的就是Frobenius范数(也叫Euclid范数，简称F-范数或者E-范数)和核范数。Frobenius范数即为求解矩阵A全部元素平方和的平方根。由于向量的F-范数就是2-范数，所以F-范数和向量的2-范数相容。核范数(也叫奇异值的0-范数)，其物理意义是求解非零奇异值的个数，换句话说就是矩阵的最小秩求解。 关于范数的其他更详细介绍可以参照文献 [ 84 ] 。 3.2. 数学优化问题 目前常用的三种范数优化模式为P0问题、P1问题以及Pe问题： P0问题： . (10) P1问题： . (11) Pe问题： ， (12) 其中 为香农熵定义式。 范数及熵最小优化问题涉及到的算法主要包括基追踪算法、贪婪算法、迭代阈值算法等算法。下面就三种优化各自给出一个优化算法示例，从而可以有一个比较直观的认识。 1) 基追踪算法 Chen等人 [ 77 ] 提出了一种极小化1-范数的稀疏求解思路(P1问题)。实际上，需要特别说明的是：基追踪算法并非基于一个最优化原则，其原理本质是给定一些限制条件后，通过极小化1-范数可以获得最稀疏的解。主要是通过单纯形法、内点法或对数障碍发来进行求解。它需要最少的测度，但其高算法复杂性会影响到实际大规模应用。假设线性系统 有 个非零的稀疏解，也就是， 。而且，假设 。匹配追踪或者基础追踪可以成功的恢复稀疏解吗？显而易见的，这样的成功并不是对于所有的矩阵A的所有的 都可以的，因为这个可能和一般情况下的已知的NP问题发生冲突。然而，如果这个等式有一个充分稀疏的解，那么这些算法在寻址原始的目标(P0)的成功性就有所保证了。 图1. p取不同值时单位圆的形状 在这里我们可以对变换矩阵 和 的列重新进行顺序排列，向量b被设置为 中的第一个 列的线性组合，也是 中的第一个 列，则有 。所以， ， (13) 进一步定义所有支撑 和 ，分别地，我们可以得到关系式： 及 。 往往在算法第一步(k=0)中，计算误差的设置一般都是由以下的公式给出： 所以，对于在合适的 个非零元素中，其中需要处理的第一步就是，我们应该假定所有的 和 ，得到 . (14) 此时我们假定没有一般性损失， 是x中所有的非零元素中最大的，而且我们希望它是在这个步骤中被选择出来的。此后我们指向要求(#)，然后转向相似方法中的第二个的处理。在等式(13)中这个的置换转化成 (15) 为了考虑较为复杂难于处理的情况，我们构造一个下界和一个上界，然后再一次应用上面的不等式，对于左边则有关系式 ， (16) 这里我们假定 是x中的最大的非零元素，使用不等式关系 和 。对于等式(15)的右边的一个相似的处理即可以导出 ， (17) 将这两个边界插入到(15)中的不等式我们得到不等式关系： ， (18) 当我们假设 包含了最大的非零元素后，对于相反的情况一个平行的要求 也是必要的。 现在我们考虑上边提到的要求($)，然后根据同样的处理，左边的下界保持不变，然而右边的上界变为如下不等式： ， (19) 且处处要求如下关系成立： . (20) 紧接着，下一步就是对于误差 的一个更新。在这个更新中，我们减掉了乘以列 的系数，因此新的误差仍然是一个不超过 个非零值的线性组合，并且有着同样的支撑 和 。所以，如果在 的条件能达成一致，使用上述步骤中同样的设定则能够保证这些算法再一次从真实的支撑中找到一个指标。在经过准确的 次这样的迭代之后，这个误差变为零并且这个算法终止，保证了在恢复正确的解x中的所有的这些算法的成功。 2) 贪婪算法 假设矩阵A有 ，并且此时假定优化问题(P0问题)有最优解1，所以b是矩阵A的一些列向量的线性组合，并且这个解也是我们的唯一解。可以通过对矩阵A的每一列进行m次测试来确定这 个列，则第j次测试可以通过将 减小到最少加以处理，并导出 ，此时这个误差即为如下描述形式： . 如果这个误差是0，我们就找到了适当的解。因此这个测试将要做的仅仅是 (这个将等价于说Cauchy-Schwartz不等式将满足等式条件)，此时意味着b和 是平行的。同理，假设矩阵A有 ，并且此时假定这个优化问题有最优解值 。那么b就是矩阵A的至多 列的线性组合。以此类推，我们计算矩阵A的 列的所有的 子集合，并且相互测试。贪婪策 略放弃了穷举搜索支持一系列的局部最佳的更新。从 开始，它通过维持了一套活跃的列向量(最初是空的)并且每一个阶段都通过一个额外的列来进行扩展迭代设计了一个k条的近似值 。在每一步的列的选择上都从当前活跃的列中接近b的值中最大的减少了残留 误差。在构造一个包括新的列的近似值之后，残留 误差是可以估计出来的，直到某时刻它达到了事前给定的阈值，此时算法终止。 关于贪婪算法的具体实现方法有很多种，主要有正交贪婪算法 [ 85 ] 、规整化正交贪婪算法 [ 86 ] 、分段正交贪婪算法 [ 87 ] 和梯度贪婪算法 [ 88 ] 等。贪婪算法的基本思想：每次搜索和信号最相关的基函数，然后把信号中所包含最多基函数对应的分量去除，一直到信号被基函数成分去除完毕为止。 3) 熵优化方法 熵最小优化算法类似于最小0-范数算法，是为了解决Pe问题而进行的优化，是NP问题，无法有效地求解，因此文献 [ 58 ] 提出了一种熵贪婪思想，即每次求取最大熵对应的系数，依次从大到小抽取信号直至满足给定阈值，算法终止。 首先，假定： and . 在步骤n，通过下式优化，选取 ： . (21) 计算一个近似量和一个表示系数： .(22) 重复上述步骤直到 满足事前给定阈值 ，这里 为给定阈值。 此为还有其他多种方法可以解决上述三大类问题。极小化1-范数的方法能够有效解决压缩感知中的恢复问题，但是当结合其它的一些先验知识后，该问题可以被更加有效地解决，比如贝叶斯压缩感知方法 [ 91 ] [ 92 ] 和基于模型的压缩感知方法 [ 93 ] 。Ji等人提出的BCS借助传统的贝叶斯方法和机器学习中的主动学习方法，通过将关于稀疏性的先验信息用垂直先验分布来建模，提出了自适应的感知方法以及相应的恢复方法。而Baraniuk等人提出的针对基于模型可压缩信号的压缩感知方法中利用小波树模型和块稀疏模型，仅需要与稀疏程度相当的测度数即可实现信号的鲁棒性恢复。制约0-范数问题(P0问题)求解的根源在于矢量的0-范数是该矢量的不连续函数，于是Mohimani等人提出利用高斯函数族对这个不连续函数进行近似，并利用连续函数的最小化算法(如最速下降法)对其最小化，从而得到最小 范数解，即平滑 算法 [ 89 ] [ 90 ] 。 4) RIP条件 在针对上述优化过程中，对限制条件中矩阵A有哪些要求呢？或者说，矩阵A满足哪些条件则会保证我们获得可靠、稳定的优化解呢？为此，Candes 和Tao提出了受限等距性质(Restricted isometry property， RIP) [ 81 ] ，对于矩阵A的特性提出了要求，满足该要求则使我们的优化结果分析变得更为简单。 定义1：对于一个有 标准化的列的大小为 ( )的矩阵A，以及一个整数标量 满足 ，假定包含A中的s列的子矩阵为 ，且把 ( )定义为最小的量，以致 (23) 对于s列的任何选择都是有效的。那么A就是称为在常量 下有一个s-RIP。 也就是说，如果A中的s列的任何子集合都是一个正交变换，那么信息总是没有能量变化的。清晰的，这个定义仅仅是对 的时候是有益的。RIP常量的上述界限是很容易通过以下公式看出来 . (24) 在以上的叙述中我们用了格拉姆矩阵中的最小量的结构，在主对角线上都是1在非主对角线上的元素都是通过 来限制的。对于长度为s的向量c，我们也使用了正常的等值不等式 。这个下界可以同样被确定为 . (25) 这里我们再一次使用正常的等值不等式 。 3.3. 矩阵稀疏及秩最小化问题 与压缩传感紧密相关的一个问题是矩阵秩最小化问题。低秩矩阵模型在信号处理等领域具有广泛的应用，例如系统辨识与控制、欧氏空间嵌入和协同滤波等，这往往涉及到仿射矩阵秩最小化的问题 [ 94 ] - [ 96 ] 。另一方面，低秩矩阵涉及到核范数，即奇异值最稀疏问题，所以矩阵秩最小化问题是稀疏表示中的另外一大类。其数学模型如下： . (26) 矩阵秩最小化的一个经典例子就是矩阵填充中的Netflix问题。Netflix公司是一个影碟租赁公司，该公司让用户在观看影碟后对电影打分，然后该公司会根据用户的打分推测出用户对于影片的喜好，从而给用户推荐喜爱的影碟。如果将每一名对电影打分的用户都看成矩阵的一行，再把每一部被评分的电影看成矩阵的一列，用户对于电影的打分看成是矩阵的元素。在现实生活中，一个用户看过的电影总是有限的，因此评分矩阵中仅有少量的元素是已知的。该公司要预测用户对于影片的喜好，就是要通过这些已知的少量的矩阵元素，推测出空白的矩阵元素，这就是一个典型的矩阵填充问题。另外，由于影响用户对于影片的喜好的因素往往只有少数几个，因此这个矩阵将是一个低秩矩阵。曾经Netflix公司还举办过一个比赛，参赛队伍根据Netflix公司提供的用户对于影片的打分数据对用户喜好进行预测，设计新的预测方法，并与Netflix公司自己的预测软件结果进行对比，其中能将预测准确度提高10%的队伍将获得100万美元的大奖。 某个矩阵如果只有部分观测元素(可能占该矩阵元素很低的比例)，我们要推测出其他没有观测到的元素，这便是矩阵填充问题。如果对于矩阵没有任何条件限制，矩阵填充问题的解无穷多，但是在实际很多时候我们遇到的矩阵都是低秩矩阵或者渐进低秩矩阵。研究表明 [ 95 ] - [ 100 ] ，可以通过合适的方法准确恢复出原来的矩阵，矩阵填充问题总结起来就是求解核范数最小化问题 [ 96 ] ，现在求解核范数最小化问题已经有了一些成熟的算法，但是目前这些算法的复杂度一般都很高，处理高维矩阵的填充问题会花费大量时间，也正因此，快速高效的矩阵填充算法也是矩阵填充问题的一个研究热点。矩阵填充目前已有不少算法，最经典的当属由Cai等人提出的SVT算法 [ 97 ] ，该算法受到压缩感知中Bregman迭代算法的启发，算法在迭代过程中对矩阵进行了奇异值分解，然后将较小的奇异值设置为0，生成新的矩阵进行反复迭代，此算法运行速度很快，对于高维低秩矩阵的回填效果很好。另外还有Ma等人提出的FPCA算法 [ 99 ] ，该算法也用到了矩阵的奇异值分解，并且在算法迭代过程中进行不动点连续处理。该算法不仅对于低秩矩阵的恢复效果很好，对于秩适中的矩阵也有较好的恢复效果。在这之后，又陆续出现了很多关于矩阵填充的快速高效算法。目前矩阵填充问题与算法的研究已经取得了极大的进展，但是理论的不成熟导致仍然存在很多问题，例如一些实际问题中需要填充的低秩矩阵，其核范数是固定的，此时应用核范数最小化方法求解显然没有意义，对于这些问题，需要提出新的算法。本文将给出Cai等人提出的SVT算法，其基本思路如下： 对于给定的矩阵X，矩阵部分数据已知，即下面优化问题即是矩阵填充的数学模型： ， (27) 如果矩阵中数据采样对于给定的某个常数C满足 ，上式就会以较高的概率( )恢复出矩阵缺失元素。这里 表示的是矩阵的核范数，即所有奇异值的和， 为矩阵的秩， 为矩阵行数和列数中的最小值， 为矩阵中已知数据个数。由于求解(27)较为困难，上式可以松弛成如下优化问题： . (28) 进一步，Cai等人把限制条件进行了改进 [ 97 ] ，不是直接相等约束，而是投影(投影算子设为 )后具有相同的数值(即改为投影约束)，即： . (29) 因此，可以通过迭代优化计算方法(30)直到达到某个停止条件，获得最终的优化矩阵X： ， (30) 其中， ， 为一个非线性软阈值函数，阈值为 ， 为k步相应的步长。这里使用了两个重要的特性：稀疏性和低秩性。矩阵在迭代的过程中一直保持着稀疏性，同时矩阵必须是低秩的，否则该方法将失效。 很显然，矩阵填充问题是一个非适定性的问题。一般而言，如果一个矩阵仅仅由少量的采样元素组成，那么完全重构出原矩阵几乎是不可能的，因为对矩阵未知元素的填充有无限种可能性。如果没有其他约束条件，矩阵填充重构出的矩阵将不是唯一的。但是如果我们事先知道原始矩阵数据满足一定的条件，那么矩阵填充将变得可行，这个关键的条件就是矩阵的低秩性 [ 95 ] 。