system: [SYSTEM]

user: 2. 新的无参数填充函数 考虑如下问题： ( P ) { min f ( x ) ， s .t .   x ∈ R n . (2.1) 其中 f : R n → R 是连续可微函数。 假设2.1：函数 f ( x ) 是强制性的，也就是当 ‖ x ‖ → + ∞ 时，有 f ( x ) → + ∞ 。 由假设2.1可以推出，一定存在一个紧集 X ⊂ R n ，它的内部包含了 f ( x ) 的所有全局极小点和函数值较小的局部极小点，而且还可以认为目标函数在 X 的边界上的函数值大于在其内部的函数值，因此，问题(2.1)可等价于如下问题： { min f ( x ) ， s .t .   x ∈ X (2.2) 假设2.2：问题(2.2)的不同局部极小点的个数是有限个。 下面给出葛仁浦教授在文献 [ 1 ] 中提出的填充函数的定义。 定义2.1：函数 p ( x ， x * ) 称为 f ( x ) 在局部极小点 x * 处的填充函数，如果满足： 1) x * 是 p ( x ， x * ) 的一个严格局部极大点， f ( x ) 在点 x * 处的盆谷 B * 成为 p ( x ， x * ) 的峰的一部分。 2) p ( x ， x * ) 在比 B * 高的盆谷里没有平稳点，即 ∇ p ( x ， x * ) ≠ 0 。 3) 如果存在比 B * 低的盆谷 B 1 * ，则在 x ′ 和 x * 的连线上极小化 p ( x ， x * ) 得到极小点 x ″ ∈ B * ，其中， N ( x 1 * ， δ 1 ) ( δ 1 > 0 ) ， x ′ ∈ N ( x 1 * ， δ 1 ) 。 定义2.2：函数 f ( x ) 在一局部极小点 x * 处的盆谷是指一连通域 B * ，具有下列性质： 1) x * ∈ B * ； 2) 对于任意一点 x ∈ B * 使得 x ≠ x * 及 f ( x ) > f ( x * ) ，存在一条从 x 到c的下降路径。 针对问题(2.1)，提出了一类无参数填充函数如下： p ( x ， x * ) = − ln ( 1 + ‖ x − x * ‖ 2 ) ( f ( x ) − f ( x * ) ) . (2.3) 其中 x * 是目标函数 f ( x ) 的当前局部极小点。 下面来证明该函数是符合定义(2.1)的填充函数。 定理2.1： x * 是 p ( x ， x * ) 的严格局部极大点。 证明：因为 x * 是 f ( x ) 的一个局部极小点，则存在它的一个邻域 N ( x * ， δ * ) ( δ * > 0 ) ，使得对于任意 x ∈ N ( x * ， δ ) \ { x * } ，有 f ( x ) > f ( x * ) 。则有， p ( x ， x * ) = − ln ( 1 + ‖ x − x * ‖ ) ( f ( x ) − f ( x * ) ) < 0 = p ( x * ， x * ) 证毕。 定理2.2： p ( x ， x * ) 在比 B * 高的盆谷 B 1 * 里没有平稳点，即 ∇ p ( x ， x * ) ≠ 0 。 证明：由定理条件可知：对 ∀ x ∈ B 1 * ，有 f ( x ) > f ( x * ) ，又因为 f ( x ) 在 R n 上连续可微，可以得到 f ( x ) 在 x * 处的泰勒展开式为： f ( x ) = f ( x * ) + ( x − x * ) T ∇ f ( x ) + o ( ‖ x − x * ‖ ) 所以有： f ( x ) − f ( x * ) = ( x − x * ) T ∇ f ( x ) + o ( ‖ x − x * ‖ ) > 0 则有： ( x − x * ) T ∇ f ( x ) > 0 。 p ( x ， x * ) 梯度如下： ∇ p ( x ， x * ) = − [ 2 ( x − x * ) 1 + ‖ x − x * ‖ 2 ( f ( x ) − f ( x * ) ) + ln ( 1 + ‖ x − x * ‖ 2 ) ∇ f ( x ) ] 于是 ∇ p ( x ， x * ) T ( x − x * ) = [ 2 ‖ x − x * ‖ 2 1 + ‖ x − x * ‖ 2 ( f ( x ) − f ( x * ) ) + ln ( 1 + ‖ x − x * ‖ 2 ) ∇ f ( x ) T ( x − x * ) ] < 0 所以 ∇ P ( x ， x * ) ≠ 0 。证毕。 定理2.3：如果 x * 不是全局极小点，并且 x 1 * 是离 x * 最近的一个局部极小点并且满足 f ( x 1 * ) < f ( x * ) ，则对 ∀ x ′ ∈ N ( x 1 * ， δ 1 * ) ( δ 1 * > 0 ) 则在 x ′ 和 x * 的连线上极小化 p ( x ， x * ) ，得到 p ( x ， x * ) 局部极小点 x ″ ∈ B * 。 证明：因为 x * 是 f ( x ) 的局部极小点，则存在 x * 的小邻域 N ( x * ， δ * ) ( δ * > 0 ) ，对任意的 x ∈ N ( x * ， δ * ) ，有 f ( x ) ≥ f ( x * ) ，则有 p ( x ， x * ) = − ln ( 1 + ‖ x − x * ‖ 2 ) ( f ( x ) − f ( x * ) ) < 0 其中 x ∈ N ( x * ， δ * ) 且 x ≠ x * 。 相似地，对于 x 1 * ，则存在它的一个小邻域 N ( x 1 * ， δ 1 * ) ( δ 1 * > 0 )，对任意的 x ′ ∈ N ( x 1 * ， δ 1 * ) ，有 f ( x * ) > f ( x ′ ) ≥ f ( x 1 * ) ，显然有： p ( x ′ ， x * ) = − ln ( 1 + ‖ x ′ − x * ‖ 2 ) ( f ( x ′ ) − f ( x * ) ) > 0 通过分析 x ′ 和 x * 的轨迹可知：在最初 p ( x * ， x * ) = 0 ，x从 x * 处开始迭代搜索，有 p ( x ， x * ) < 0 ，而当 x 接近 x ′ 时，可知 p ( x ， x * ) > 0 ，所以可以知道在 f ( x ) ≥ f ( x * ) 时， p ( x ， x * ) 递减，在 f ( x ) < f ( x * ) 时， p ( x ， x * ) 递增。由此可以知道在 x ′ 和 x * 的连线上存在 x ″ 极小化 p ( x ， x * ) 。证毕。 定理2.1~定理2.3表明 p ( x ， x * ) 是符合定义2.1的填充函数。下面的定理2.4表明该填充函数具有一个很好的性质，能在算法执行中快速地找到更优的局部极小点。 定理2.4：若 x * 是 f ( x ) 的全局极小点，则对任意的 x ∈ X 都有 p ( x ， x * ) ≤ 0 成立；否则存在点 x * * 以及它的邻域 N ( x * * ， δ ) ( δ > 0 ) ，使得对任意的 x ∈ N ( x * * ， δ ) ，成立 p ( x ， x * ) > 0 。 证明：若 x * 是 f ( x ) 的全局极小点，则对任意 x ∈ X ，都有 f ( x ) ≥ f ( x * ) ，所以 p ( x ， x * ) = − ln ( 1 + ‖ x − x * ‖ 2 ) ( f ( x ) − f ( x * ) ) ≤ 0 ；若 x * 不是 f ( x ) 的全局极小点，则存在点 x * * 使得 f ( x * * ) < f ( x * ) ，由 f ( x ) 的连续性可知存在 x * * 的邻域 N ( x * * ， δ * * ) ( δ * * > 0 ) ，则 ∀ x ∈ N ( x * * ， δ * * ) 有 f ( x ) < f ( x * ) 。所以有 p ( x ， x * ) > 0 。证毕。 注：由定理2.2的证明可以发现 d = x − x * 是填充函数 p ( x ， x * ) 的一个下降方向；通过定理2.4可以发现，当遇到 p ( x ， x * ) > 0 时，可以知道 f ( x ) < f ( x * ) ，则在算法实施过程中说明找到一个比当前局部极小点的值更小的点。