平滑最大值

平滑最大值是最大值函数 max ( x 1 , … , x n ) , {\displaystyle \max(x_{1},\ldots ,x_{n}),} 的光滑函数。其是一个参数族，在 m α ( x 1 , … , x n ) {\displaystyle m_{\alpha }(x_{1},\ldots ,x_{n})} 中，对于每个参数α，函数 m α {\displaystyle m_{\alpha }} 都是平滑的。参数族内包含最大值函数，并且 m α → max {\displaystyle m_{\alpha }\to \max } 当 α → ∞ {\displaystyle \alpha \to \infty } 。 平滑最小值的概念也是类似的。 在大多数情况下，一个族满足两个条件：当参数趋向于正无穷大时为函数变为最大值函数，当参数变为负无穷大时函数变为最小值函数；符号表示为： m α → max {\displaystyle m_{\alpha }\to \max } 当 α → ∞ {\displaystyle \alpha \to \infty } ， m α → min {\displaystyle m_{\alpha }\to \min } 当 α → − ∞ {\displaystyle \alpha \to -\infty } 。平滑最大值也可以用于描述行为类似于最大值函数的其他平滑函数，而不一定必须在此参数族中。 当正值参数较大时，且 α > 0 {\displaystyle \alpha >0} ，下列公式是最大函数的平滑函数，可微、近似于最大值函数。 对于绝对值较大的负值参数，其近似最小值函数。 S α ( x 1 , … , x n ) = ∑ i = 1 n x i e α x i ∑ i = 1 n e α x i {\displaystyle {\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {\sum _{i=1}^{n}x_{i}e^{\alpha x_{i}}}{\sum _{i=1}^{n}e^{\alpha x_{i}}}}} S α {\displaystyle {\mathcal {S}}_{\alpha }} 具有以下属性： S α → max {\displaystyle {\mathcal {S}}_{\alpha }\to \max } 当 α → ∞ {\displaystyle \alpha \to \infty } S 0 {\displaystyle {\mathcal {S}}_{0}} 是其输入的算术平均值 S α → min {\displaystyle {\mathcal {S}}_{\alpha }\to \min } 当 α → − ∞ {\displaystyle \alpha \to -\infty } S α {\displaystyle {\mathcal {S}}_{\alpha }} 的梯度近似于softmax函数，由以下公式可得： ∇ x i S α ( x 1 , … , x n ) = e α x i ∑ j = 1 n e α x j [ 1 + α ( x i − S α ( x 1 , … , x n ) ) ] . {\displaystyle \nabla _{x_{i}}{\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {e^{\alpha x_{i}}}{\sum _{j=1}^{n}e^{\alpha x_{j}}}}[1+\alpha (x_{i}-{\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n}))].} 这使softmax函数使用梯度下降的优化时很有用。 另一个平滑最大值函数例子是LogSumExp ： L S E ( x 1 , … , x n ) = log ⁡ ( exp ⁡ ( x 1 ) + … + exp ⁡ ( x n ) ) {\displaystyle \mathrm {LSE} (x_{1},\ldots ,x_{n})=\log(\exp(x_{1})+\ldots +\exp(x_{n}))} 如果 x i {\displaystyle x_{i}} 都是非负的，可产生定义域是 [ 0 , ∞ ) n {\displaystyle [0,\infty )^{n}} 和值域是 [ 0 , ∞ ) {\displaystyle [0,\infty )} 的函数 ： g ( x 1 , … , x n ) = log ⁡ ( exp ⁡ ( x 1 ) + … + exp ⁡ ( x n ) − ( n − 1 ) ) {\displaystyle g(x_{1},\ldots ,x_{n})=\log(\exp(x_{1})+\ldots +\exp(x_{n})-(n-1))} ( n − 1 ) {\displaystyle (n-1)} 项通过消除除零以外的所有零指数使得 exp ⁡ ( 0 ) = 1 {\displaystyle \exp(0)=1} ，以及 log ⁡ 1 = 0 {\displaystyle \log 1=0} 当 x i {\displaystyle x_{i}} 为零。 另一个平滑最大值函数是p范数 ： | | ( x 1 , … , x n ) | | p = ( | x 1 | p + ⋯ + | x n | p ) 1 / p {\displaystyle ||(x_{1},\ldots ,x_{n})||_{p}=\left(|x_{1}|^{p}+\cdots +|x_{n}|^{p}\right)^{1/p}} 当 p → ∞ {\displaystyle p\to \infty } ，收敛到 | | ( x 1 , … , x n ) | | ∞ = max 1 ≤ i ≤ n | x i | {\displaystyle ||(x_{1},\ldots ,x_{n})||_{\infty }=\max _{1\leq i\leq n}|x_{i}|} 。 p范数的一个优点是它是一个范数 。 因此，它是“尺度不变”的（同质的）： | | ( λ x 1 , … , λ x n ) | | p = | λ | × | | ( x 1 , … , x n ) | | p {\displaystyle ||(\lambda x_{1},\ldots ,\lambda x_{n})||_{p}=|\lambda |\times ||(x_{1},\ldots ,x_{n})||_{p}} ，它满足三角不等式。 m a x α ( x 1 , x 2 ) = 0.5 ( ( x 1 + x 2 ) + ( x 1 − x 2 ) 2 + α ) {\displaystyle {\mathcal {max}}_{\alpha }(x_{1},x_{2})=0.5\left((x_{1}+x_{2})+{\sqrt {(x_{1}-x_{2})^{2}+\alpha }}\right)} LogSumExp Softmax函数 广义均值 M. Lange, D. Zühlke, O. Holz, and T. Villmann, "Applications of lp-norms and their smooth approximations for gradient based learning vector quantization," in Proc. ESANN, Apr. 2014, pp. 271-276. (https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2014-153.pdf （页面存档备份，存于互联网档案馆）)