平滑最大值

平滑最大值是最大值函数的光滑函数。其是一个参数族，在 中，对于每个参数，函数  都是平滑的。参数族内包含最大值函数，并且 当 。 平滑最小值的概念也是类似的。 在大多数情况下，一个族满足两个条件：当参数趋向于正无穷大时为函数变为最大值函数，当参数变为负无穷大时函数变为最小值函数；符号表示为：   当  ， 当 。平滑最大值也可以用于描述行为类似于最大值函数的其他平滑函数，而不一定必须在此参数族中。 

 例子 
缩略图| 平滑最大值应用于具有各种系数的'-x'和x函数。 非常光滑当 = 0.5，而 = 8更加平滑。 
当正值参数较大时，且 ，下列公式是最大函数的平滑函数，可微、近似于最大值函数。 对于绝对值较大的负值参数，其近似最小值函数。 



具有以下属性： 

 当 
 是其输入的算术平均值 
 当   

的梯度近似于softmax函数，由以下公式可得：



这使softmax函数使用梯度下降的优化时很有用。   

 LogSumExp 

另一个平滑最大值函数例子是LogSumExp ： 



如果都是非负的，可产生定义域是和值域是的函数 ： 



项通过消除除零以外的所有零指数使得，以及当为零。

 p范数函数 
另一个平滑最大值函数是p范数 ： 



当 ，收敛到。 

p范数的一个优点是它是一个范数 。 因此，它是“尺度不变”的（同质的）：  ，它满足三角不等式。 

 数值方法 

 平滑函数的其他例子 



 参见 

 LogSumExp 
 Softmax函数 
 广义均值 

 参考文献 

M. Lange, D. Zühlke, O. Holz, and T. Villmann, "Applications of lp-norms and their smooth approximations for gradient based learning vector quantization," in Proc. ESANN, Apr. 2014, pp. 271-276. (https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2014-153.pdf )

Category:集合論基本概念 Category:數學表示法