黑塞矩阵

title: 定义.
content: 假设有一实值函数formula_1,如果 formula_2的所有二阶偏导数都存在并在定义域内连续,那么函数formula_2的黑塞矩阵为  或使用下标记号表示为  显然黑塞矩阵 formula_6是一个formula_7方阵。黑塞矩阵的行列式被称为黑塞式(英语:英语:Hessian),而英语环境下使用Hessian一词时可能指上述矩阵也可能指上述矩阵的行列式。
title: 性质.
content: 由高等数学知识可知,若一元函数formula_8在formula_9点的某个邻域内具有任意阶导数,则函数formula_8在formula_9点处的泰勒展开式为  其中,formula_13。  同理,二元函数formula_14在formula_15点处的泰勒展开式为  其中,formula_17,formula_18,formula_19,formula_20,formula_21,formula_22,formula_23。  将上述展开式写成矩阵形式,则有  其中,formula_25,formula_26是formula_27的转置,formula_28是函数formula_14在formula_15的梯度,矩阵  即函数formula_14在formula_15点处的formula_34黑塞矩阵。它是由函数formula_35在formula_36点处的所有二阶偏导数所组成的方阵。  由函数的二次连续性,有  所以,黑塞矩阵formula_38为对称矩阵。  将二元函数的泰勒展开式推广到多元函数,函数formula_39在formula_40点处的泰勒展开式为  其中,formula_42 为函数formula_43在formula_40点的梯度,  为函数formula_8在formula_40点的formula_7黑塞矩阵。若函数有formula_49次连续性,则函数的formula_7黑塞矩阵是对称矩阵。  说明:在优化设计领域中,黑塞矩阵常用formula_51表示,且梯度有时用formula_52表示。  函数formula_2的黑塞矩阵和雅可比矩阵有如下关系:  即函数formula_2的黑塞矩阵等于其梯度的雅可比矩阵。  与梯度类似,借助Nabla算子可以将函数formula_2的黑塞矩阵表示为<br>formula_57
title: 应用.
title: 函数的极值条件.
content: 对于一元函数formula_8,在给定区间内某formula_9点处可导,并在formula_9点处取得极值,其必要条件是  即函数formula_8的极值必定在驻点处取得,或者说可导函数formula_8的极值点必定是驻点;但反过来,函数的驻点不一定是极值点。检验驻点是否为极值点,可以采用二阶导数的正负号来判断。根据函数formula_8在formula_9点处的泰勒展开式,考虑到上述极值必要条件,有  若formula_8在formula_9点处取得极小值,则要求在formula_9某一邻域内一切点formula_70都必须满足  即要求  亦即要求  formula_8在formula_9点处取得极大值的讨论与之类似。于是有极值充分条件:  设一元函数formula_8在formula_9点处具有二阶导数,且formula_78,formula_79,则  而当formula_86时,无法直接判断,还需要逐次检验其更高阶导数的正负号。由此有一个规律:若其开始不为零的导数阶数为偶数,则驻点是极值点;若为奇数,则为拐点,而不是极值点。  对于二元函数formula_14,在给定区域内某formula_88点处可导,并在formula_88点处取得极值,其必要条件是  即  同样,这只是必要条件,要进一步判断formula_88是否为极值点需要找到取得极值的充分条件。根据函数formula_14在formula_15点处的泰勒展开式,考虑到上述极值必要条件,有  设formula_96,formula_97,formula_98,则  或  若formula_14在formula_15点处取得极小值,则要求在formula_15某一邻域内一切点formula_70都必须满足  即要求  亦即要求formula_107,formula_108  即<br>formula_109 <br>formula_110  此条件反映了formula_14在formula_15点处的黑塞矩阵formula_38的各阶主子式都大于零,即对于  要求 <br>formula_109  <br>formula_116  formula_117在formula_15点处取得极大值的讨论与之类似。于是有极值充分条件:  设二元函数formula_14在formula_15点的邻域内连续且具有一阶和二阶连续偏导数,又有formula_121,同时令formula_96,formula_97,formula_98,则  此外可以判断,当formula_133时,函数formula_14在formula_15点处没有极值,此点称为鞍点。而当formula_136时,无法直接判断,对此,补充一个规律:当formula_136时,如果有formula_138,那么函数formula_14在formula_15有极值,且当formula_141有极小值,当formula_142有极大值。  由线性代数的知识可知,若矩阵formula_38满足<br>formula_109  则矩阵formula_38是正定矩阵,或者说矩阵formula_38正定。  若矩阵formula_38满足<br>formula_149  则矩阵formula_38是负定矩阵,或者说矩阵formula_38负定。  于是,二元函数formula_14在formula_15点处取得极值的条件表述为:二元函数formula_14在formula_15点处的黑塞矩阵正定,则取得极小值;在formula_15点处的黑塞矩阵负定,则取得极大值。  对于多元函数formula_39,若在formula_40点处取得极值,则极值存在的必要条件为  formula_160  取得极小值的充分条件为  正定,即要求formula_38的各阶主子式都大于零,即 <br>formula_109  <br>formula_145 <br>formula_165 <br>formula_166 取得极大值的充分条件为  负定。

Summary: 黑塞矩阵(德语:Hesse-Matrix;英语:英语:Hessian matrix 或 英语:Hessian),又译作海森矩阵、海塞矩阵或海瑟矩阵等,是一个由多变量实值函数的所有二阶偏导数组成的方块矩阵,由德国数学家奥托·黑塞引入并以其命名。

Hessian matrix: In mathematics, the Hessian matrix or Hessian is a square matrix of second-order partial derivatives of a scalar-valued function, or scalar field. It describes the local curvature of a function of many variables. The Hessian matrix was developed in the 19th century by the German mathematician Ludwig Otto Hesse and later named after him. Hesse originally used the term "functional determinants".