马氏距离

用来度量一个样本点P与数据分布为D的集合的距离。
假设样本点为:
数据集分布的均值为:
协方差矩阵为S。
则这个样本点P与数据集合的马氏距离为:
马氏距离也可以衡量两个来自同一分布的样本x和y的相似性:
当样本集合的协方差矩阵是单位矩阵时,即样本的各个维度上的方差均为1.马氏距离就等于欧式距离相等。
当协方差矩阵是对角矩阵时,即样本数据在各个维度上的方差可能不为1.此时,
可以看做是标准化了的欧氏距离。其中,si为样本数据在第i个维度上的标准差。

思考

1.为什么马氏距离是尺度无关的?

想判断一个点是否属于一个集合,首先计算出这个集合的中心点(通过计算这个集合中所有样本的均值向量可以得到),然后求出这个点到中心点的距离,若大于一个阈值则认为不属于这个集合。但是这样有个问题,有的集合包含的范围比较大,待分类样本虽然离此集合中心点较其他集合的中心点远,但实际上属于这个集合,这就是尺度对分类结果的影响。为了消除这个影响,计算出集合中所有数据点到中心点的平均距离,这样,范围大的集合计算出来的平均距离就会较范围小的集合平均距离大,这个平均距离就是下式中的分母:标准差。