马氏距离: Mahalanobis距离是基于样本均值和方差的距离。直观的理解是如果某一维的方差(差异)越大,那么他的比重就应该越小(关于差异越大,比重越小这点使我联想到信息论中,当某件事出现的概率越大其包含的信息量越小的结论。但注意这个地方是同一维,既然是同一维当然差异性越大表示它越noise,希望它越稳定越好,所以不能跟信息论上的东西对混淆起来。)。
目前Mahalanobis的权重矩阵很多是通过learning得到的。给定了一些正约束和反约束,即some points are labeled same while some labeled differenetly. Based on these constraint, the weight matrix A is yielded by optimising the convex program generated.
似乎可以应用到bag-of-words模型中,因为bag-of-words模型中标识向量的每一维其实对应了一组向量,这组向量的差异性更应该可以影响距离的度量。也就是说如果某一维对应的向量的方差(差异)越大,那么这些向量是比较noise的,相应的就应该减小他的比重。 Maybe we can compare it with the distance metric EMD, which consider the distance between the centers of each bin of the histgram related.