版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。
版权
机器学习专栏收录该内容
43 篇文章3 订阅
订阅专栏
归一化是缩放单个样本以具有单位范数的过程, 把数据变成(0,1)之间的小数,把有量纲的表达式变成无量纲的表达式,(成为了一个相对值),常用的方法为:
x ′ = x − min ⁡ ( x ) max ⁡ ( x ) − min ⁡ ( x ) x^{\prime}=\frac{x-\min (x)}{\max (x)-\min (x)}x′=max(x)−min(x)x−min(x)
这里要注意的是,归一化的缩放可按比例也可以不按比例,所以可能改变样本的分布。
归一化好处如下:
加速模型的收敛
未归一化的数据不同特征的分布可能是个椭圆形:
这就导致了梯度下降时走的路线折来折去,因为梯度的方向总是垂直于损失损失函数的等高线方向
经过归一化后的等高线呈圆形:
这样就能避免走折线,从而加速模型的收敛。提高模型精度
不同特征可能量纲不同会导致计算上的误差,比如KNN模型中,计算两个样本之间的距离,不归一化的情况下,距离很大程度上取决于值域范围较大的特征,这样显然时不合理的。
往上有说到个归一化和标准化的区别,个人理解时标准化是归一化的一种形式。
一般归一化的方法: x ′ = x − min ⁡ ( x ) max ⁡ ( x ) − min ⁡ ( x ) x^{\prime}=\frac{x-\min (x)}{\max (x)-\min (x)}x′=max(x)−min(x)x−min(x)标准化归一化的方法: x ∗ = x − μ σ x^{*}=\frac{x-\mu}{\sigma}x∗=σx−μ其他方法比如取log等,优点类似于分桶
收藏
一键三连
扫一扫,分享海报
专栏目录