数据预处理--归一化/标准化/正则化

    Hurray 2065次浏览 0条评论 978字

#算法

## 关于定义 __归一化方法__:1、把数变为(0,1)之间的小数主要是为了数据处理方便提出来的,把数据映射到0~1范围之内处理,更加便捷快速。2、把有量纲表达式变为无量纲表达式 归一化是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为纯量。 __标准化方法__: 数据的标准化是将数据按比例缩放,使之落入一个小的特定区间。由于信用指标体系的各个指标度量单位是不同的,为了能够将指标参与评价计算,需要对指标进行规范化处理,通过函数变换将其数值映射到某个数值区间。 作者:艾华丰 链接:https://www.zhihu.com/question/20467170/answer/15214028 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 __正则化__:在求解最优化问题中,调节拟合程度的,参数一般称为正则项,越大表明欠拟合,越小表明过拟合,推荐中主要用在矩阵分解中。 ## 标准化(Z-Score),或者去除均值和方差缩放 也叫标准差标准化,经过处理的数据符合标准正态分布,即均值为0,标准差为1,其转化函数为: ![](https://file.hurray0.com/uploads/menu/81/3939bd2c4f3f23877872a054a0d71e75.png) 其中μ为所有样本数据的均值,σ为所有样本数据的标准差。 ## min-max标准化(Min-max normalization) 也叫离差标准化,是对原始数据的线性变换,使结果落到[0,1]区间,转换函数如下: ![](https://file.hurray0.com/uploads/menu/81/eed65a65b76a296a773234405d2862df.png) 其中max为样本数据的最大值,min为样本数据的最小值。这种方法有一个缺陷就是当有新数据加入时,可能导致max和min的变化,需要重新定义。 ## 正则化(Normalization) ![](https://file.hurray0.com/uploads/menu/81/bc6daa0b4e329e4a9c1920573cea1f1c.png) ## log函数转换 通过以10为底的log函数转换的方法同样可以实现归一下,具体方法如下: ![](https://file.hurray0.com/uploads/menu/81/5c512cf92d04d8b3b7c63e988ae12348.png) 看了下网上很多介绍都是x*=log10(x),其实是有问题的,这个结果并非一定落到[0,1]区间上,应该还要除以log10(max),max为样本数据最大值,并且所有的数据都要大于等于1。 ## atan函数转换 用反正切函数也可以实现数据的归一化: ![](https://file.hurray0.com/uploads/menu/81/6a4dbd3fc7e0243c5e0ef1476669b682.png) 使用这个方法需要注意的是如果想映射的区间为[0,1],则数据都应该大于等于0,小于0的数据将被映射到[-1,0]区间上。 而并非所有数据标准化的结果都映射到[0,1]区间上,其中最常见的标准化方法就是Z标准化,也是SPSS中最为常用的标准化方法。

最后修改: