数据清洗 数据清洗data cleaning是从记录集数据库表或数据库中检测和纠正或删除损坏或不准确的记录的过程是指识别数据的不完整不正确不准确或不相关部分然后替换修改或删除脏数据或粗数据数据清洗可以与数据加工工具交互执行也可以通过脚本进行批处理 清洗后一个数据集应该与系统中其他类似的数据集保持一致 检测到或删除的不一致可能最初是由用户输入错误传输或存储中的损坏或不同存储中类似实体的不同数据字典定义引起的 数据清理与数据确认data validation的不同之处在于数据确认几乎总是意味着数据在输入时被系统拒绝并在输入时执行而不是执行于批量数据 数据清洗不仅仅更正错误同样加强来自各个单独信息系统不同数据间的一致性专门的数据清洗软件能够自动检测数据文件更正错误数据并用全企业一致的格式整合数据