数据仓库升级之后,对于数据质量的关注程度更高,于是便从产品层面进行管理。从数据生产过程来看,数据质量监控平台的基本功能包括数据生产过程中的质量检验、数据入库后的质量评估以及全部生产日志的扫描存档并生成数据质量分析报告。数据生产过程中的质量监控主要对数据生产中源表结构的变化、字段信息的一致性进行规则校验,并依据校验结果进行质量评估,对存在质量问题的数据将进行自动重跑并通知后续依赖任务。入库之后的数据将进行具体到字段粒度的数据检查,可以对枚举值、字段类型,甚至数值型字段的最大最小值及均值等进行规则校验,以确定数据是否在合理的范围内变化。