设计规范,又划分为四部分:数据模型设计、命名规范、指标体系设计、词根库。流程规范,主要是从数仓管理的角度,对数仓场景下的各种流程进行约束。核心流程一共提炼出来五类:需求提交、模型设计、ETL 开发、前端开发、上线流程。质量管控规范,之所以单独列出来,是因为数据质量,跟模型设计一样,对数仓建设的成败关系极大。试想下,一个数据质量都无法保证的数据仓库,有谁会用? 数据质量规范,主要是从数据流动的角度分为三类:源端管控、数仓管理、应用管控。安全规范,随着国家、社会、企业对数据的越来越重视,另一方面随着互联网的普及使得个人隐私变的越来越难以保证,数据泄露时有发生。数据安全对于数据仓库的重要程度急速提升,所以安全规范被单列了出来。从大的层面上安全规范分为三类:网络安全、账号安全、数据安全。
04设计规范
数据模型设计
横向分层
说明
分层设计是数据架构设计的产出之一,在模型设计环节做为强制规范遵守。
分层规范
ODS
贴源层,原始数据不做变化或者仅做最简单的补全后存入。数据域划分,依据是数据源。
DWD
对数据源做清洗、转换、补全、编码转换后加载到明细数据层。数据域划分,依据参考下边的纵向分域。
DWS
汇总数据层 + 主题宽表。数据域划分,依据参考下边的纵向分域。
ADS
应用层,面向最终应用。主题域划分,依据是最终应用。生命周期也与应用同步。
层次调用规范
禁止反向调用ODS 只能被 DWD 调用。DWD 可以被 DWS 和ADS 调用。DWS 只能被 ADS 调用。数据应用可以调用 DWD、DWS、ADS,但建议优先考虑使用汇总度高的数据。ODS->DWD->DWS>ADSODS->DWD->ADS
纵向分域
定义
主题域通常是联系较为紧密的数据主题的集合,方便寻找和使用数据。
基本原则
高内聚、低耦合。数量不能太多。建议不超过十个。必须保持稳定。既能涵盖当 前所有的业务需求,又能在新业务进入时无影响地被包含进已有的数据域中或扩展新的数据域。需要结合团队和业务的实际情况,比如业务是否稳定、团队成员建模水平等。适度的抽象。太低不好适应变化,太高不易于理解使用。
分类
数据/业务主题域
依据业务流程划分,实现相对容易。
分析主