三层设计:(参考阿里One Data)
ODS(Operational Data Store) 操作数据层,数据运营层
定义: 运营数据存储,是一种集成的、暂时性的数据层,用于临时存储和处理来自多个事务处理系统的数据,以便于用于操作和实时查询。这通常是一种中间站,在数据进入数据仓库之前使用。
应用实例: 在一个客户服务系统中,ODS可以用于整合来自不同呼叫中心的实时数据,以支持实时客服查询和决策。
ODS-DW-ADS数据建模
CDM(Common Data Model):公共维度模型层 CDM划分为DWD 明细数据层 DWS汇总数据层
ADS(Analytical Data Store) 应用数据层 / 分析型数据存储层
ADS
DWS
DWM
DWD (Data Warehouse Detail)
ODS
DW数据分层,由下到上为 DWD,DWB,DWS
DWD:data warehouse detail 细节数据层,有的也称为 ODS层,是业务层与数据仓库的隔离层
DWB:data warehouse base 基础数据层,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。
DWS:data warehouse service 服务数据层,基于DWB上的基础数据,整合汇总成分析某一个主题域的服务数据,一般是宽表。
1、数据加载层:ETL(Extract-Transform-Load)
2、数据运营层:ODS(Operational Data Store)
3、数据仓库层:DW(Data Warehouse)
数据明细层:DWD(Data Warehouse Detail)
数据中间层:DWM(Data WareHouse Middle)
数据服务层:DWS(Data WareHouse Servce)
三、数据应用层:APP(Application)
四、维表层:(Dimension)
ODS DIM(Dimension Data,维度数据层) DWD DWS DM APP
事实表
存放真实的信息和记录,如存放所有的用户信息。
维表
存放用户信息与其他系统间的关系(如银行卡余额),描述这种结构过程信息。
宽表
拼接表、多元素表、由多个实体信息拼合而成。通常用于展示某个对象更多的信息,如JOIN多个实体事实表后的信息。
参考文献:
https://cloud.tencent.com/developer/article/2104235
https://cloud.tencent.com/developer/article/2065091
https://blog.csdn.net/dkjhl/article/details/131431473
https://www.cnblogs.com/Chary/p/18112256
Last editor:undefined Update time:2024-08-28 02:41