三层设计:(参考阿里One Data)
ODS(Operational Data Store) 操作数据层,数据运营层
定义: 运营数据存储,是一种集成的、暂时性的数据层,用于临时存储和处理来自多个事务处理系统的数据,以便于用于操作和实时查询。这通常是一种中间站,在数据进入数据仓库之前使用。
应用实例: 在一个客户服务系统中,ODS可以用于整合来自不同呼叫中心的实时数据,以支持实时客服查询和决策。

ODS-DW-ADS数据建模

CDM(Common Data Model):公共维度模型层 CDM划分为DWD 明细数据层 DWS汇总数据层

ADS(Analytical Data Store) 应用数据层 / 分析型数据存储层

ADS
DWS
DWM
DWD (Data Warehouse Detail)
ODS

DW数据分层,由下到上为 DWD,DWB,DWS
DWD:data warehouse detail 细节数据层,有的也称为 ODS层,是业务层与数据仓库的隔离层
DWB:data warehouse base 基础数据层,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。
DWS:data warehouse service 服务数据层,基于DWB上的基础数据,整合汇总成分析某一个主题域的服务数据,一般是宽表。

1、数据加载层:ETL(Extract-Transform-Load)
2、数据运营层:ODS(Operational Data Store)
3、数据仓库层:DW(Data Warehouse)

数据明细层:DWD(Data Warehouse Detail)
数据中间层:DWM(Data WareHouse Middle)
数据服务层:DWS(Data WareHouse Servce)
三、数据应用层:APP(Application)
四、维表层:(Dimension)

ODS DIM(Dimension Data,维度数据层) DWD DWS DM APP

APP 应用数据层
APP 应用数据层
DM 数据集市
DWS
DWD
DIM
DM 数据集市...
ODS 操作层、入仓准备
ODS 操作层、入仓准备
原始数据
原始数据
公共层
公共层
应用层
应用层
业务数据
业务数据
系统数据
系统数据
其他数据
其他数据
Text is not SVG - cannot display

事实表
存放真实的信息和记录,如存放所有的用户信息。

维表
存放用户信息与其他系统间的关系(如银行卡余额),描述这种结构过程信息。

宽表
拼接表、多元素表、由多个实体信息拼合而成。通常用于展示某个对象更多的信息,如JOIN多个实体事实表后的信息。

参考文献:
https://cloud.tencent.com/developer/article/2104235
https://cloud.tencent.com/developer/article/2065091
https://blog.csdn.net/dkjhl/article/details/131431473
https://www.cnblogs.com/Chary/p/18112256

Author:undefined  Create time:2024-08-10 14:17
Last editor:undefined  Update time:2024-08-28 02:41