两分钟搞懂数据仓库DW、ODS、DM概念

分享职场生活、职场攻略、程序员创业资源,为一线开发者提供优质内容

刚加入数据部门时,时常听到同事说ODS层,DW层,刚开始听了懵懵的,不知其具体是什么,直到自己查看了一些资料才有所了解。原来大数据这么多东西要学。

DB 是数据来源,数据来源可以是文件日志,Mysql,SqlServer等,为数据仓库提供数据来源的一般存在于现有的业务系统中。

ETL是英文Extract-Transform-Load的缩写, 用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。

Extract,数据抽取,也就是把数据从数据源读出来。

Transform,数据转换,把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下,Transform也包含数据清洗,清洗掉脏数据。

Load 数据加载,把处理后的数据加载到目标处,比如DW 数据仓库。

...

操作性数据

ODS(Operational Data Store) ,是作为数据库到数据仓库的一种过渡,ODS的数据结构一般与数据来源保持一致,便于减少ETL的工作复杂性,而且ODS的数据周期一般比较短,ODS的数据最终流入DW。

数据仓库

DW (Data Warehouse),是数据的归宿,这里保持所有从ODS到来的数据,并长期保存,而且这些数据不会被修改。

数据集市

DM(Data Mart) ,为了特定的应用目的,而从数据仓库中独立出来的一部分数据,也可称为主题数据。DM结构清晰,针对性强、拓展性好。

#“闪光时刻”主题征文 二期#