ETL过程--转

1、数据平台分为两层，基础层和应用层，基础层包括详细数据，使用类似于EDW的数据仓库模型，应用层是按主题汇总的数据。

z:V7~PAE02、数据处理(ELT)有七步，分四层存储数据：接口层、基础层、应用接口层、应用层。
c,y8rz(Ne8{0    (1) 数据抽取(Extract)：从数据源卸出数据文件。ITPUB个人空间&Z O.Pp&u*m
    (2) 数据装载(Load)：将数据文件装载到数据接口
-[-|2jb/R/OD0    (3) 数据转换1(Transform)：从数据接口转换数据到基础层(数据仓库)
u?un8V
pOQ0      (4) 总量核对(Gross Check)：核对总的行数和金额(从接口层和基础层中分别统计总量指标，例如交易笔数、交易金额…)ITPUB个人空间E-z5d _2VGt
    (5) 应用接口装载(AI Load)：从基础层(数据仓库)中计算基础指标，装载到应用接口层
%veizTl4z:Z0    (6) 指标核对(Measure Check)：核对应用指标(从接口层和应用接口层中分别统计应用指标：例如XX产品线成交笔数、退款金额)
L+j0KOdctY$Md0      (7) 应用层装载(DM Load)：从应用接口层汇总数据，装载到不同的主题集市。ITPUB个人空间)l}-iHDiP&F8m:yvy"E
3、异常处理：在(3)数据转换1时，检查数据质量，异常数据进入异常表，处理完成后返回到接口层，进入下一轮数据处理。ITPUB个人空间)BNf)^o!~+_C)k }2{+B