考点精讲
- 讲义给出概念性 DW/BI 大数据架构链路:数据从源系统移动到暂存区被清洗、增强,再被集成并存储在数据仓库或操作型数据存储(ODS),随后经数据集市、多维立方体等供 BI 应用使用,同时可接入数据湖、非结构化分析、预测分析。企业信息工厂(CIF)中,暂存区介于业务系统源数据与目标仓库之间,仓库为企业数据提供统一的整合入口,数据集市服务面向主题的分析需求。仓库与数据湖的分工:仓库主要处理历史的、结构化的数据,数据须与事先定义的模型吻合,属写入型;数据湖存储各种原始数据,能处理结构化、非结构化、半结构化数据,类型依原始格式而定,属读取型。数据湖用途含数据科学家挖掘分析的环境、原始数据集中存储、仓库明细历史数据的备用存储、在线归档、提取流数据。基于服务的架构(SBA)分批量处理层、快速处理层、服务层。
- 前后置引导:需先掌握数据仓库四特征与 Inmon/Kimball 方法差异,本页讨论的是架构如何组装。;仓库与湖之后是元数据,建议接着学习「元数据的三种类型与价值」。注:本页顺序上承第 21 页,正文按知识依赖排列。
记忆技巧
仓库与湖记「仓库:结构化+先定义模式(写入型);湖:原始+读时才定义(读取型)」
SBA 三层记「批量层·快速层·服务层」
常见误区
- 认为数据湖就是「更大的数据仓库」,忽略二者在模式定义时机与数据结构上的本质差异
- 把数据暂存区当成仓库的一部分成果,忽略它是介于源系统与仓库之间的过渡区
- 以为操作型数据集市一定从数据仓库取数,忽略讲义练习曾以该说法为错误项
- 忽略数据湖也可作为仓库明细历史数据的备用存储与在线归档
真题思路
- 【讲义原题·讲义第366页 第8题】 在CIF的语境下描述数据仓库,其各个组成部分的职能描述错误的是?
数据集市为后续的数据分析提供数据 数据暂存区是介于业务系统源数据和目标数据仓库之间的一个数据库 数据仓库为企业数据提供了一个统一的整合入口 操作型数据集市一定从数据仓库获取数据
答案:D
解析:(讲义练习页仅印题干与选项、未印答案,本题答案依据讲义正文推导)讲义第 345 页对企业信息工厂(CIF)的说明是:数据暂存区介于业务系统源数据与目标数据仓库之间;数据仓库为企业数据提供统一的整合入口;数据集市为后续数据分析提供数据。而「操作型数据集市」按其定位直接服务于操作型/运营分析需求,并不必然从数据仓库取数,D 的「一定」属于绝对化误述。故选 D。
常见问题
Q:数据仓库与数据湖的核心差别是什么?
A:数据结构类型与模式定义时机不同。(解析:讲义第 351 页对比表:数据仓库主要处理历史的、结构化数据,数据须与事先定义的模型吻合,属写入型(设计在实施之前);数据湖存储各种原始数据,能处理结构化、非结构化、半结构化数据,类型依数据源原始格式而定,属读取型(写入分析时)。)
Q:数据湖可以用来做什么?
A:供数据科学家分析、集中存储原始数据、作为仓库明细历史备用存储、在线归档、提取流数据。(解析:讲义第 447 页列出五种用途。这解释了为何数据湖常与数据仓库并存而非替代。)
Q:SBA 三层架构分别是什么?
A:批量处理层、快速处理层、服务层。(解析:讲义第 448 页:批量处理层由数据湖充当,同时包含最新数据和历史数据;快速处理层仅包含实时流式数据;服务层提供连接批量处理和快速处理层数据的接口,形成合并视图。)
Q:数据暂存区的作用是什么?
A:介于源系统与目标数据仓库之间,用于清洗、增强与集成。(解析:讲义第 445 页与第 366 页均说明:数据先从源系统移动到暂存区并被清洗、增强,然后被集成并存储到数据仓库或 ODS;因此暂存区是过渡性组件而非最终存储。)
Q:什么是 ODS?
A:操作型数据存储,与数据仓库并列的集成后存储形态。(解析:讲义第 445 页架构图把 ODS 与中心数据仓库并列画在集成之后,说明 ODS 承载的是面向操作/运营的近期整合数据,而中心仓库承载面向主题、非易失、随时间变化的历史数据。)
相关知识
教材出处:第11章 数据仓库和商务智能 数据仓库架构组件