考点精讲
- 讲义引用 DAMAUK 白皮书的六个核心维度:有效性(数据值是否与已定义值域一致)、完备性(存储数据量与潜在数据量的百分比)、唯一性(满足对象识别的基础上不应多次记录实体实例)、准确性(正确表示实体真实程度的度量)、一致性(比较事物多种表述与定义的差异)、及时性(数据从要求的时间点起代表现实的程度)。一致性可用三种方法度量:跨记录一致性、关联数据集之间的一致性(如数据从源系统移到数据仓库后仍保持一致)、跨时间的一致性。合理性判断数据模式是否符合预期,常见术语有固定值(不依赖先前行为)与基准值(通过平均值、偏差或其他统计函数确定符合预期的最新边界)。质量改进遵循戴明环,并从质量团队识别不符合数据消费者要求的问题开始。八条原则:聚焦关键数据、标准驱动、客观度量和透明、预防、根因修正、嵌入业务流程、体系化贯彻、关联服务水平。
- 前后置引导:建议先掌握元数据管理,质量度量依赖元数据提供的定义与规则。;质量之后进入新型数据形态,建议接着学习「大数据与数据科学:信息收敛三角与 5V」。
记忆技巧
一致性三度量记「跨记录·跨数据集·跨时间」
改进原则里两个「优先」记「聚焦关键数据、预防优于纠正」
常见误区
- 把「完备性」理解为「数据没有空值」,忽略讲义定义是「存储数据量与潜在数据量的百分比」
- 认为「唯一性」要求所有字段唯一,忽略其限定是「满足对象识别的基础上」不重复记录实体实例
- 以为合理性是第六维度之一,忽略六维度出自 DAMAUK 白皮书且合理性是另一类判断术语
- 把质量方案重点放在纠正记录上,忽略讲义明确「预防优于纠正」「根因修正」
真题思路
- 【讲义原题·讲义第435页 第10题】 以下不属于数据质量管理应遵循的原则是( )
数据质量管理应覆盖从创建或采购直至处置的数据全生命周期 数据质量方案的重点应放在预防数据错误和降低数据可用性等情形上,不应放在简单的纠正记录上 数据质量报告和问题管理应纳入服务水平协议(SLA) 数据质量方案的重点应放在纠正错误上
答案:D
解析:(讲义练习页仅印题干与选项、未印答案,本题答案依据讲义正文推导)讲义第 410 页八条原则含「预防」「根因修正」「关联服务水平」「嵌入业务流程」等,其精神是预防优先、根因修正、覆盖全生命周期并把报告与问题管理纳入 SLA——A、B、C 分别对应「嵌入/覆盖全生命周期」「预防」「关联服务水平」。D「重点放在纠正错误上」与讲义「预防」原则直接冲突。故选 D。
常见问题
Q:DAMAUK 白皮书给出的六个数据质量维度是什么?
A:有效性、完备性、唯一性、准确性、一致性、及时性。(解析:讲义第 412 页原文:DAMAUK 发布了一份白皮书,描述了数据质量的 6 个核心维度,即上述六项,并给出每项的含义描述。)
Q:一致性可以从哪三个角度度量?
A:跨记录、关联数据集之间、跨时间。(解析:讲义第 413 页给出三种度量:跨记录一致性指相同列中数据值之间的一致性;关联数据集之间的一致性指数据从源系统移到数据仓库后值应保持一致;跨时间的一致性用于判断之前的判断标准是否被一致执行。)
Q:数据质量改进用的是什么循环?
A:戴明环(PDCA:计划—执行—检查—行动)。(解析:讲义第 415 页图示数据质量管理环,计划与执行由数据质量团队承担,检查与行动涉及业务运营团队;改进从识别不符合数据消费者要求的数据问题、寻找根因开始。)
Q:什么叫关键数据?
A:对组织及客户最重要的数据,主数据与参考数据通常属之。(解析:讲义第 411 页:数据质量管理的第一个原则是把改进聚焦在对组织及客户最重要的数据上;关键数据常用于监管、财务或管理报表、业务运营需求、度量产品质量和客户满意度、商业战略;主数据和参考数据通常被定义为关键数据。)
Q:数据质量的三个目标是什么?
A:使数据适合其目的、定义质量控制标准与规范、度量监控并报告质量水平。(解析:讲义第 408 页给出四项(含识别并倡导改进机会):基于数据消费者需求制定受控方法使数据适合其目的;在生命周期中定义数据质量控制的标准、要求和规范;定义并实施测量、监控和报告数据质量水平的流程;通过流程和系统改进识别并倡导提升质量的机会。)
相关知识
教材出处:第13章 数据质量 数据质量的六个核心维度