AI 助教问 AI 助教
东方瑞通 · CDGA

数据质量改进

数据质量改进是按度量、剖析、预防或纠错、根因分析、修正五步实施顺序展开,并通过定义框架、识别维度与业务规则、评估与改进的循环,把质量要求嵌入业务流程的方法体系。

考点精讲

  1. 第 422 页五步实施顺序:度量(有效度量数据质量)、剖析(获取统计信息和关系模板)、预防或纠错(第一时间避免质量问题)、根因分析(找到问题根结)、修正(清理数据问题)。第 416 页表 13-2 映射戴明环:计划、执行标注数据质量团队,检查标注业务运营团队;行动行仅列第 9 项、未标团队,第 415 页图 13-2 配色将行动与检查并归业务运营团队。第 417 页图 13-3 未作分类分组:缺乏监督、数据处理工作、早期问题修复、数据录入流程、系统设计五个来源框汇入「常见的数据质量问题原因」再指向「差的数据质量」。第 426 页主张系统化解决根因,「查找和解决问题发生的地方」是最佳实践,即纠正须含预防再发。
  2. 前后置引导:需先掌握六个数据质量维度,本页讨论的是如何围绕这些维度组织改进。;质量议题延伸到大体量数据时会遇到新挑战,建议接着学习「大数据与数据科学」。

记忆技巧

方法五步记「度量·剖析·预防或纠错·根因分析·修正」;戴明环记「计划执行归质量团队、检查行动归运营团队」
三种清洗方式记「自动化纠正·人工介入·手动纠正」
最佳实践一句话记「到问题发生的地方去解决,并把预防一并做掉」

常见误区

  • 以为质量改进只靠清洗数据,忽略讲义强调根因修正与预防
  • 把检查阶段归给数据质量团队,忽略讲义明确「检查(业务运营团队)」
  • 认为删减数据可以提升质量,忽略讲义练习题把「删减数据」列为不能提升质量的方式
  • 忽略「查找和解决问题发生的地方」意味着纠正要包含防止再次发生
  • 把图 13-3 误记成「管理类/流程类/规则类/系统类」四分组——原图是五个来源框汇入一个总因,并未分四大类

真题思路

  • 【讲义原题·讲义第434页 第9题】 通过以下哪种方式不能提升数据质量( )
    数据清洗 数据增强 删减数据 数据解析和格式化
    答案:C
    解析:(讲义练习页仅印题干与选项、未印答案,本题答案依据讲义正文推导)讲义第 426 页列出的三种数据清洗方式是自动化纠正、人工介入、手动纠正,说明清洗(A)是提升质量的正规手段;数据增强(B)与数据解析和格式化(D)均为讲义第 419 页列出的数据质量工具主要功能(原文六项:数据剖析、业务规则引擎、数据解析和格式化、数据转换和标准化、数据增强、事件管理)。C「删减数据」不改变数据本身的质量水平,只是减少数据量,讲义未将其列为提升质量的方式。故选 C。

常见问题

Q:数据质量活动如何映射到戴明环?

A:计划与执行由数据质量团队承担,检查与行动涉及业务运营团队。(解析:讲义第 416 页表 13-2 显示:计划阶段含定义高质量数据、制定细则、确定初始评估范围、开展初始评估、识别改进事项与优先级、确定改进目标;执行阶段含制定操作步骤、开发部署运营工作、纠正缺陷;检查阶段由业务运营团队度量监测并报告;行动阶段为第 9 项「纠正数据质量缺陷」,原表未标团队,第 415 页图 13-2 用配色把行动与检查一并归入业务运营团队。)

Q:三种数据清洗方式是什么?

A:自动化纠正、人工介入、手动纠正。(解析:讲义第 426 页原文列出这三种。并强调系统化解决数据质量问题及其根本原因,以最大限度降低纠正措施的成本和风险。)

Q:图 13-3 里的质量问题原因是怎么组织的?

A:五个来源框汇入「常见的数据质量问题原因」,再指向「差的数据质量」,原图未作分类分组。(解析:讲义第 417 页图 13-3 目视核对:五个来源框分别是缺乏监督、数据处理工作、早期问题修复、数据录入流程、系统设计,各自挂出若干具体原因后汇入中央的「常见的数据质量问题原因」,最后指向「差的数据质量」。图中没有「管理类 / 流程类 / 规则类 / 系统类」这样的分组标签,也没有把主数据和参考数据管理不当归到某一类——它直接挂在「系统设计」这一支下。答题时若遇到「分四大类」的说法,需以原图为准。)

Q:「查找和解决问题发生的地方」是什么意思?

A:纠正措施应在问题发生处实施,并包含预防再次发生。(解析:讲义第 426 页:系统化解决数据质量问题及其根本原因,以最大限度降低纠正措施的成本和风险;「查找和解决问题发生的地方」是数据质量管理的最佳实践,这通常意味着纠正措施应包括预防数据质量问题的再次发生。)

Q:数据质量管理的第一个原则是什么?

A:聚焦关键数据。(解析:讲义第 410 至 411 页:把改进工作的聚焦点放在对组织及客户最重要的数据上;主数据和参考数据通常被定义为关键数据。这是资源有限时排序改进事项的基准。)

相关知识

教材出处:第13章 数据质量 数据质量改进

AI 助教

让 AI 助教带你深入学习,把你卡住的地方直接问它

随时为您答疑解惑

开始答疑