考点精讲
- 讲义指出大数据不仅指数据量,还指数据种类(结构化与非结构化、文档、文件、音频、视频、流数据)与生成速度。组织提升能力的最大驱动力是期望在各类业务数据集里发现新商机。讲义提出「信息收敛三角」(阿贝特信息三角):原生数据到带基本上下文的数据构成信息,再到带业务上下文的数据构成知识,进而形成洞察;时间维度上,过去对应 BI 与数据可视化、现在对应主数据、未来对应数据科学与预测分析、规范分析、机器学习。数据科学把数据挖掘、统计分析和机器学习与数据集成、数据建模相结合,构建预测模型探索模式;依赖丰富的数据源、信息对齐和分析、信息交付、信息发现和洞察呈现。传统数仓与 BI 属描述性分析,数据科学分预测性与规范性分析。过程为迭代七步:定义战略和业务需求、选择数据源、获取和引入数据源、制定假设和分析方法、整合和对齐数据、用模型探索、部署和监控。
- 前后置引导:需先掌握数据质量与元数据,大数据场景对二者提出更高要求。;新型数据形态之后进入评估,建议接着学习「数据管理成熟度评估:CMM、DMM 与 DCAM」。
记忆技巧
三类分析记「描述性=事后总结、预测性=未来可能、规范性=应该怎么做」
数据科学七步记「战略·选源·引入·假设·对齐·建模·部署监控」
常见误区
- 把大数据只理解为「数据量大」,忽略讲义同时强调种类与速度
- 把数据科学等同于机器学习,忽略讲义其范畴还包含数据挖掘、统计分析、数据可视化与集成
- 混淆预测性分析与规范性分析,忽略后者回答的是「为了实现目标应该怎么做」
- 把数据科学过程当成一次性线性流程,忽略讲义明确其迭代属性
真题思路
- 【讲义原题·讲义第460页 第1题】 数据科学的过程(活动)中,下列哪项不属于其中之一?
定义大数据战略和业务需求 制定数据假设和方法 预测性分析 部署和监控
答案:C
解析:(讲义练习页仅印题干与选项、未印答案,本题答案依据讲义正文推导)讲义第 443 页「数据科学流程迭代步骤」给出的七步是:定义大数据战略和业务需求、选择数据源、获取和引入数据源、制定数据假设和分析方法、整合和对齐数据以进行分析、使用模型探索数据、部署和监控。A、B、D 分别对应其中的第 1、4、7 步。C「预测性分析」在讲义中是与描述性分析、规范性分析并列的分析类型(第 442 页表 14-1),属于分析目标而非过程步骤。故选 C。
常见问题
Q:大数据除了数据量还强调什么?
A:数据种类与数据生成速度。(解析:讲义第 437 页原文:大数据不仅指数据量,还指其数据种类(结构化和非结构化、文档、文件、音频、视频和流数据等)以及数据生成速度。这解释了为何 5V 中的 Variety 与 Velocity 与 Volume 并列。)
Q:信息收敛三角表达了什么?
A:数据经上下文层层收敛为信息、知识、洞察,并对应过去/现在/未来的分析形态。(解析:讲义第 438 页图 14-1:原生数据到带基本上下文的数据为信息,到带业务上下文/职能的数据为知识,再到洞察;时间轴上过去为商业智能与数据可视化(下钻数据库、异常告警),现在为主数据,未来为数据科学(预测分析、规范分析、机器学习)。)
Q:描述性、预测性、规范性分析分别回答什么?
A:发生了什么及为什么、未来可能发生什么、为了实现目标应该怎么做。(解析:讲义第 442 页表 14-1 把三者对应为:描述性分析基于历史、事后总结;预测性分析基于预测模型;规范性分析基于场景做规划指导。传统数据仓库/商务智能侧重描述性,数据科学侧重预测性与规范性。)
Q:数据科学依赖哪四项?
A:丰富的数据源、信息对齐和分析、信息交付、信息发现与洞察呈现。(解析:讲义第 441 页列出四项:丰富的数据源(具有揭示隐藏规律的海量数据)、信息对齐和分析(理解数据内容并结合数据集对业务目标做假设和验证)、信息交付(执行算法与模型并输出结果)、信息发现和数据洞察的呈现。)
Q:为什么要严格管理大数据源的元数据?
A:为准确掌握数据文件清单、来源和价值。(解析:讲义第 440 页原文:大数据能否提供独特的洞察力,关键在于能否管理好这些数据;组织应该严格管理与大数据源相关的元数据,以便准确掌握数据文件的清单、它们的来源和价值。)
相关知识
教材出处:第14章 大数据与数据科学 大数据与数据科学