AI 助教问 AI 助教
东方瑞通 · CDGA

数据集成与互操作

数据集成是指数据存储、应用程序和组织内部及之间的数据流动和整合;数据互操作性是多个系统进行通信的能力;ETL(抽取、转换、加载)是二者共同的核心过程。

考点精讲

  1. 讲义指出 DII 描述数据在不同数据存储库、应用程序和组织内部与之间流动和整合的过程。目标有五项:以所需格式和时间范围提供来自不同来源的数据;通过开发共享模型和界面降低管理解决方案的成本和复杂性;识别有意义的事件并自动触发警报和操作;支持商务智能、分析、主数据管理和运营效率工作;将数据以物理或虚拟方式整合到数据中心。业务驱动因素三方面:管理数据流动、维护管理成本、跨组织共享操作和交易数据。ETL(抽取、转换、加载)的基本过程是数据集成与互操作性的核心——无论物理还是虚拟、批处理还是实时,都是在应用程序和组织之间移动数据的必要步骤;ELT 是目标系统转换能力更强时的变体。时延指从源系统生成数据到目标系统可用该数据的时间差,类型含批处理、变更数据捕获、准实时与事件驱动、异步、实时同步、低延迟或流处理。复制在多个物理位置维护精确副本。
  2. 前后置引导:建议先掌握数据存储与数据库架构类型,集成是跨存储流动数据的机制。;流动之后要落地到文档,建议接着学习「文档和内容管理:非结构化数据怎么管」。

记忆技巧

ETL 三步与 ELT 的差别记「先转后载 vs 先载后转」
时延六类型记「批·CDC·准实时·异步·实时·流」
DII 双定义记「集成=流动与整合,互操作=系统间通信能力」

常见误区

  • 把 ETL 与 ELT 当成两种互不相关的技术,忽略 ELT 是转换能力前移后的同一过程变体
  • 认为时延只存在于批处理,忽略讲义列出六种时延类型(含实时同步与流处理)
  • 把数据集成等同于数据复制,忽略复制只是在多位置维护精确副本的一种手段
  • 忽略时延的准确定义是「源系统生成到目标系统可用」的时间差,而非单纯的生成延迟或加载时长

真题思路

  • 【讲义原题·讲义第277页 第9题】 关于数据集成过程中的时延,以下说法哪项是正确的?
    时延是指数据在应用程序或系统中生成的时间延迟 时延是数据从源系统加载到目标系统的时间差 时延是指从源系统生成数据到目标系统可用该数据的时间差 只有批处理才有时延,流处理不存在时延
    答案:C
    解析:(讲义练习页仅印题干与选项、未印答案,本题答案依据讲义正文推导)讲义第 263 页原文:时延(Latency)是指从源系统生成数据到目标系统可用数据的时间差,不同的数据处理方法会导致不同程度的数据延迟,延迟可以很高(批处理)、较高(事件驱动)甚至非常低(如实时同步)。C 与原文逐字对应。A 只讲生成环节,B 只讲加载环节,均不完整;D 与讲义列出的六种时延类型相悖。故选 C。

常见问题

Q:数据集成与数据互操作的区别是什么?

A:集成是数据流动与整合,互操作是系统间通信能力。(解析:讲义第 259 页给出两个定义:数据集成是指数据存储、应用程序和组织内部及之间的数据流动和整合;数据互操作性是指多个系统进行通信的能力。二者合称 DII,共同描述数据流动相关的全过程。)

Q:ETL 与 ELT 有什么不同?

A:ELT 先加载后转换,适用于目标系统转换能力更强的场景。(解析:讲义第 262 页:ELT 是抽取、加载、转换,目标系统比源系统、中间应用系统具有更强的转换能力时可以切换为 ELT。而 ETL 的基本过程始终是数据集成与互操作性的核心。)

Q:时延有哪六种类型?

A:批处理、变更数据捕获、准实时和事件驱动、异步、实时同步、低延迟或流处理。(解析:讲义第 263 页列出这六项,并说明延迟可以是「很高(批处理)或较高(事件驱动),甚至非常低(如实时同步)」,因此不能把时延简单等同于「慢」。)

Q:复制技术的适用前提是什么?

A:源数据集和目标数据集是彼此的精确副本。(解析:讲义第 264 页:为了使散布在世界各地的用户都能拥有更短的响应时间,一些应用程序会在多个物理位置上维护数据集的精确副本以供就近访问;当源数据集和目标数据集是彼此的精确副本时,复制工具的表现最佳,源与目标的差异会给同步带来风险。)

Q:数据集成与互操作的主要业务驱动因素有哪些?

A:管理数据流动的需求、维护管理成本、跨组织共享交易数据。(解析:讲义第 260 页从三方面论述:多数组织拥有成百上千个数据库,管理数据流动已成核心职责;企业级集成设计比分散或点对点方案效率更高、成本更低;使用中心辐射型集成模式和规范化消息模型可极大降低跨组织共享数据的复杂性。)

相关知识

教材出处:第8章 数据集成和互操作 数据集成与互操作

AI 助教

让 AI 助教带你深入学习,把你卡住的地方直接问它

随时为您答疑解惑

开始答疑