第1部分:测试数据集成的最佳实践

作者 : IT 大叔 本文共1683个字,预计阅读时间需要5分钟 发布时间: 2020-08-30

在这个由三部分组成的系列文章中,我们将介绍测试数据集成的最佳实践,数据集成项目的质量风险以及如何制定数据集成主测试计划。继续阅读本系列的第一部分,我们将发现为什么要尽早评估风险(通常是关键),解决风险的最佳做法以及缓解常见风险的最佳做法。

介绍

领先的服务和工具数据集成提供商不断推广最佳实践,以帮助其客户提高数据质量。数据集成是数据仓库,数据迁移,数据同步和数据合并项目的中心。 

 数据集成过程有助于将结构化和非结构化数据从多个来源收集到一个位置。将数据整合到中央存储库中,可使企业中的团队获得更深刻的见解和可操作的情报,以进行更明智的决策。

进行数据集成的原因可能很多,包括应用程序更换或升级,业务流程更改,数据量增长以及性能提高。在集成过程中,通常需要使数据适合新系统中的目的。这通常需要数据验证,纠正数据源中的问题以及在数据转换,数据格式转换以及复杂的数据聚合(例如合并值或计算新值)期间进行数据测试。

数据集成工具和服务提供商认为“由于每个组织都在运行数据,因此其数据必须完整,准确并按时交付”。为了实现这些目标,数据集成项目的领导者应在开发和测试的所有阶段中实施最佳实践。

评估和测试数据集成项目风险–早期和经常发生 

在开始看到数据目标中的数据以及使用该数据的应用程序的输出之前,数据集成项目的涉众并不总是确切地知道要交付什么。

当组织的数据资产必须反映以下属性时,理想的状态是高数据质量:

  • 明确的定义和含义
  • 在提取过程中,加载到目标过程中以及分析和商业智能报告中纠正源中的值
  • 分析应用程序中可理解的演示格式
  • 有利于支持目标业务流程

图1说明了端到端数据质量审核过程中的主要检查点(测试点)。显示的是应该验证数据(提取,转换,聚合,合并等)的点–即,提取源数据,将要加载的源数据转换为目标数据库,将要加载的数据聚合到数据集市等。 

开发是团队成员实施和测试所提议的体系结构的项目阶段;通常在这个阶段花费最多的时间。

只有在数据所有者和其他利益相关者确认数据集成成功之后,才能认为整个过程已经完成。

图1:审核和验证数据集成项目中的数据质量所必需的检查点。此图显示了一个数据仓库数据集成示例。(©Tricentis)

第1部分:测试数据集成的最佳实践插图

利用最佳实践解决数据集成风险

在这一系列博客的第一篇中,我们描述了数据集成中涉及的重要过程,这些过程通常是复杂且多阶段的。在记录并批准了集成要求之后,该过程将继续对可用的企业数据源进行分析,最终为新的或升级的应用程序加载和协调数据。 

数据集成几乎总是一个复杂的过程,其中需要进行各种测试以确保数据质量。如果不遵循最佳实践,并且无法及早发现潜在风险,那么此类项目的成本可能很高。 

过去,大多数数据集成项目都涉及存储在数据库中的数据。如今,对于组织而言,将其数据库或结构化数据与来自文档,电子邮件,日志文件,网站,社交媒体,音频和视频文件的数据集成在一起也是至关重要的  。 

这里列出了在实施项目范围内和测试最佳实践时可以减轻的许多数据集成风险中的一些。

共同风险和最佳实践缓解

源数据架构和数据定义工件可能不可用或不完整,无法帮助项目规划。 

  • 最佳实践:创建或利用有意义的数据定义,数据描述和数据模型文档。

由于缺少(或过时的)遗留系统数据字典和数据模式,源数据映射不正确。 

  • 最佳实践:确保数据模型和映射文档的准确性和最新性。

由于缺少关键业务主题专家参与需求和业务规则流程,因此源数据转换不准确。 

  • 最佳实践:必须对目标数据进行测试,以确保根据业务和数据转换规则将来自数据源的所有必需数据集成到目标中。

未使用独立数据验证; 因此-  目标系统数据的质量可能不符合企业标准。 

  • 最佳实践:作为工作范围的一部分,实施独立的数据验证(例如QA部门,离岸测试)。

这些和许多其他数据集成风险(以及降低和消除每种风险的相关最佳实践)将在本系列的下一个博客中介绍。

结论

数据集成项目经常被潜在的风险淹没-从数据源中的数据质量到数据目标中的转换值。如果不能通过最佳实践适当地解决测试问题,则数据质量风险可能会使整个项目陷入瘫痪,从而使计划制定者争先恐后地寻求掩护,发起人寻求补救措施,并且预算被淘汰。 

免责声明:
1. 本站资源转自互联网,源码资源分享仅供交流学习,下载后切勿用于商业用途,否则开发者追究责任与本站无关!
2. 本站使用「署名 4.0 国际」创作协议,可自由转载、引用,但需署名原版权作者且注明文章出处
3. 未登录无法下载,登录使用金币下载所有资源。
IT小站 » 第1部分:测试数据集成的最佳实践

常见问题FAQ

没有金币/金币不足 怎么办?
本站已开通每日签到送金币,每日签到赠送五枚金币,金币可累积。
所有资源普通会员都能下载吗?
本站所有资源普通会员都可以下载,需要消耗金币下载的白金会员资源,通过每日签到,即可获取免费金币,金币可累积使用。

发表评论