实施高效大数据架构的5个步骤

作者 : IT 大叔 本文共2296个字,预计阅读时间需要6分钟 发布时间: 2020-08-23

当前的市场动态不允许放缓。数字颠覆者已经利用AI,无服务器数据平台和无缝分析等方面的创新技术,彻底颠覆了传统业务模型。Covid-19大流行带来的当前市场挑战仅加剧了对快速,灵活的服务产品的需求。为了保持竞争力和相关性,当今的企业必须迅速采取行动,在旧有基础架构的基础上部署新数据技术,以推动市场驱动的创新,例如个性化报价,实时警报和预测性维护。

但是,随着企业努力实施从流处理到分析和数据湖的最新数据技术,许多人发现他们的数据体系结构陷入了大量数据,而旧程序无法有效管理或正确利用这些数据。

您的组织可以进行五项基本转变,以实现新功能的快速部署并简化现有的架构方法。这些转变中的一些可以在保持核心技术堆栈完好无损的情况下实施,而另一些则需要对现有基础架构进行仔细的重新架构。

1.转向基于云的平台

在驱动完全不同的数据架构方法方面,云一直是最具破坏力的力量。它为公司提供了一种快速扩展工具和功能以获得竞争优势的方法。云是一种出色的均衡器,因为它允许各种规模的组织大规模地获取,部署和运行数据基础架构平台和应用程序。

关键技术:

无服务器数据平台-这些平台使组织能够构建和运行以数据为中心的应用程序,并具有无限的可扩展性,并消除了现场配置和管理工作负载的麻烦,从而减少了开销。这些技术的易用性意味着解决方案可以在数分钟内而不是数周内部署,并且减少了总体运营开销。

容器化数据解决方案– Kubernetes使公司能够解耦和自动化其他数据存储系统的部署和计算能力。这有助于确保具有更复杂设置的平台仍然可以根据需要扩展以满足需求。

2.从批处理转移到实时处理

实时数据流功能为当今一些最前沿的业务应用提供了动力。来自工厂车间传感器的数据可帮助制造商预测维护问题;保险公司可以基于来自智能设备的实时行为数据来个性化费率,客户可以以秒为单位的准确性跟踪他们从餐厅到门口的食物交付。由于有了云,降低了数据和计算能力的价格,从而大大降低了实时数据消息传递和流传输的成本,使该技术可用于各种规模的组织。

实时流功能使数据使用者可以订阅“主题”,因此他们可以不断接收与其需求相关的交易。通常将其存储在一个数据湖中,该湖保留所有粒度的详细信息以进行深入分析和预测。

关键技术:

消息传递平台–现代消息传递平台提供可扩展且具有容错能力的发布/订阅服务,该服务每秒可处理和存储数百万条消息。与传统消息队列相比,这可以提供实时支持并绕过现有的基于批处理的解决方案,从而降低了成本并减少了占用空间。

流分析解决方案– 这些系统允许对消息进行实时直接分析,并将历史数据与当前消息进行比较,以建立趋势并生成预测和建议。

3.从COTS(商用现货)升级到自定义解决方案

当它们达到一定规模时,组织可能会发现自己冲破了其COTS(现成的商业)解决方案的界限。为了解决这个问题,许多人正在转向定制的,高度模块化的数据体系结构,这些数据体系结构使用了同类最佳且通常为开源的组件,可以根据需要进行升级而不会损害体系结构的其他方面。

关键技术:

基于API的接口– 在您的数据管道中实施时,这些接口使不同的独立团队免受与其无关的层的复杂性的影响,从而缩短了产品上市时间并减少了人为错误的可能性。随着需求的变化,它们还使组件更换更加容易。

分析工作台– 这些服务可实现模块化组件(如数据库和服务)之间的端到端通信

4.分离的数据访问

API可以帮助您解除数据访问的耦合,并确保对访问和查看数据的直接访问受到限制和安全。这提供了对通用数据集的更快访问,并允许团队之间重复使用数据,从而实现了无缝协作并提高了效率。

关键技术: 

API网关– 这使您可以创建和发布以数据为中心的API,从而使您能够控制访问,实施使用策略并评估性能。

数据缓冲– 许多组织发现必须有一个数据平台来缓冲核心系统外部的事务。这可能是针对每个团队的预期工作负荷而存在的数据湖,仓库或其他数据存储体系结构。

5.转向基于域的数据架构

许多组织不是将所有企业数据存储在一个位置,而是过渡到基于域的体系结构,该体系结构将数据集的所有权转移到使用它们的团队(即营销,销售等)。这允许每个业务域组织其数据以一种对他们的用户来说更易消耗的方式。当遵守不断变化的法规或流动性限制时,此方法可能非常有效。

关键技术:

数据基础设施即平台–这些服务提供了用于存储和管理的通用工具和功能,使数据生产者能够快速实现其数据要求,而无需构建自己的平台。

数据分类工具– 这些工具无需完全访问即可进行数据搜索和浏览。数据目录通常还提供元数据定义和简化的界面,以从任何地方访问数据资产。

如何实现现代数据架构

数据和技术领导者需要能够快速评估和部署新技术,以跟上现代数据创新的步伐。有一些实践可以帮助建立一个数据转发组织,并为您提供跟上最新技术和最佳实践的准备:

  1. 请记住,失败是学习的机会。愿意尝试不同的组件和概念来快速确定有效的方法,更重要的是,确定哪些无效。“测试和学习” 的敏捷实践将帮助您的组织开发最低限度的可行产品,可以对其进行测试以确定其在实施之前的价值。
  2. 投资于DataOps。DataOps是增强的数据DevOps,它将帮助加速新组件的设计,开发和部署,以便团队可以快速实施更改并在需要时更新解决方案。
  3. 创建数据积极的文化。 教员工如何使用数据服务来增强工作效率并简化工作。确保您的数据策略与更大的业务目标联系在一起,以保留高级主管的支持。

随着数据,分析和AI越来越嵌入大多数企业的日常运营中,很明显,需要完全不同的数据架构来创建和培育以数据为中心的企业。采用现代数据架构的领导者将确保他们的组织在当今瞬息万变的市场中保持敏捷,有弹性和竞争力。

免责声明:
1. 本站资源转自互联网,源码资源分享仅供交流学习,下载后切勿用于商业用途,否则开发者追究责任与本站无关!
2. 本站使用「署名 4.0 国际」创作协议,可自由转载、引用,但需署名原版权作者且注明文章出处
3. 未登录无法下载,登录使用金币下载所有资源。
IT小站 » 实施高效大数据架构的5个步骤

常见问题FAQ

没有金币/金币不足 怎么办?
本站已开通每日签到送金币,每日签到赠送五枚金币,金币可累积。
所有资源普通会员都能下载吗?
本站所有资源普通会员都可以下载,需要消耗金币下载的白金会员资源,通过每日签到,即可获取免费金币,金币可累积使用。

发表评论