如何设计数据集市

作者 : IT 大叔 本文共1412个字,预计阅读时间需要4分钟 发布时间: 2020-10-17

数据集市数据仓库的业务用户界面。本文将提供一些最佳实践技巧,为您的业务团队设计有用的数据集市。这个问题在我以前的文章中:

“您需要什么样的数据集市?”

您的业​​务团队的需求可能彼此不同。他们可能需要自己的数据格式,例如,财务部门对销售或市场部门有其他要求。 

安全要求也必须考虑在内。不同部门不应访问或查看其他人的数据。您可能不想让其他部门查看系统上的所有财务数据。 

另一方面,部门之间将存在共享数据,为了保持真实性,数据集市设计还应在系统上具有一些通用结构。

数据集市主要致力于快速读取数据。数据有时应以摘要格式保存。因此,您的数据集市可能包含一些汇总的结构或根据您的业务团队需要计算出的指标。 

保持历史记录对于您的趋势分析和您公司的过去状况非常重要。但是,保留所有交易数据可能会花费您很多钱。因此,您可以在数据集市中创建月末或周末结构。  

因此,我们可以将上述问题合并为以下几行:

  • 业务团队需要什么?他们有不同的要求并且需要不同的数据格式吗?
  • 数据安全性对您的公司而言是否重要? 
  • 数据集市是否具有诸如维度或事实之类的通用结构?
  • 业务团队需要汇总数据吗?
  • 业务团队需要新的计算指标吗? 
  • 需要什么样的历史数据?
  • 数据集市应该有生命周期吗?

通用结构

并非每个数据都并非特定于业务部门。例如,您的客户数据在公司基础上是唯一的。因此,客户数据可以以单一格式保存,并从同一数据源传递到每个部门。  

通用结构还使您能够轻松管理系统。在ETL流程方面,您不必单独管理,计划数据集市。通用结构还提供了ETL流程的集中管理。

要设计通用结构,可以将它们分为两类:

  1. 维度:您可以将所有维度保留在一个架构或用户中。知道所有这些都是您的维度表。 
  2. 事实:事实包括您的大型主表,月末结构,交易表。 

安全

您可以阻止所有用户查询您的通用结构并为每个业务团队创建数据库角色,以定义每个团队各自的策略以及他们的数据库角色。 

出于安全原因,数据集市的业务术语可以具有视图。您可以在视图的列和行中过滤数据。但是对于性能问题,您应始终考虑不要在视图中定义复杂的查询,否则报告的阅读性能可能会下降。

汇总和计算数据

数据集市旨在实现高性能的数据读取。根据您的业务报告要求,有时您应该需要创建聚合的结构。例如,如果您有数十亿的使用情况数据,则可以保留使用情况数据总和的简单版本。有时需要根据现有数据计算新指标。例如产品成本,客户收入或客户的基于规则的细分。这种计算需要合并许多数据源。此时,可以根据需要每天,每周或每月为您的数据集市生成计算数据。

保留历史数据

有时需要将数据保存在像一些日期卑鄙结构Ë ND ö ˚F中号onth,ê ND ö ˚F W¯¯周刊或分区的交易数据。根据趋势和数据分析要求,数据深度可以是12个月,24个月或更长时间。该深度应取决于数据特征。

满足业务需求的数据集市类型

公司中的每个人都与公司拥有的所有数据无关。销售人员通常会处理订单状态;哪些订单已完成,哪些正在进行中。潜在客户也是销售部门的重点。因此,您可以设计一个具有订单数据,客户数据等的数据集市。另一方面,财务部门可能会处理付款,发票金额和其他货币。

数据集市的生命周期

数据集市是否应该有生命周期?答案有时是“是”,有时是“否”。如果为将来的某个小型团队设计数据集市,则可能会更改公司组织,并且该团队可能不再存在于您的公司中。在这种情况下,您可能不再需要该数据集市。但是,您仍然可以将数据保留在基础企业数据仓库中。

免责声明:
1. 本站资源转自互联网,源码资源分享仅供交流学习,下载后切勿用于商业用途,否则开发者追究责任与本站无关!
2. 本站使用「署名 4.0 国际」创作协议,可自由转载、引用,但需署名原版权作者且注明文章出处
3. 未登录无法下载,登录使用金币下载所有资源。
IT小站 » 如何设计数据集市

常见问题FAQ

没有金币/金币不足 怎么办?
本站已开通每日签到送金币,每日签到赠送五枚金币,金币可累积。
所有资源普通会员都能下载吗?
本站所有资源普通会员都可以下载,需要消耗金币下载的白金会员资源,通过每日签到,即可获取免费金币,金币可累积使用。

发表评论