• 文章介绍
  • 评价建议

  • 《ETL数据增量抽取方案 》简介

    ETL 中三个字母分别代表的是Extract、Transform、Load,即抽取、转换、加载。

    (1)数据抽取:从源数据源系统抽取目的数据源系统需要的数据;

    (2)数据转换:将从源数据源获取的数据按照业务需求,转换成目的数据源要求的形式,并对错误、不一致的数据进行清洗和加工;

    (3)数据加载:将转换后的数据装载到目的数据源。ETL 作为构建数据仓库的一个环节,负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。现在越来越多地将ETL 应用于一般信息系统数据的迁移、交换和同步。

    《ETL数据增量抽取方案 》精彩内容分享

    使用了telnetlib模块,首先登录到交换机,列出并获取配置文件的名称,然后通过tftp协议将配置文件传输到文件服务器上,为避免配置文件覆盖,将备份的配置文件名称统一加入日期以作区分。 1. 登录方式和口令有好几种,比较懒惰,通过不同列表以做区分,如果每个交换机口令都不相同的话,就需要额外处理了。 2. 交换机的配置文件也有多种类型,也是通过列表进行区分。 3. 有些交换机支持ftp和sftp,但测试发现有些虽然有相应的客户端命令,但传输总有问题。也不能将每个交换机都配置为ftp服务器,不安全也不方便。最后采用tftp解决。tftp比较简单,没有办法创建目录以区分不同日期的备份

    免责声明:
    1. 本站资源转自互联网,源码资源分享仅供交流学习,下载后切勿用于商业用途,否则开发者追究责任与本站无关!
    2. 本站使用「署名 4.0 国际」创作协议,可自由转载、引用,但需署名原版权作者且注明文章出处
    3. 未登录无法下载,登录使用金币下载所有资源。
    IT小站 » 独家大数据数据清理ETL方案教程《ETL数据增量抽取方案 》免费下载

    常见问题FAQ

    没有金币/金币不足 怎么办?
    本站已开通每日签到送金币,每日签到赠送五枚金币,金币可累积。
    所有资源普通会员都能下载吗?
    本站所有资源普通会员都可以下载,需要消耗金币下载的白金会员资源,通过每日签到,即可获取免费金币,金币可累积使用。

    发表评论