大数据程序员入门到精通教程(非常全面的资源库)

作者 : IT 大叔 本文共1441个字,预计阅读时间需要4分钟 发布时间: 2020-08-1

大数据指不用随机分析法这样捷径,而采用所有数据进行分析处理的方法。互联网时代每个企业每天都要产生庞大的数据,对数据进行储存,对有效的数据进行挖掘分析并应用需要依赖于大数据开发.

前 言

  1. 大数据技术栈思维导图
  2. 大数据常用软件安装指南

一、Hadoop

  1. 分布式文件存储系统——HDFS
  2. 分布式计算框架——MapReduce
  3. 集群资源管理器——YARN
  4. Hadoop单机伪集群环境搭建
  5. Hadoop集群环境搭建
  6. HDFS常用Shell命令
  7. HDFS Java API的使用
  8. 基于Zookeeper搭建Hadoop高可用集群

二、Hive

  1. Hive简介及核心概念
  2. Linux环境下Hive的安装部署
  3. Hive CLI和Beeline命令行的基本使用
  4. Hive 常用DDL操作
  5. Hive 分区表和分桶表
  6. Hive 视图和索引
  7. Hive常用DML操作
  8. Hive 数据查询详解

三、Spark

Spark Core :

  1. Spark简介
  2. Spark开发环境搭建
  3. 弹性式数据集RDD
  4. RDD常用算子详解
  5. Spark运行模式与作业提交
  6. Spark累加器与广播变量
  7. 基于Zookeeper搭建Spark高可用集群

Spark SQL :

  1. DateFrame 和 DataSet
  2. Structured API的基本使用
  3. Spark SQL外部数据源
  4. Spark SQL常用聚合函数
  5. Spark SQL JOIN 操作

Spark Streaming :

  1. Spark Streaming 简介
  2. Spark Streaming 基本操作
  3. Spark Streaming 整合 Flume
  4. Spark Streaming 整合 Kafka

四、Storm

  1. Storm和流处理简介
  2. Storm核心概念详解
  3. Storm单机环境搭建
  4. Storm集群环境搭建
  5. Storm编程模型详解
  6. Storm项目三种打包方式对比分析
  7. Storm集成Redis详解
  8. Storm集成HDFS/HBase
  9. Storm集成Kafka

五、Flink

TODO

六、HBase

  1. Hbase 简介
  2. HBase系统架构及数据结构
  3. HBase基本环境搭建(Standalone /pseudo-distributed mode)
  4. HBase集群环境搭建
  5. HBase常用Shell命令
  6. HBase Java API
  7. Hbase 过滤器详解
  8. HBase 协处理器详解
  9. HBase 容灾与备份
  10. HBase的SQL中间层——Phoenix
  11. Spring/Spring Boot 整合 Mybatis + Phoenix

七、Kafka

  1. Kafka 简介
  2. 基于Zookeeper搭建Kafka高可用集群
  3. Kafka 生产者详解
  4. Kafka 消费者详解
  5. 深入理解Kafka副本机制

八、Zookeeper

  1. Zookeeper 简介及核心概念
  2. Zookeeper单机环境和集群环境搭建
  3. Zookeeper常用Shell命令
  4. Zookeeper Java 客户端——Apache Curator
  5. Zookeeper ACL权限控制

九、Flume

  1. Flume简介及基本使用
  2. Linux环境下Flume的安装部署
  3. Flume整合Kafka

十、Sqoop

  1. Sqoop简介与安装
  2. Sqoop的基本使用

十一、Azkaban

  1. Azkaban简介
  2. Azkaban3.x 编译及部署
  3. Azkaban Flow 1.0 的使用
  4. Azkaban Flow 2.0 的使用

十二、Scala

  1. Scala简介及开发环境配置
  2. 基本数据类型和运算符
  3. 流程控制语句
  4. 数组——Array
  5. 集合类型综述
  6. 常用集合类型之——List & Set
  7. 常用集合类型之——Map & Tuple
  8. 类和对象
  9. 继承和特质
  10. 函数 & 闭包 & 柯里化
  11. 模式匹配
  12. 类型参数
  13. 隐式转换和隐式参数

十三、公共内容

  1. 大数据应用常用打包方式

后 记

免责声明:
1. 本站资源转自互联网,源码资源分享仅供交流学习,下载后切勿用于商业用途,否则开发者追究责任与本站无关!
2. 本站使用「署名 4.0 国际」创作协议,可自由转载、引用,但需署名原版权作者且注明文章出处
3. 未登录无法下载,登录使用金币下载所有资源。
IT小站 » 大数据程序员入门到精通教程(非常全面的资源库)

常见问题FAQ

没有金币/金币不足 怎么办?
本站已开通每日签到送金币,每日签到赠送五枚金币,金币可累积。
所有资源普通会员都能下载吗?
本站所有资源普通会员都可以下载,需要消耗金币下载的白金会员资源,通过每日签到,即可获取免费金币,金币可累积使用。

发表评论