24x资源网

VIP
基于Storm构建实时热力分布项目实战

【6614】-基于Storm构建实时热力分布项目实战

  • 本站均为资源介绍,仅限用于学习和研究,不得将上述内容用于商业或者非法用途,
  • 否则一切后果请用户自负。您必须在下载后的24个小时之内,从您的电脑中彻底删除
  • 如果喜欢该资源请支持正版。如发现本站有侵权违法内容,请联系后查实将立刻删除。
  • 资源简介:基于Storm构建实时热力分布项目实战
  • 详细描述

    基于Storm构建实时热力分布项目实战


    第1章 课程导学
     
    介绍课程相关背景,学习建议等等
     
     1-1 -导学 试看
     1-2 -OOTB环境使用演示
     1-3 -授课习惯与学习建议
    第2章 初识实时流处理Storm
     
    Storm作为近几年Hadoop生态圈很火爆的大数据实时流处理框架,是成为大数据研发工程师必备的技能之一。 本章将从如下几个方面让大家对于Storm有宏观上的认识:什么是Storm、Storm的发展史、Storm对比Hadoop的区别、Storm对比Spark Streaming的区别、Storm的优势、Storm应用现状及发展趋势、Storm应用案例分享...
     
     2-1 -课程目录
     2-2 -Storm是什么
     2-3 -Storm发展历史之从Twitter说起
     2-4 -Storm发展历史之Storm的成长
     2-5 -Storm技术网站介绍
     2-6 -Storm和Hadoop的区别
     2-7 -Storm和Spark Streaming的区别
     2-8 -Storm的优势
     2-9 -Storm当前现状与发展趋势
     2-10 -Storm应用案例分享
    第3章 Storm核心概念
     
    本章节将从如下几个方面带大家深入理解Storm的核心概念:初识Storm核心概念、通过日常生活的案例来理解Storm的核心概念、根据官网的描述来理解Storm核心概念、最后通过画图讲解的方式讲解Storm的核心概念。相信通过多角度对比进行讲解Storm的核心概念,让大家掌握的更加深刻。因为Storm的核心概念的理解是后续Storm课程学习...
     
     3-1 -课程目录
     3-2 -初识Storm核心概念
     3-3 -Storm核心概念理解记忆概述 试看
     3-4 -Storm核心概念理解记忆之地铁运行模型
     3-5 -Storm核心概念理解记忆之Storm
     3-6 -Storm核心概念小结
     3-7 -Storm核心概念官网详解
     3-8 -图解Storm核心概念
    第4章 Storm编程
     
    本章节将手把手带大家搭建基于IDEA+Maven的Storm的开发环境,通过案例融合Storm编程中常用API的使用以及开发过程中的注意事项。
     
     4-1 -课程目录
     4-2 -Storm开发环境搭建
     4-3 -Storm核心接口ISpout详解
     4-4 -Storm核心接口IComponent详解
     4-5 -Storm核心接口IBolt详解
     4-6 -Storm求和案例编程之Spout功能实现
     4-7 -Storm求和案例编程之Bolt功能实现
     4-8 -Storm求和案例编程之Topology提交功能实现及测试
     4-9 -Storm词频案例编程之Spout功能实现
     4-10 -Storm词频案例编程之Bolt功能实现
     4-11 -Storm词频案例编程之Topology提交功能实现及测试
     4-12 -Storm编程注意事项
    第5章 Storm周边框架使用
     
    本章节将带领大家学习Storm周边常用框架的使用,比如:ZooKeeper、Kafka、Logstash、以及Logstash与Kafka的整合使用。
     
     5-1 -课程目录
     5-2 -JDK安装
     5-3 -ZooKeeper概述及环境搭建
     5-4 -ZooKeeper使用详解
     5-5 -Logstash概述及部署
     5-6 -Logstash使用之控制台输入输出
     5-7 -Logstash使用之文件输入控制台输出
     5-8 -Kafka概述
     5-9 -Kafka架构及核心概念
     5-10 -Kafka单节点单broker的部署及使用
     5-11 -Kafka单节点多broker部署及使用
     5-12 -Kafka容错性测试
     5-13 -Logstash使用之整合Kafka
    第6章 Storm架构及部署
     
    本章节将学习Storm的架构以及各个核心组件的功能、并搭建Storm的单机环境和分布式环境、如何提交/查看/杀死Storm作业、Storm UI界面参数介绍
     
     6-1 -课程目录
     6-2 -Storm架构详解
     6-3 -Storm单机部署之前置条件及解压
     6-4 -Storm单机部署之启动Storm各节点及Storm UI界面详解
     6-5 -改写Storm作业并提交到Storm单节点集群运行
     6-6 -Storm常用命令介绍
     6-7 -Storm集群部署规划 试看
     6-8 -Storm集群部署之软件包分发和jdk部署
     6-9 -Storm集群部署之ZooKeeper分布式环境部署
     6-10 -Storm集群部署之Storm集群部署及启动
     6-11 -提交Storm作业到集群中运行&目录树介绍
    第7章 并行度
     
    本章节将重点讲解Storm的优化中的核心:并行度调整(worker数量、executor数量、task数量),将通过对代码的修改并提交到Storm环境上去运行,结合Storm UI上展示的参数效果来进行调优,让大家对于Storm的并行度有更加深入的理解,本章节是学习和面试过程中重中之重,务必掌握。...
     
     7-1 课程目录_
     7-2 -并行度概念详解
     7-3 -如何将Storm集群模式更改为单机模式
     7-4 -Storm作业运行UI页面上的参数详解
     7-5 -worker数量的设置
     7-6 -executor数量的设置
     7-7 -task数量的设置
     7-8 -acker的设置
     7-9 -并行度案例讲解及并行度动态调整
    第8章 分组策略
     
    本章节将带来大家通过代码以及UI参数展现的方式来学习Storm中的常用分组策略:Shuffle分组策略、Field分组策略、All分组策略。本章节也是Storm开发过程中务必要掌握的部分。
     
     8-1 -课程目录
     8-2 -Stream Grouping概述
     8-3 -Shuffle Grouping开发详解
     8-4 -FieldGrouping开发详解
     8-5 -AllGrouping开发详解
     8-6 -Stream Grouping其他
    第9章 Storm可靠性
     
    本章节将从如下方面来讲解Storm框架的可靠性:Worker进程、Supervisor进程、nimbus进程、节点、以及消息处理的确认机制(ack/fail)。本章节是面试过程中经常会被考核到的。
     
     9-1 -课程目录
     9-2 -Storm进程级别的容错
     9-3 -Storm的ack和fail机制
    第10章 DRPC
     
    本章节将讲解什么是RPC机制、Hadoop中的RPC使用介绍、如何开发Storm的基于本地和远程模式的DPRC编程
     
     10-1 -课程目录
     10-2 -RPC原理图解
     10-3 -基于Hadoop的RPC实现.mp4
     10-4 -Storm DRPC概述
     10-5 -Storm Local DRPC开发
     10-6 -Storm Remote DRPC及客户端代码开发
    第11章 Storm整合其他大数据框架的使用
     
    本章节将讲解Storm如何整合Redis、JDBC、HDFS、HBase、ES等常用的大数据框架综合使用。在生产环境中,Storm都是需要整合周边框架一起配合使用,各自完成自己的职责,进而完成大数据的实时流处理项目
     
     11-1 -课程目录
     11-2 -Storm整合Redis使用概述
     11-3 -Storm整合Redis编程开发
     11-4 -Storm整合jdbc概述
     11-5 -Storm整合JDBC编程开发
     11-6 -Storm整合HDFS使用概述
     11-7 -HDFS环境快速搭建
     11-8 -Storm整合HDFS编程开发
     11-9 -Storm整合HBase概述
     11-10 -HBase环境快速搭建
     11-11 -Storm整合HBase编程开发
     11-12 -Storm整合Elasticsearch概述
    第12章 Storm综合项目实战
     
    本章节将带领大家使用Logstash+Kafka+Storm+高德地图来实现基于一个交通数据的热力图的实时展示项目,通过该项目使得大家能够具备和掌握如何使用Storm来架构一个实时流处理项目的能力
     
     12-1 -课程目录
     12-2 -项目概述
     12-3 -如何采集实时区域人流量数据.mp4
     12-4 -项目架构
     12-5 -高德地图API基本使用
     12-6 -高德地图API常用工具介绍
     12-7 -高德地图热力图静态数据展示
     12-8 -Storm整合Kafka原理
     12-9 -Storm整合Kafka功能开发
     12-10 -Storm整合Kafka功能测试
     12-11 -Logstash和Kafka的整合注意事项详解
     12-12 -数据源产生器开发
     12-13 -打通整条实时流处理流程链路
     12-14 -项目处理及表结构设计
     12-15 -Storm处理结果存储到数据库中
     12-16 -通过SQL完成我们的最终结果统计
     12-17 -基于SpringBoot构建Web项目
     12-18 -动态获取数据并在高德地图上展示出热力图
     12-19 -添加统计的时间范围并在热力图上展示
     12-20 -项目扩展
    第13章 课程总结
     
    对课程回顾总结
     
     13-1 课程总结及后续课程计划
     
    基于Storm构建实时热力分布项目实战
    百度网盘分享地址: 链接: https://pan.baidu.com/s/1053MzZ0snm42tKiwbJNCaQ 提取码: gsz6
    2米资源网