2米资源网

VIP
Spark大型项目实战:电商用户行为分析大数据平台138讲

【7897】-Spark大型项目实战:电商用户行为分析大数据平台138讲

  • 本站均为资源介绍,仅限用于学习和研究,不得将上述内容用于商业或者非法用途,
  • 否则一切后果请用户自负。您必须在下载后的24个小时之内,从您的电脑中彻底删除
  • 如果喜欢该资源请支持正版。如发现本站有侵权违法内容,请联系后查实将立刻删除。
  • 资源简介:Spark大型项目实战:电商用户行为分析大数据平台138讲
  • 详细描述

    Spark大型项目实战:电商用户行为分析大数据平台138讲


    课件文档代码
    001课程介绍.fiv
    002.课程环境搭建-CentOS 6.4集群搭建(1).fv
    002.课程环境搭建-CentOS 6.4集群搭建(2).fv
    003.课程环境搭建-hadoop-2.5.0-dh5.3.6集群搭建.fv
    004课程环境搭建-hive-0.13.1-cdh5.3.6安装.flv
    005,课程环境搭建-z0okeeper-3.4.5-cdh5.3.6集群搭建.iv
    006.课程环境搭建-kaka-2.9.2-0.8.1集群搭建_rec.fv
    007,课程环境搭建-flume-ng-1.5.0-cdh5.3.6安装rec.flv
    008.课程环境搭建-离线日志采集流程介绍_rec.flv
    009,课程环境搭建-实时数据采集流程介绍rec.flv
    010,课程环境搭建-Spark 1.5.1客户端安装以及基于YARN的提交模式rec.fvy
    011.用户访问session分析-模块介绍rec.fiv
    012.用户访问session分析基础数据结构以及大数据平台架构介绍_rec.fiv
    013用户访问session分析-需求分析rec.fiv
    014用户访问session分析技术方案设计_rec.fv
    015用户访问session分析-数据表设计rec.fiv
    016用户访问session分析-Eclipse工程搭建以及工具类说明_rec.fiv
    017用户访问session分析-开发配置管理组件rec.flv
    018用户访问session分析-JDBC原理介绍以及增删改查示范rec.flv
    019用户访问session分析-数据库连接池原理rec.flv
    020用户访问session分析-单例设计模式rec.fiv
    021用户访问session分析-内部类以及匿名内部类rec.fiv
    022.用户访问session分析-开发JDBC辅助组件(上)-rec.flv
    023用户访问session分析-开发JDBC辅助组件(下)_rec.flv
    024用户访问session分析-JavaBean概念讲解rec.flv
    025用户访问session分析-DAO模式讲解以及TaskDAO开发_rec.flv
    026用户访问session分析-工厂模式讲解以及DAOFactory开发_rec.flv
    027,用户访问session分析-JSON数据格式讲解以及fastison介绍rec.flv
    028,用户访问session分析-Spark上下文构建以及模拟数据生成rec.fv
    029用户访问session分析按session粒度进行数据聚合_rec.flv
    030用户访问session分析按筛选参数对session粒度聚合数据进行过滤rec.flv
    031.用户访问session分析-session聚合统计之自定义Accumulatorrec.flv
    032.用户访问session分析-session聚合统计之重构实现思路与重构session聚合_rec.flv
    033用户访问session分析-session聚合统计之重构过滤进行统计_rec.flv
    034用户访问session分析-session聚合统计之计算统计结果并写入MySQLrec.flv
    035用户访问session分析-session聚合统计之本地测试_rec.flv
    036用户访问session分析-session聚合统计之使用Scala实现自定义Accumulator-rec.flv
    037,用户访问session分析-session随机抽取之实现思路分析_rec.lv
    038用户访问session分析-session随机抽取之计算每天每小时session数量_rec.flv
    039用户访问session分析-session随机抽取之按时间比例随机抽取算法实现_rec.flv
    040用户访问session分析-session随机抽取之根据随机素引进行抽取_rec.filv
    041,用户访问session分析-session随机抽取之获取抽取session的明细数据rec.fv
    042.用户访问session分析-session随机抽取之本地测试rec.lv
    043用户访问session分析-top10热门品类之需求回顾以及实现思路分析-rec.fiv
    044用户访问session分析-top10热门品类之获取session访问过的所有品类rec.flv
    045用户访问session分析-top10热门品类之计算各品类点击、下单和支付的次数rec.flv
    046用户访问session分析-top10热门品类之join品类与点击下单支付次数rec.lv
    047,用户访问session分析-top10热门品类之自定义二次排序key_rec.flv
    048用户访问session分析-top10热门品类之进行二次排序_rec.flv
    049用户访问session分析-top10热门品类之获取top10品类并写入MysQL_rec.fv
    050用户访问session分析-top10热门品类之本地测试_rec.flv
    051用户访问session分析-top10热门品类之使用Scala实现二次排序-rec.flv
    052.用户访问session分析-top10活跃session之开发准备以及top10品类RDD生成rec.flv
    053用户访问session分析-top10活跃session之计算top10品类被各sessoin点击的次数rec.flv
    054用户访问session分析-top10活跃session之分组取TopN算法获取top10活跃session_rec.flv
    055用户访问session分析-top10活跃session之本地测试以及阶段总结rec.flv
    056用户访问session分析-性能调优之在实际项目中分配更多资源rec.fv
    057用户访问session分析-性能调优之在实际项目中调节并行度rec.fv
    058.用户访问session分析-性能调优之在实际项目中重构RDD架构以及RDD持久化rec.fv
    059用户访问session分析-性能调优之在实际项目中广播大变量rec.fv
    060用户访问session分析性能调优之在实际项目中使用Kryo序列化_rec.flv
    061用户访问session分析-性能调优之在实际项目中使用fastutili优化数据格式_rec.fv
    062用户访问session分析-性能调优之在实际项目中调节数据本地化等待时长_rec.fiv
    063用户访问session分析-JVM调优之原理概述以及降低cache操作的内存占比rec.flv
    064用户访问session分析JVM调优之调节executor堆外内存与连接等待时长rec.lv
    065用户访问session分析-Shuffle调优之原理概述rec.fv
    066,用户访问session分析-Shuffle调优之合并map,输出文件_rec.fv
    067,用户访问session分析-Shuffli调优之调节map端内存缓中与reduce端内存占比_rec.flv
    068用户访问session分析-Shuffle调优之HashShuffleManager与SortShuffleManager-rec.flv
    069用户访问session分析算子调优之MapPartitions提升Map类操作性能_rec.flv
    070用户访问session分析-算子调优之filter过后使用coalesce减少分区数量_rec.flv
    071用户访问session分析-算子调优之使用foreachPartition优化写数据库性能rec.iv
    072.用户访问session分析-算子调优之使用repartition解决Spark SQL低并行度的性能问题rec.flv
    073用户访问session分析-算子调优之reduceBykey本地聚合介绍rec.flv
    074用户访问session分析-troubleshooting之控制shuffle reduce端缓中大小以避免00M_rec.flv
    075用户访问session分析-troubleshooting之解决JVM GC导致的shuffle文件拉取失败rec.fiv
    076用户访问session分析-troubleshooting之解决YARN队列资源不足导致的application直接失败_rec.flv
    077,用户访问session分析-troubleshooting之解决各种序列化导致的报错_rec.flv
    078用户访问session分析-troubleshooting之解决算子函数返回NULL导致的问题_rec.fiv
    079用户访问session分析-troubleshooting之解决yarn-client模式导致的网卡流量激增问题rec.fiv
    080用户访问session分析-troubleshooting之解决yan-cluster模式的JVM栈内存溢出问题_rec.flv
    081.用户访问session分析-troubleshooting之错误的持久化方式以及checkpoint的使用rec.fiv
    082.用户访问session分析-数据倾斜解决方案之原理以及现象分析rec.fiv
    083,用户访问session分析-数据倾斜解决方案之聚合源数据以及过滤导致倾斜的key_rec.fv
    084,用户访问session分析数据倾斜解决方案之提高shuffle操作reduce并行度rec.flvy
    085用户访问session分析-数据倾斜解决方案之使用随机key实现双重聚合rec.flv
    086用户访问session分析数据倾斜解决方案之将reduce join转换为map join_rec.fiv
    087用户访问session分析-数据倾斜解决方案之sample采样倾斜key单独进行ioin rec.fiv
    088,用户访问session分析-数据倾斜解决方案之使用随机数以及扩容表进行join-rec.fiv
    089.页面单跳转化率-模块介绍rec.fly
    090.页面单跳转化率-需求分析、技术方案设计、数据表设计_rec.flv
    091.页面单跳转化率-编写基础代码_rec.fv
    092.页面单跳转化率-页面切片生成以及页面流匹配算法实现rec.lv
    093.页面单跳转化率-计算页面流起始页面的pv rec.flv
    094页面单跳转化率计算页面切片的转化率rec.flv
    095页面单跳转化率将页面切片转化率写入MysQL_rec.fv
    096页面单跳转化率-本地测试_rec.fvy
    097.页面单跳转化生产环境测试rec.fly
    098用户访问session分析-生产环境测试rec.flv
    099,各区域热门商品统计模块介绍rec.flv
    100,各区域热门商品统计-需求分析、技术方案设计以及数据设计_rec.fiv
    101各区域热门商品统计-查询用户指定日期范围内的点击行为数据_rec.flv
    102.各区域热门商品统计-异构数据源之从MySOL中查询城市数据rec.flv
    103.各区域热门商品统计-关联城市信息以及RDD转换为DataFrame后注册临时表rec.flv
    104各区域热门商品统计-开发自定义UDAF聚合函数之group.concat distinct)rec.flv
    105.各区域热门商品统计查询各区域各商品的点击次数并拼接城市列表rec.flv
    106.各区域热门商品统计-使用开窗函数统计各区域的top3热门商品_rec.fv
    107.各区域热门商品统计使用内置case when函数给各个区域打上级别标记rec.lv
    108.各区域热门商品统计-将结果数据写入MysQL中_rec.fv
    109.各区域热门商品统计-Spark SQL数据倾斜解决方案rec.fv
    110.各区域热门商品统计生产环境测试rec.fv
    111.广告点击流量实时统计-需求分析、技术方案设计以及数据设计_rec.lv
    112.广告点击流量实时统计-为动态黑名单实时计算每天各用户对各广告的点击次数rec.fv
    113.广告点击流量实时统计-使用高性能方式将实时计算结果写入MySQL中rec.fv
    114.广告点击流量实时统计-过滤出每个batch中的黑名单用户以生成动态黑名单_rec.fv
    115,广告点击流量实时统计-基于动态黑名单进行点击行为过滤rec.fv
    116广告点击流量实时统计-计算每天各省各城市各广告的点击量_rec.lv
    117,广告点击流量实时统计计算每天各省的top3热门广告_rec.fiv
    118.广告点击流量实时统计-计算每天各广告最近1小时滑动窗口内的点击趋势_rec.fv
    119.广告点击流量实时统计-实现实时计算程序的HA高可用性_rec.fv
    120广告点击流量实时统计-对实时计算程序进行性能调优(正确)_rec.flv
    121.广告点击流量实时统计生产环境测试_rec.fv
    122课程总结都学到了什么? _ec.v
    123.Spark 2.0-新特性介绍_rec.iv
    124.Spark 2.0-易用性:标准化SQL支持以及更合理的APL_rec.flv
    125.Spark 2.0-高性能:让Spark作为编译器来运行rec.fv
    126.Spark 2.0-新特性介绍-智能化: Structured Streaming介绍_rec.flv
    127.Spark 2.0-新特性介绍-Spark 1.x的Volcano Iterator Model深度剖析rec.fv
    128.Spark 2.0-新特性介绍-whole-stage code generation技术和vectorization技术_rec.flv
    129.Spark 2.0-5park 2.x与1.x对比以及分析、学习建议以及使用建议rec.fiv
    130.Spark 2.0-课程环境搭建:虚拟机、CentOS.Hadoop. Spark等_rec.fv
    131.Spark 2.0-开发环境搭建: Eclipse+Maven+Scala+Spark-rec.fv
    132用户活跃度分析:模块介绍以及交互式用户行为分析系统的解释_rec.fiv
    133用户活跃度分析:统计指定时间内访问次数最多的10个用户rec.flv
    134统计指定时间内购买全额最多的10个用户_rec.flv
    135.基于Spark 2.0的用户活跃度分析:统计最近一个周期相比上一个周期访问次数增长最多的10个用户_rec.fv
    136,基于Spark 2.0的用户活跃度分析:统计最近一个周期相比上一个周期购买金额增长最多的10个用户_rec.flv
    137,基于Spark 2.0的用户活跃度分析:统计指定注册时间范围内头7天访问次数最高的10个用户_rec.fiv
    138基于Spark 2.0的用户活跃度分析:统计指定注册时间范围内头7天购买金额最高的10个用户rec.flv



    Spark大型项目实战:电商用户行为分析大数据平台138讲
    百度网盘分享地址: 链接: https://pan.baidu.com/s/12bsmishGIBewFzNOnaIIsw 提取码: fvxh
    2米资源网