0371-55933771全国咨询:13303826148(微信)
一阶段课程:大数据开发语言基础
主要内容:基本程序逻辑、面向对象深入、异常处理机制、常用类、集合&泛型、多线程、MySQL基础、远程仓库、DDL/DCL/DML/DQL、SQL优化、批量处理事务DBUtil、Git管理文件版本、pom.xml详解。
核心能力培养:掌握Java核心技术、掌握MySQL数据库、掌握利用JDBC操作数据库。
第二阶段课程:离线场景下的数据存储和计算
主要内容:企业常用Linux命令、awk,sed,seq,xargs进阶命令、HDFS分布式文件系统、MapReduce并行计算、Yarn资源分配、Hive数据仓库、Flume日志实时采集、Sqoop数据导入导出工具。核心能力培养:掌握Hadoop生态技术栈:HDFS,MapReduce,Yarn,Zookeeper,Hive,Flume,Sqoop等,掌握ETL技术:Kylin、kettle等、BI工具:Superset、Echarts。
项目实战:企业级电商大数据分析系统之离线数据仓库项目、客快物流大数据项目。
第三阶段课程:数仓建设和实时检索
主要内容:Redis概述、Redis事务、Jedis和Spring整合、Hbase整体架构、API的使用方式、数据结构检索与搜索原理、search搜索相关算法、kafka安装和使用、kafka运行流程和文件存储、分区原则、消息可靠性。
核心能力培养:掌握No SQL数据库:Redis,HBase,掌握数据仓库设计和建设,掌握实时检索Elastic Search技术。
项目实战:车联网实时检索项目
第四阶段课程:Scala编程&Spark分布式计算框架
主要内容:Scala概述、Scala程序逻辑、Scala面向对象编程、隐式转换、Scala集合、函数式编程、单向环形链表、约瑟夫问题、Spark概述、Spark安装和使用、RDD&算子、Spark SQL、DataSet DataFrame、SparkStreaming、Spark调优。
核心能力培养:掌握Scala语言和算法,掌握Spark分布式计算框架。
项目实战:万网信号大数据项目、智能车流量监控平台项目。
第五阶段课程:实时计算与数据挖掘
主要内容:Spark MLlib算法、Spark MLlib统计分析、Spark MLlib分类和回归、Spark MLlib聚类和降维、Spark MLlib关联规则与推荐算法、Flink状态管理与恢复、Flink的Time详解、Flink SQL、Flink的事件处理。
核心能力培养:掌握数据挖掘、掌握Flink计算引擎。
项目实战:企业级电商实时数仓项目、推荐系统项目、智慧交通平台。