北京大数据开发培训班

【课程介绍】

    本专业拥实战经验与教学经验丰富的教师团队，以大数据的实训课程为主。阶段：Java基础语法，面向对象程序设计，常用工具类。第二阶段：电商基础框架（数据库，静态、动态网站开发与部署，网站开发三大框架）。第三阶段：爬虫搜索系统（东京爬虫开发，分布式搜索系统）；第四阶段：分布式电商系统（电商网站主体架构搭建，电商网站商品管理，网页静态化搜索，单点登录及购物流程实现，百万级网站部署优化）；第五阶段：构建离线数据分析平台；第六阶段：构建实时数据分析平台，第七阶段：推荐系统算法与源代码分析。采用学练测评一体化的教学方案，**每个学员都能真真正正学到技术，掌握要点。

【课程内容】

阶段：Java语言入门

• 计算机基础知识：1.计算机基础；2.DOS常用命令；3.Java概述；4.JDK环境安装配置；5.环境变量配置；6.Java程序入门
• 编程基础：常量与变量；2.数据类型；3.运算符；4.流程控制语句；5.方法；6.数组
• 面向对象：1.面向对象思想；2.类与对象；3.成员变量和局部变量；4.封装；5.this关键字；6.构造方法
• 常用类：1.Object类；2.Scanner类；3.Random类；4.String；5.StringBuilder类
• 集合：1.集合概述；2.集合特点；3.ArrayList集合
• IO：1.字符输入流；2.字符输出流；3.字符缓冲输入流；4.字符缓冲输出流；5.复制文件；6.集合与文件中数据相互读写

第二阶段：电商基础架构：

• 数据库：Mysql安装配置、SQL语法入门、数据导入导出；数据建模、SQL查询、JDBC入门、SQL注入、事务管理、批处理、连接池（Druid）、DBUtils框架
• 静态网站开发与部署：HTML、CSS、JavaScript、BootStrap、Linux常用操作、Nginx服务器 网页配置
• 动态网站开发与部署：Tomcat服务器、HTTP协议、servlet、JSP入门、JSTL(forEach)、EL、JQuery基础、Ajax、Cookie、Session、JavaMail注册、Redis入门、log4j、Slf4j
• 网站开发三大框架：1.计算机基础；2.DOS常用命令；3.Java概述；4.JDK环境安装配置；5.环境变量配置；6.Java程序入门

第三阶段：爬虫搜索系统

• 爬虫开发：网络爬虫、Redis、Redis Cluster、Redis Cluster、动态代理
• 分布式搜索系统：Lucene、Solr、Solr Cloud

第四阶段：分布式电商系统

• 电商网站主体架构搭建：电商基础知识、背景分析、项目需求分析、Dubbo、AngularJS、商家管理平台、网站管理平台、商家入驻审核
• 电商网站商品管理：电商核心业务实现
• 页面静态化及搜索：freemarker静态化、首页轮播图管理、首页楼层管理、Solr、商品及店铺搜索
• 单点登录及购物流程实现：单点登录（SSO）、购物车的实现、ActiveMQ消息队列、支付宝系统对接
• 百万级网站部署及优化：Nginx、Hudson、Solr Cloud、Docker容器部署、热部署、高并发

第五阶段：构建离线数据分析平台

• 大数据分析基础课：数据分析、数据分析基本步骤、数据分析师的职业发展、常用的数据分析方法论、大数据时代的思维变革、商业变革、管理变革
• 海量数据分布式存储框架：点击流日志系统解决方案、点击流日志系统部署及电商项目集成、Hadoop集群搭建、Hadoop HDFS数据存储原理、Flume点击流日志数据采集
• 数据仓库管理与数据分析：数据仓库基本概念、数据仓库工具HIVE快速入门、创建点击流数据数据仓库、点击流数据分析（HiveSql）、点击流数据分析结果导出（Sqoop）、报表平台开发及数据展示、点击流数据分析需求开发、调度系统使用及说明、Sqoop采集Mysql数据、跨部门数据采集管理之FTP规范、数据质量检测与元数据管理
• Hive开发与分布式计算框架：Hadoop ；HIve ；UDF函数编写、Hadoop ；MapReduce计算模型、Hadoop ；MapReduce ；案例开发；Hadoop ；MapReduce ；案例开发、HadoopMapReduce原理剖析；Hadoop ；NameNode元数据备份、Hadoop ；NameNode ；HA、企业海量数据分析平台规划。
• 分布式内存计算框架：升级Hive执行引擎为Spark、使用Spark Sql完成点击流日志业务需求、打通Spark数据收集、存储、计算、展示流程、使用Spark处理业务数据、Spark 核心概念（RDD、DAG）、探讨分布内存文件系统Alluxio的使用

第六阶段：构建实时数据分析平台

• 实时计算基础课：实时计算平台解决方案、Kafka基础与常用API、使用Flume收集数据到Kafka、使用Storm对数据进行分析、Flume+Kafka+Storm+Redis+Mysql整合
• 实时分析系统案例：实时日志分析需求、实时日志分析结构说明、实时日志分析代码开发
• 推荐系统：Hbase列式数据库、实时用户行为轨迹、电商网站集成推荐系统介绍、推荐系统开发流程、使用Mahout的离线计算数据MapReduce离线数据清洗、Storm实时数据清洗、推荐引擎集成
• 大数据搜索系统：开源分布式搜索引擎（Elasticsearch、Logstash和Kibana 

第七阶段：推荐系统算法与源码分析

• Python与机器学习：Python入门、机器学习概论、机器学习决策树与Python案例、机器学习KNN与Python案例、机器学习SVM与Python案例、机器学习神经网络与Python案例
• Scala语言与Spark核心：Scala基础、Spark Core
• 分布式框架原理：Spark源码编译、Master和Worker启动流程源码分析、SparkContext创建过程源码分析、Master资源调度源码分析、DAGScheduler执行过程、DAG划分Stage过程、TaskScheduler提交Task过程等等，Storm源码编译、任务提交机制分析、任务分配机制分析、任务执行、任务运行机制等等

【师资介绍】

马志强    技术讲师

熟悉应用部署，熟悉tomcat/weblogic等应用服务器，熟悉Oracle，MySQL等数据库。

工作经历（4年）

广东发展银行信用卡中心

邮政储蓄银行数据中心

孟晓伟   技术讲师

计算机专业出身，精通云计算大数据的服务搭建，有多年技术讲师工作经验。

工作经历（4年）

小米科技-中级工程师

软通动力-技术培训师

【就业方向】

大数据作为新兴行业之一，人才需求在一直居高不下，技术方向有Hadoop 大数据开发方向；数据挖掘、数据分析和机器学习方向；大数据运维和云计算方向。涉及政府办公，金融服务，税务管理，社保服务，医疗安全，教育等各类行业。相关的职位有大数据开发工程师、大数据架构师、大数据分析工程师、大数据咨询顾问、大数据统计工程师、大数据运营经理、大数据挖掘与处理专员、大数据存储工程师等等。因此学好了大数据，不愁没就业，不愁没高薪。

【专业前景】

大数据时代的出现简单的讲是海量数据同完美计算能力结合的结果。确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。大数据时代开启人类社会利用数据价值的另一个时代。2015年，国务院印发《促进大数据发展行动纲要》，指出信息技术与经济社会的交汇融合引发了数据迅猛增长，数据已成为基础性战略资源。坚持创新驱动发展，加快大数据部署，深化大数据应用，已成为稳增长、促改革、调结构、惠民生和推动政府治理能力现代化的内在需要和必然选择。《纲要》提出以企业为主体，营造宽松公平环境，加大大数据关键技术研发、产业发展和人才培养力度，着力推进数据汇集和发掘，深化大数据在各行业创新应用，促进大数据产业健康发展。