武汉大数据开发工程师课程

【课程特点】

微信、智能公交站牌……在大数据时代背景下，我们的行为每时每刻都在产生着数据，而这些数据改变着我们的生活。大数据产业已逐步从概念走向落地，90%企业都在使用大数据，而大数据高端软件类人才供应远不能满足时代的发展。有报告指出，数据分析师已成当下中国互联网行业需求旺盛的六类人才职位之一，并且未来中国基础性数据分析人才缺口将达到 1400 万。hadoop 解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用 hadoop。越来越多的企业急需引入 hadoop 技术人才。由于掌握 Hadoop 技术的开发人员并不多，直接导致了这几年 hadoop 技术的薪水远高于 JavaEE 及 Android 程序员。

【适合人群】

有编程兴趣、有意向从事软件开发。

应用电子技术、通信工程、信息工程、计算机应用、物联网等相关专业应届毕业生。

有编程开发经验，准备从事大数据应用开发的工程师

【课程目标】

熟练掌握 JAVA 编程语言，如：java 面向对象思想、java 多线程、泛型、反射、java 设计模式等。

熟练掌握 JAVAWEB 开发

熟练掌握 Linux

熟练掌握 Hadoop 框架、大数据仓库 Hive、分布式数据库 HBase

熟练掌握 Storm 实时数据处理

熟练掌握 Scale 语言

熟练掌握 Spark 框架

【职业规划】

JAVAEE 开发工程师

大数据开发工程师

Spark 大数据开发工程师

Hadoop 大数据开发工程师

Storm 大数据开发工程师

Hive 工程师

ETL 开发工程师

推荐系统开发工程师

【课程大纲】

阶段 JAVA 基础课程（课程时长：10 天）

本阶段主要针对 java 基础进行学习，全面讲解 Java 语言基础部分，重点 掌握类、对象、java 面向对象特性、接口、等主要内容。通过此阶段学习，学 员基本熟练掌握 java 语法，理解 java 特性，能够用 java 语言去编程相关应用 程序。

第二阶段 java 课（课程时长：15 天）

学习 java Web 都需要有比较扎实的 java 语言开发基础，因此需要对学员 的 java 语言进行强化。对于有 java 语言编程基础的学员来说此课程能够将学 员平时容易忽略和没有参透的重要内容加以强化。对于没有 java 语言编程基础 的学员来说可以迅速掌握 java 的核心技术。

第三阶段 JAVA WEB 核心（课程时长：15 天）

因为数据要有展现载体，本阶段主要针对 Web 静态资源、JAVA WEB 后端实 现，主要围绕 html5、css、javascript、jsp、servlet 等 JAVA WEB 基础进行 学习，熟练掌握JAVA WEB原理、http协议、Tomcat容器使用、通过Servlet+jsp+javabean 的 mvc 模式开发 Java Web 应用

第四阶段 大数据平台的基础软件平台（课程时长：5 天）

本阶段主要学习大数据应用离不开基础软件的支撑 ，且大部分大数据组件 部署在 Linux 操作系统上的用户空间 ，也有很多组件也借鉴了 Linux 操作系 统的一些设计精髓 ，所以 Linux 既是大数据的强力支撑 ，本部分通过对 Linux 操作系统、展示大数据赖以生存的基础环境。

第五阶段 大数据离线技术分析

大数据离线处理特点数据量巨大且保存时间长、在大量数据上进行复杂的批量运算、数据在计算之前已经完全到位，不会发生变化，能够方便的查询批量计算的结果，离线处理目前技术上已经成熟，使用 Hdfs 存储数据，使用MapReduce 做批量计算，计算完成的数据如需数据仓库的存储，直接存入Hive , 然后从 Hive 进行展现。当阶段主要讲解：Hadoop 核心组件、MapReduce、Hive 等等技术

第六阶段 大数据实时技术分析

当今时代，数据不再昂贵，但从海量数据中获取价值变得昂贵，而要及时

获取价值则更加昂贵，这正是大数据实时计算越来越流行的原因， 实时处理大

第七阶段 分布式搜索

在大数据里面文本数据的搜索是很重要的一块，特别是里面的分词技术，，

我们需要深入学习 java 领域里面的搜索核心技术 lucene，同时也可以了解到

百度 google 这样的搜索系统是怎么架构实现的。

第八阶段 机器学习（课程时长：5 天）

本课程基于 SparkMLlib 和 Mahout 大数据系列的机器学习框架，通过对常 用机器学习算法的原理理解以及编程应用，帮助学生理解各种常用有监督、无 监督算法的原理以及应用场景。通过该形式的学习方式可以避免学员数学基础 差的问题，可以有效的帮助学员掌握必须掌握的机器学习基本算法。而且课程 中会使用到的案例基本上均是企业中实际遇到的问题，通过该课程的学习，可 以让学员提前了解机器学习和大数据结合的技术在企业中的应用方式。 通过对本课程的学习，学员可以对分类、回归等算法有较为深入的了解， 以大数据为核心基础，在不涉及大量数学模型与复杂编程知识的前提下，讲师 逐步带领学员熟悉并且掌握当下流行的机器学习算法，如回归、决策树、SVM 等，并通过代码实例来展示所讨论的算法的实际应用。

第九阶段 大型企业项目实战（课程时长：8 天）

【学校简介】

广州粤嵌通信科技股份有限公司的前身是广东省嵌入式软件技术公共中心，于 2005 年在广州科学城成立，由美的集团与广东省政府合作创办。广州粤嵌通信科技股份有限公司于2011 年注册成立，注册资金 500 万，新三板上市企业。现今，公司已经获得专利产品20 多项，专利技术及软著 30 多项，公司拥有国际先进水平的开发软件、仪器及设备。公司现有粤嵌众创、粤嵌研发等品牌业务。公司经过多年的发展，秉承“行业引领,齐商共赢,开拓创新,服务诚信”的核心经营理念，为业界提供全面的 IT 技术产品、服务和解决方案，在发展过程中形成了在 IT 技术自主创新方面的优势和能力。