大数据分析高级工程师
课程安排: 北京

其它排期:

授课讲师:专家团

课程价格:5000

培训对象:

报名热线:400-801-3929

请填写您的报名信息

您的称呼

报名企业

您的电话

< 返回继续选课

时间地点:
2014-3-13 至 2014-3-16  北京      授课讲师专家团 学习费用: 5000 元/位
2014-03-13至2014-03-16【北京】   培训对象: IT公司数据分析师、数据中心架构师、商业智能分析师、研发负责人、研发工程师、各地政府云计算、物联网产业负责人,CIO、信息中心、技术总监,云计算产业投资团队,云计算应用开发商,云计算硬件设备、运营服务
课程信息:

时间地点:2014年3月13日至3月16日(3月13日报到) 北京
课程费用:5000 元/人(含教材、培训费、以及学习用具等费用) 食宿统一安排,费用自理。
课程对象:IT公司数据分析师、数据中心架构师、商业智能分析师、研发负责人、研发工程师、各地政府云计算、物联网产业负责人,CIO、信息中心、技术总监,云计算产业投资团队,云计算应用开发商,云计算硬件设备、运营服务提供商,高校、科研院所云计算项目负责人。
高级开发工程师、设计师、架构师、系统管理员、开发经理、测试经理、产品经理、项目经理等。

培训证书
颁发《工业和信息化领域急需紧缺人才》大数据分析高级工程师证书。证书可作为专业技术人员职业能力考核的证明,以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。

课程背景:
  我培训中心在人力资源和社会保障部、工业和信息化部联合支持下,服务中国IT,创新企业未来。为深入实施人才强国战略,进一步加快急需紧缺人才队伍建设,推动人才培养工作更好地为经济社会发展服务,根据《国家中长期人才发展规划纲要(2010-2020年)》和《专业技术人才知识更新工程实施方案(2010-2020年)》要求,我中心以新型工业化发展和信息化建设所涉及的经济领域为重点,紧紧围绕构建和谐社会和“调结构、转方式、促发展”的中心任务。为响应工业和信息化部2012年正式启动“工业和信息化领域急需紧缺人才培养工程”。云计算作为战略重点项目新兴产业,政府和业界都表现出了极大的热情。
  随着云时代的来临,大数据技术将具有越来越重要的战略意义。大数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产要素,人们对于海量数据的运用将预示着新一轮生产率增长和消费者盈余浪潮的到来。大数据分析技术将帮助企业用户在合理时间内攫取、管理、处理、整理海量数据,为企业经营决策提供积极的帮助。大数据分析作为数据存储和挖掘分析的前沿技术,广泛应用于物联网、云计算、移动互联网等战略性新兴产业。虽然大数据目前在国内还处于初级阶段,但是其商业价值已经显现出来。为加强大数据分析创新发展顶层设计和科学布局,推动相关人员更好理解和掌握大数据分析的关键技术原理、未来发展方向,为此培养大数据分析高级工程师。

课程大纲:
第一天Hadoop在云计算技术的作用和地位
传统大规模数据分析存在的问题
Hadoop概述
Hadoop与分布式文件系统
MapReduce的工作原理与机制
Hadoop集群剖析
Hadoop生态系统
Hadoop的行业应用案例分析
Hadoop在云计算和大数据的关系
Hadoop参数调优
选择适合Hadoop的硬件配置
Hadoop配置项优化
Hadoop配置优化 – core-site.xml
Hadoop配置优化 – HDFS
Hadoop配置优化 – Hdfs-site.xml
Hadoop配置优化 – Mapred-site.xml
Hadoop配置优化 –机架感知
网络带宽参数调优
系统参数调优
配置文件管理
严格控制root权限
Java的GC模式
选择正确的JDK
Hadoop作业调优
Map side tuning设置
Map side设置
Linux操作系统优化
其他配置和参数调优
第二天mapreduce和pig
高级mapreduce开发演示:combiners、partitioner;MRUnit;分布式缓存;join;二次排序等)
Mapreduce开发之分布式缓存
mapreduce模拟sql语言的各种操作
除mapreduce外的hadoop数据分析工具介绍
Pig之piglatin语言
Pig之udf扩展
Pig案例
hive与现有工具整合
Hive深入介绍
Hive之hql语言
Hive之udf扩展
Hive示例
一个完整的数据分析案例(分别使用mapreduce、pig、hive进行分析)
集成Hadoop到现有工作流(使用sqoop)
(关系数据库管理系统;利用Sqoop从关系型数据库系统中导入数据到Hadoop)
第三天Nosql与Hbase
Nosql简介
常见Nosql介绍
Hbase介绍
Hbase体系架构
Hbase安装(含本地、伪分布式、完全分布式)
Hbase操作演示
Hbase应用案例
企业中的应用以及Hadoop调优
Hadoop调优
Hadoop在企业中如何使用
(企业案例以及hadoop在企业IT架构中的位置)
Hadoop体系中单点解决方案(namenode,jobtracker,hive等)
Hadoop生态环境其他产品在企业中的应用
案例介绍
运营商日志详单查询系统
银行数据分析系统
阿里巴巴去IOE架构(Mysql + Hadoop)
智能电网数据采集分析系统

讲师介绍:
肖老师: 
计算机专业 现任云计算解决方案咨询师,负责运营商、数字新媒体等行业的售前咨询。具有十多年IT行业经验,熟悉软件系统架构设计,主要专业特长包括数据库优化、云计算管理平台设计、大数据存储与分析平台的设计,全文检索等领域。曾在美国纽约曼哈顿工作过一年,熟悉SIP软交换、CDN加速、Hadoop、对象存储等技术。具有丰富的项目实践和教学经验,对IT职业培训有深刻的理解。曾参与多个运营商和大型银行系统架构设计,在高可用性高性能大容量系统领域有深入的研究,能够结合实际,在复杂的应用环境中选择适合的分析技术来降低运维风险、缩短停机时间、提高运维服务水平。担任多个行业的云计算解决方案咨询顾问。多次全国巡讲。授课过程理论与实践并重,深入浅出,讲课诙谐幽默、气氛活跃,深受广大学员好评。

王老师:
北京航空航天大学教授。主要研究方向是分布式系统,大规模数据计算系统及关键技术等。2007年以来,作为技术总负责人参与国家863计划课题“中国国家网格软件研究与开发”,负责软件总体设计和核心技术研发。参与XtreemOS,OMII-EU/OMII-UK欧盟第六框架和英国e-Science国际合作项目。先后参与国家科技支撑项目《增强型搜索引擎研究及示范应用》、《北京市安全局物联网安全监控项目》、《2012年伦敦奥运会国家女排运动视频分析与设计》、《中国移动POC项目设计与开发》、《华为公司网络高级应用协议测试》《汽车制造工艺开发平台》、《工商系统食品在线监管》项目。在国内外期刊多次发表学术论文及学术著作。