当前位置: 企业公开课 > 职业技能 > 电脑技能
大数据分析- 基于Hadoop/Mahout的大数据挖掘
课程安排: 上海

其它排期:

授课讲师:杨老师

课程价格:5500

培训对象:

报名热线:400-801-3929

请填写您的报名信息

您的称呼

报名企业

您的电话

< 返回继续选课


时间地点: 2014-8-28 至 2014-8-30  上海      授课讲师杨老师   学习费用: 5500 元/位

2014-07-31至2014-08-02【北京】  2014-08-28至2014-08-30【上海】  

培训对象: 系统架构师、系统分析师、高级程序员、资深开发人员。牵涉到大数据处理的数据中心运行、规划、设计负责人。政府机关,金融保险、移动和互联网等大数据来源单位的负责人。高校、科研院所牵涉到大数据与分布式数据..

课程信息: 时间:2014年7月31日-8月2日地点:北京
时间:2014年8月28日-8月30日地点:上海

 

培训费:5500元/人(含教材、证书、午餐、学习用具)。食宿协助安排,费用自理。

培训对象:系统架构师、系统分析师、高级程序员、资深开发人员。牵涉到大数据处理的数据中心运行、规划、设计负责人。政府机关,金融保险、移动和互联网等大数据来源单位的负责人。高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。

证书:培训结束,颁发计算所职业培训中心“大数据分析-基于Hadoop/Mahout的大数据挖掘”结业证书。

培训目标:
1,全面了解大数据处理技术的相关知识。
2,学习Hadoop的核心技术方法以及应用特征。
3,深入使用Mahout挖掘工具在大数据中的使用。
4,掌握流数据挖掘和其它大数据挖掘关键技术。

学员基础:
1,对IT系统设计有一定的理论与实践经验。
2,有一定的数据仓库与大数据处理的基础知识。
3,有一定的Hadoop技术的基础知识。

培训要点:
互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论,成为了海量信息的多种形式。当数据以成百上千TB不断增长的时候,我们在内部交易系统的历史信息之外,需要一种基于大数据分析的决策模型和技术支持。
大数据通常具有:数据体量(Volume)巨大,数据类型(Variety)繁多,价值(Value)密度低,处理速度(Velocity)快等四大特征。如何有效管理和高效处理这些大数据已成为当前亟待解决的问题。大数据处理意味着更严峻的挑战,更好地管理和处理这些数据也将会获得意想不到的收获。
Google发布的GFS和MapReduce等高可扩展、高性能的分布式大数据处理框架,证明了在处理海量网页数据时该框架的优越性。GFS/MapReduce框架实现了更高应用层次的抽象,使用户无需关注复杂的内部工作机制,无需具备丰富的分布式系统知识及开发经验,即可实现大规模分布式系统的部署与大数据的并行处理。
ApacheHadoop开源项目开发团队。他们克隆了GFS/MapReduce框架,推出了Hadoop系统。该系统已受到学术界和工业界的广泛认可和采纳,并孵化出众多子项目(如Pig,Zookeeper和Hive等),日益形成一个易部署、易开发、功能齐全、性能优良的系统。
本课程从大数据技术以及Hadoop实战的角度,结合理论和实践,全方位地介绍Hadoop以及Mahout大数据挖掘工具的开发技巧。涉及的主题包括:大数据挖掘及其背景,Hadoop及Mahout大数据挖掘工具,推荐系统及电影推荐案例,分类技术及聚类分析,流挖掘及其它挖掘技术,大数据挖掘前景分析。
教学过程中贯穿了案例分析来帮助学员了解如何用Hadoop和Mahout挖掘工具来解决具体的问题,在关键点上搭建实验环境进行实践研究,以加深对于这些解决方案的理解。并介绍了从大数据中挖掘出有价值的信息的关键。

培训内容:
第一讲大数据挖掘及其背景
1)数据挖掘定义
2)Hadoop相关技术
3)大数据挖掘知识点
第二讲MapReduce计算模式
1)分布式文件系统
2)MapReduce
3)使用MR的算法设计
第三讲Hadoop中的云挖掘工具Mahout
1)Mahout介绍
2)推荐系统
3)信息聚类
4)分类技术
5)其它挖掘
第四讲推荐系统及其应用开发
1)一个推荐系统的模型
2)基于内容的推荐
3)协同过滤
4)电影推荐案例
第五讲分类技术及其应用
1)分类的定义
2)分类主要算法
3)Mahout分类过程
4)评估指标以及评测
5)贝叶斯算法新闻分类实例
第六讲聚类技术及其应用
1)聚类的定义
2)聚类的主要算法
3)K-Means、Canopy及其应用示例
4)FuzzyK-Means、Dirichlet及其应用示例
5)路透新闻聚类实例
第七讲关联规则和相似项发现
1)购物篮模型
2)Apriori算法
3)抄袭文档发现
4)近邻搜索的应用
第八讲流数据挖掘相关技术
1)流数据挖掘及分析
2)流数据模型
3)数据抽样
4)流过滤
第九讲大数据挖掘应用前景
1)与Hadoop集群应用的协作
2)与RHadoop等其它云挖掘工具配合
3)大数据挖掘行业应用展望

师资:
由业界知名大数据专家亲自授课:
杨老师主要研究网络信息分析以及云计算相关技术,长期从事通信网管系统、网络信息处理、商务智能(BI)以及电信决策支持系统的研究开发工作,主持和参与了多个国家和省部级基金项目,具有丰富的工程实践及软件研发经验。