其它排期:
授课讲师:戴辉
课程价格:5800
培训对象:
请填写您的报名信息
时间地点: 2014-5-24 至 2014-5-25 上海 授课讲师:戴辉 学习费用: 5800 元/位
2014-05-24至2014-05-25【上海】 培训对象: 对此课程感兴趣者
课程信息:
时间地点:2014年5月24-25日上海
课程费用:5800元/人
课程简介:
本课程主要涵盖:性能优化基本知识;性能调优相关技术;海量数据优化部分;性能优化实际案例等内容。
课程内容:
专题一:
性能优化
基本知识
内容一:索引
1、索引的结构、填充因子
2、聚集索引
3、非聚集索引
4、唯一索引
5、包含列索引(SQL2005新特性)
6、覆盖索引
7、索引碎片
8、统计(自动创建统计、自动更新统计)
9、索引选择策略
10、SQLServer怎样评估和管理索引
内容二:事务隔离级别和锁
1、什么是事务
2、事务的ACID属性
3、事务隔离级别
4、锁模式
5、锁的兼容性
6、锁的粒度
7、查看锁的情况
8、死锁、阻塞以及解决方法
9、锁的使用
内容二:分区表
1、什么是分区表
2、分区函数
3、分区架构
4、查看分区信息
5、管理分区
6、如何管理和使用分区表
介绍索引的基本概念,索引类型,使用的时机和场合,如何选择和规划索引;事务和锁的概念,如何使用锁;如何建立分区表,如何使用和管理分区表。
专题二:
性能调优
相关技术
内容一:数据库的设计和性能
1、针对性能的数据库设计基本原则
2、逻辑数据库设计
3、物理数据库设计
4、反规范化设计
5、分割技术
6、RAID技术
内容二:T-SQL算法的改进
1、少用游标
2、尽量用集合的方式处理
3、算法改进
4、T-SQLBestPractice
内容三:索引定期维护
1、索引碎片整理以及索引重建
2、删除从未使用过的索引
3、创建更合适的索引
内容四:其他调优
1、Tempdb的调优
2、定期转移不需要的历史数据
3、解决死锁和阻塞
4、多表(多于4个以上)JOIN考虑视图
介绍数据库设计的方法和原则,T-SQL算法中解决的问题,索引维护以及解决死锁等问题。
专题三:
海量数据优化部分
内容一:海量数据的特点
1、什么是海量数据
2、海量数据的特点
3、海量数据与行业应用
内容二:16种海量数据优化方法详解
1、海量数据分区处理
2、使用中间表和临时表
3、分批次处理
4、建立广泛的索引
5、建立缓存机制
6、使用文本和二进制格式进行处理
7、定制强大的清洗规则和出错处理机制
8、建立视图或者物化视图
9、其他优化方法
内容三:数据仓库中海量数据的处理方式
1、数据仓库中的海量数据特点
2、数据仓库中的海量数据的处理方式
3、分布式数据仓库的特点及应用
内容四:海量数据高级应用
1、大型项目中海量数据的优化案例分析
2、使用海量数据优化工具
3、数据仓库的性能调优技巧
海量数据的概念、特点以及16种海量数据的优化方法,数据仓库项目中海量数据的处理方式以及海量数据的高级应用等,针对大型数据仓库项目提供了完备的海量数据优化方案。
专题四:
性能优化实际案例
内容一:MSN搜索引擎数据处理项目案例
1、MSN项目介绍
2、项目中的超海量数据
3、项目整体架构设计
4、使用的处理优化方法总结
5、遇到的技术难点
6、处理技巧总结
7、进一步的研究
内容二:北京某网络公司数据优化项目
1、项目案例介绍
2、项目中要解决的问题
3、项目整体架构设计
4、设计的亮点总结
5、使用临时表和系统表
6、深层次的考虑
内容三:某数据库设计项目案例
1、案例介绍
2、数据库设计过程中遵循的原则
3、数据库设计过程中考虑的因素
4、整体项目架构
5、数据库设计技巧总结
大型数据优化项目设计和实施案例,重点对项目架构设计和数据完整处理流程做重点分析和详细介绍,针对大型数据库项目,提供了完备的数据设计、处理流程和解决方案。
讲师介绍:
戴辉
曾任微软AdCenter商业智能产品经理,微软中国MSDN和TechNet的ETL版块的研发分享工作,企业级的数据仓库架构;建模;ETCL过程:包括数据的清洗,抽取,转换,加载等技术,对ETCL有比较深刻的了解和设计思想;搭建OLAP;前端展现和数据挖掘;数据整合与集成;海量数据处理,多次处理开发基于海量数据的项目。精通工具为:J2EE架构,.NET架构,Oracle,OWB,Informatica, SQL Server 2000及SQL Server 2005数据仓库相关工具,熟悉主流BI开发工具,Reporting Servers, ProClarity, Brio, BO等前端展现工具等。
项目名称:
Search Funnel
项目描述:
该项目是微软总部的数据分析项目,主要针对微软MSN搜索引擎的数据进行分析,建立数据仓库,找出查询关键词之间的关联关系。
项目大小:
7人
项目时间:
2004年5月-2004年12月
担任角色:
ETL工程师
工作内容:
负责后台全部数据仓库的整体架构,流程实现。
该项目的难点是海量数据的处理,完成了MSN一个月的数据处理,数据量为18亿条,针对海量数据做了相当多的优化工作。
开发工具:
SQL Server 2000,C# 2003,PD,VSS,Visio
项目名称:
Microsoft Marketing Log Data Analysis
项目描述:
该项目是基于微软全球146个国家的数据进行数据分析,建立点击流数据仓库,进行报表分析,数据统计和数据挖掘。
项目大小:
8人
项目时间:
2005年1月-2005年6月
担任角色:
项目负责人,PM
工作内容:
该项目历时半年,由我与微软总部客户Jim Yang高级项目经理每星期沟通一次,中国方面我来负责,包括Extract, Transformation, Cleansing And Loading等工作。
开发工具:
SQL Server 2005 Integration Servers,SQL Server 2005 Analysis Servers,SQL Server 2005 Reporting Servers,C# 2005 Beta 3,PD,Visio,VSS,ProClarity,ProClarity Analysis Servers
项目名称:
Microsoft Website Search
项目描述:
该项目是基于微软全球网站搜索数据进行数据挖掘。包括词频统计、相似度分析、入口分析等,自行编写分析挖掘软件。
项目大小:
5人
项目时间:
2005年1月-2005年6月
担任角色:
项目负责人,PM
工作内容:
带领5人实施该项目。从开始的需求分析,到流程架构,项目实施,作为负责人,完成与客户的英语交流,英文文档,项目前期准备工作,项目源码管理,项目实施等工作。
开发工具:
SQL Server 2000,C# 2003,PD,Visio,VSS
项目名称:
Keyword Association Graph
项目描述:
该项目是基于微软总部MSN搜索引擎数据进行关键词Association Rule分析。该项目是美国微软总部的演示项目,使用了世界上先进的Ajax等技术。
项目大小:
5人
项目时间:
2006年7月-2006年9月
担任角色:
数据仓库负责人
工作内容:
负责后台所有架构,代码的实现。包括建立处理规则,索引与分区等的实现。
开发工具:
SQL Server 2005 Beta 1,C# 2005 Beta 1,PD,VSS,Visio,Ajax相关工具。
项目名称:
Microsoft Questions Text Data Mining
项目描述:
文本挖掘项目,该项目是对微软总部的调查数据进行文本挖掘。
项目大小:
3人
项目时间:
2005年6月-2005年7月
担任角色:
项目负责人,PM
工作内容:
带领3人实施该项目。从准备工作,到关键词提取,禁用词与同义词的清理,最后到得出最终挖掘结果,时间为3周。
开发工具:
SQL Server 2005 Integration Servers,C# 2005,PD,Visio,VSS
项目名称:
新浪网数据仓库项目
项目描述:
基于新浪网海量的网站数据建立数据仓库,进行多维分析和数据挖掘。
项目大小:
13人
项目时间:
2005年6月-2005年12月
担任角色:
ETL工程师
工作内容:
在项目中负责ETL,参与建立CUBE,使用进行ProClarity报表分析,使用SQL Server 2005 Data Mining工具进行数据挖掘。
开发工具:
SQL Server 2005,ProClarity,PD
项目名称:
昆仑亿发Survey项目
项目描述:
该项目是昆仑亿发公司的OLAP项目,全部程序编码实现。使用了AMO等技术。
项目大小:
3人
项目时间:
2006年1月-2006年2月
担任角色:
项目负责人,PM
工作内容:
自主开发AS下建立CUBE的代码,使用AMO等技术,并进行维护和添加新的功能等工作。
开发工具:
Oracle,BO,AMO,PD
项目名称:
承德钢铁公司数据挖掘项目
项目描述:
基于承德钢铁公司Oracle的ERP数据源上Business Intelligence项目,进行数据分析和数据挖掘。
项目大小:
18人
项目时间:
2005年6月-2005年10月
担任角色:
ETL工程师
工作内容:
在项目中负责售前培训,数据仓库逻辑模型与物理模型建立,进行ETL工程,搭建OLAP,建立多维数据库,进行报表和挖掘。
开发工具:
Oracle,Informatica,Oracle Warehouse Brower,Java,Sybase Essbase,BO,PD,Rose,SPSS
项目名称:
华为固话数据分析
项目描述:
该项目是对深圳华为公司固话数据进行数据分析,按不同维度进行分析,找到消费时间段等信息。处理的数据需要按分钟进行调度,难度比较大,通过数据仓库性能优化,达到了所需要的效果和要求。
项目大小:
15人
项目时间:
2004年1月-2004年6月
担任角色:
ETL工程师
工作内容:
负责数据仓库设计,ETL流程处理及调度,数据仓库的性能优化。
开发工具:
Oracle,PD,Informatica
项目名称:
中原房地产数据挖掘
项目描述:
该项目是对上海中原房地产公司销售数据建立数据仓库,进行数据分析和挖掘,查找最有价值客户和最有价值房源等信息。
项目大小:
7人
项目时间:
2004年6月-2004年12月
担任角色:
数据仓库负责人
工作内容:
负责后台数据仓库建立,代码的实现。包括建立处理规则,索引与分区等的实现以及ETL流程处理及调度。
开发工具:
Oracle,PD,Informatica,SPSS
项目名称:
天士力医药集团POC项目
项目描述:
该项目是对天津天市力医药集团的销售数据进行数据分析,根据DEMO数据建立POC项目模型,根据建立的数据仓库模型进行报表分析。
项目大小:
4人
项目时间:
2004年7月-2004年11月
担任角色:
数据仓库负责人
工作内容:
负责后台数据仓库模型建立,ETL过程。
开发工具:
Oracle,PD,OWB,BO
项目名称:
北京星际空间科技有限公司数据库设计和优化项目
项目描述:
进行数据库设计和调优,该项目是针对北京星际空间科技有限公司在全国近万家网吧的数据进行数据库设计和优化。
项目大小:
3人
项目时间:
2006年7月-2006年8月
担任角色:
数据库工程师
工作内容:
独立进行数据库的设计工作,包括性能调优,海量数据优化调优等工作。
开发工具:
Oracle,Java,PD,Rose
项目名称:
Novartis ETL Project
项目描述:
瑞士Novartis公司大型ETL项目,对多系统,多数据源数据进行集成,综合运用了缓慢变化维度等各种复杂技术,项目周期长,处理流程复杂。
项目大小:
8人
项目时间:
2006年11月-2007年5月
担任角色:
项目经理
工作内容:
带领团队进行ETL项目设计与开发,负责与客户沟通,工程项目人员任务分配,检查等。
开发工具:
SQL Server 2005,Cognos