某国际公司Spark平台运维实践培训成功开展

新闻

原创2017-02-20小艾老师

某国际公司Spark平台运维实践培训成功开展

发布时间：2017.02.20

2017年2月20日，艾威培训资深的Spark讲师走进某国际公司，展开为期4天的企业级Spark定制培训；在此培训我们的课程顾问与客户做了大量了沟通，并_终根据客户的需求定制了相关内容。

本次培训的主要知识如下：

一、 Spark应用基础	106. Spark的实时处理基础知识 107. Spark生态系统概述以及发展历程 108. Spark在处理实时数据场景下的优势和处理模式 109. Spark内存计算编程框架 110. Spark Core的基础原理 111. Spark SQL的基础原理 112. Spark Streaming的基础原理 113. Spark MLib的基础原理 114. Spark GraphX的基础原理 115. SparkR的基础原理 116. Spark在业界的实际应用场景与相关案例简介
二、 Spark与Hadoop大数据平台的融合解决方案	117. Spark与Hadoop的融合集成之道 118. Spark与Hadoop处理模式的异同点和各自的优势 119. Spark和Hadoop在大数据项目中的应用定位和解决方案
Spark分析处理平台架构和组件	120. Spark平台架构，以及利用Spark解决数据分析挖掘任务的优势之处 121. Spark数据数据分析挖掘平台的产品解决方案 122. Spark MLib机器学习平台架构 123. Spark GraphX图数据分析平台架构 124. Spark Steaming流数据处理平台架构
三、 Spark应用实践操作训练	125. 部署与配置Spark集群，以及Spark性能调优 126. Spark HA集群部署配置 127. Spark-submit应用程序部署工具应用 128. 构建Spark开发环境 129. Spark程序运行以及操作
四、 Spark大数据实时与高性能处理平台剖析	130. Spark实时大数据处理平台架构 131. Spark编程模型以及Spark编程实例解析 132. Spark RDD内存弹性分布式数据集的工作原理与机制 133. Spark Core的核心组件剖析 134. Spark的运行架构和运行过程剖析 135. Spark on Yarn运行原理和实例解析 136. Spark分组取top N，DataFrame与RDD的两种转换方式，Spark SQL的内置函数、开窗函数、UDF、UDAF，Spark Streaming的Kafka Direct API、updateStateByKey、 137. Spark RDD transform、滑动窗口、foreachRDD性能优化、持久化、checkpoint、容错与事务、与Spark SQL整合使用 138. 基于Spark的实时数据仓库与实时分析挖掘处理的应用实践，以及应用案例
五、基于Spark的实时数据仓库和实时数据分析挖掘处理平台的实现机制， Spark SQL，Spark Streaming，MLib，GraphX，SparkR的应用实践	139. 内存计算模型和实时处理技术介绍 140. Spark中各个分布式组件的处理框架及工作原理 141. Spark SQL实时数据仓库的实现原理机制及应用实践 142. Spark Streaming流式数据实时处理机制及应用实践 143. Spark MLib实时机器学习算法应用实践与案例应用 144. Spark GraphX实时图数据处理应用实践与社交网络分析应用 145. SparkR的实现原理与应用实践 146. Spark组件的应用编程开发实战 147. Spark与Hadoop 的集成应用实践，包括Spark与HDFS的集成，以及Spark与Yarn的集群集成
六、 Spark核心组件功能运用的实践操作训练	148. Spark SQL应用操作实训 149. Spark Streaming应用操作实训 150. Spark MLib应用操作实训 151. Spark GraphX应用操作实训 152. SparkR应用操作实训 153. Spark与HBase集成数据分析实验实训
七、基于Hadoop与Spark平台的数据挖掘与机器学习平台实践（可选）	154. 基于Hadoop与Spark构建实时推荐系统的项目步骤 155. 分类分析模型训练：决策树、贝叶斯算法应用于数值数据集和文本数据集分类，进行客户分类与深度标签应用 156. 关联分析模型训练：FP-growth，Apriori算法应用于电商订单数据集和影视日志数据集 157. 推荐模型训练：利用UserCF和ItemCF推荐算法应用评分数据集分析用户偏好以及感兴趣的产品推荐
八、大数据应用项目的运维管理应用案例	158. 基于Hadoop & Spark的日志分析系统应用案例 159. 基于Hadoop & Spark的数据挖掘系统应用案例 160. 基于Hadoop & Spark的客户分析系统应用案例 161. 基于Hadoop & Spark的电商数据分析系统案例 162. 基于Hadoop & Spark的电信用户行为分析应用案例 163. 基于Hadoop & Spark的实时数据流分析应用案例 164. 基于Hadoop & Spark的电信基站数据分析应用案例
九、大数据分布式采集系统架构和分布式消息订阅系统架构及其应用实践（可选）	165. Flume-NG数据采集系统的数据流模型、平台架构、集群部署与配置应用实战 166. Kafka分布式消息订阅系统的应用介绍、平台架构、集群部署与配置应用实战
十、 HUE与Ambari自动化运维管理工具应用实践	167. HUE运维监控系统的部署与配置，以及它在监控Hadoop与Spark平台系统组件（如HDFS，Yarn，Hive，HBase，Spark SQL， Spark Streaming，GraphX等组件）中的应用 168. Apache Ambari大数据监控与运维管理系统的部署与配置，以及应用实践
十一、大数据平台的服务器与操作系统级别的运维管理工具实践	169. Ganglia自动化监控与运维管理系统的部署、配置，以及操作训练，监控Hadoop与Spark作业与任务执行的CPU，内存，硬盘，网络流量，忙/闲等运维操作 170. Nagios大数据平台的服务器监控管理，包括大数据平台的集群服务器节点的运行状态，大数据应用服务程序的监控等运维操作
十二、大数据平台运维项目应用完整实践与咨询讨论	171. 根据讲师布置的实际应用案例，开展大数据运维项目的部署设计和方案实践、大数据运维项目的需求分析、应用实施以及解决方案分享咨询与交流讨论

本课程作为艾威培训2017年主打课程，已成功开展不下20期内训。
艾威国际培训(Avtech Institute of Technology)，源于美国，始于1998.专业从事企业级在职人员技能提升（项目管理、IT管理、IT技术、云计算大数据、需求管理、信息安全与审计，产品管理等培训）与各类国际认证考试提供商；进入中国16年来，已成为众多500强企业指定的培训供应商。

2017年艾威培训引入了更多国际_先进的课程。欢迎关注艾威公众号avtech888

【艾威（中国）】简介：

　　艾威（AVTECH）总部设在美国NEW JERSEY，是北美排行_的专业培训机构,设有4大分校，数十个培训点遍布北美、西欧和东亚;2000年进入中国，以培养国际化的中高端信息人才为己任,专注于国际前沿的新技术研发与信息科技新兴行业的开拓教育。

　　艾威培训（Avtech Institute of Technology)，源于美国，始于1998；是北美著名的培训机构，公司总部位于美国新泽西州，2000年进入中国，以培养国际化的中高端信息人才为己任,专注于国际前沿的新技术研发新兴行业的开拓教育,艾威主要的服务为培训与咨询两大类，目前培训的主要产品有：项目管理培训、IT管理培训、IT技术培训、云计算大数据培训、需求管理培训、产品管理培训，信息安全类，AI人工智能等....近十类上几百门的课程的培训与咨询服务。
　　艾威进入中国这十八年来已经服务了超过5000多家客户，获得了良好的口碑！也成为了众多500强企业指定的培训服务供应商.
　　● 艾威培训(Avtech Institute of Technology)，源于美国，始于1998.
　　● 艾威培训(Avtech Institute of Technology)是Prometric，VUE，PSI等众多国际认证中心授权的考点

　　● 2003年成为国际项目管理协会PMI授权的全球(PMP,PGMP,ACP,PBA)教育机构

　　● 2008年成为国际需求管理协会IIBA授权的全球(CCBA,CBAP)教育机构

　　● 2012年成为IT服务管理官方EXIN授权的ITIL，ITIL EXPERT,Prince2,EXIN Agile Scrum Master教育机构

　　● 2016年成为国际信息审计协会ISACA授权的CISA,CISM,CRISC,CGEIT,COBIT教育机构

　　● 2017年成为The Open Group授权的TOGAF企业架构的官方培训机构。
　　● 2017年成为EPI 授权的数据中心CDCP培训机构，华东地区_CDCP授权培训机构，同时也是CDCP认证考试考场。
　　● 2017年成为国际外包专业协会(IAOP)_授权外包治理国际认证SGF(Sourcing GovernanceFoundation)。

本文来自于艾威培训

转载请注明：https://www.avtechcn.com/news/2902.html

上一篇：湖北移动UI/UE用户体验设计与开发培训成功开展

下一篇：思科JAVA Performance Tuning培训成功开展