有關單位： 為貫徹落實黨中央國務院“十三五”規(guī)劃指導精神，實施網(wǎng)絡強國戰(zhàn)略，加快建設數(shù)字中國;構建高效信息網(wǎng)絡，推進物聯(lián)網(wǎng)發(fā)展;實施“互聯(lián)網(wǎng)+”行動計劃，促進多領域融合發(fā)展;實施國家大數(shù)據(jù)戰(zhàn)略，加快政府數(shù)據(jù)開放;加強數(shù)據(jù)安全包含，全面保障信息系統(tǒng)安全;推進軍民融合發(fā)展立法。要實施國家大數(shù)據(jù)戰(zhàn)略，把大數(shù)據(jù)作為基礎性戰(zhàn)略資源，全面實施促進大數(shù)據(jù)發(fā)展行動，加快推動數(shù)據(jù)資源共享開放和開發(fā)應用，助力產(chǎn)業(yè)轉型升級和社會治理創(chuàng)新。加快政府數(shù)據(jù)開放共享，促進大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展。
現(xiàn)如今，大數(shù)據(jù)的應用并不僅存在于一些“理工類領域”，它已經(jīng)滲透到我們生活的方方面面，將來，大數(shù)據(jù)在能源、金融、電信、汽車、消費等大多數(shù)行業(yè)都有用武之地，行業(yè)發(fā)展?jié)摿�巨大。去年，國�?nèi)數(shù)據(jù)創(chuàng)業(yè)已是風起云涌，其實，2016才是真正意義上的大數(shù)據(jù)元年。據(jù)IDC預測，到2020年，大數(shù)據(jù)分析技術將成為所有國家經(jīng)濟增長的關鍵動力。大數(shù)據(jù)分析及其相關的市場的復合年增長率將達到26.4%，在2018年全球將發(fā)展到415億美元的規(guī)模。同時，IDC認為，到2020年大數(shù)據(jù)分析技術將成為所有國家經(jīng)濟增長的關鍵動力。然而大數(shù)據(jù)架構最火熱的莫過于Hadoop，Spark和Storm這三種

因此我們決定舉辦“Hadoop與Spark大數(shù)據(jù)開發(fā)與案例分析”培訓班望相關單位收到通知后積極參加。相關培訓事宜如下:
一、培訓時間和地點
2018年03月24日---03月28日北京（24日全天報到）
2018年04月17日---04月21日上海（17日全天報到）
二、培訓對象
各地政府，院校云計算物聯(lián)網(wǎng)產(chǎn)業(yè)相關負責人，各類 IT/軟件企業(yè)和研發(fā)機構的軟件架構師、軟件設計師、程序員、技術總監(jiān)、數(shù)據(jù)挖掘負責人、數(shù)據(jù)挖掘開發(fā)工程師等


三、課程目標
1、了解Hadoop與Spark的歷史及目前發(fā)展的現(xiàn)狀、以及Hadoop與Spark的技術特點，從而把握分布式計算框架及未來發(fā)展方向，在大數(shù)據(jù)時代能為企業(yè)的技術選型及架構設計提供決策參考。
2、全面掌握Hadoop與Spark的架構原理和使用場景，并通過貫穿課程的項目進行實戰(zhàn)鍛煉，從而熟練使用Hadoop進行MapReduce程序開發(fā)。課程還涵蓋了分布式計算領域的常用算法介紹，幫助學員為企業(yè)在利用大數(shù)據(jù)方面體現(xiàn)自身價值。
3、深入理解Hadoop與Spark技術架構,對Hadoop與Spark運作機制有清晰全面的認識，可以獨立規(guī)劃及部署生產(chǎn)環(huán)境的Hadoop與Spark集群，掌握Hadoop與Spark基本運維思路和方法，對Hadoop與Spark集群進行管理和優(yōu)化。
四、師資介紹
　張老師：阿里大數(shù)據(jù)高級專家，國內(nèi)資深的Spark、Hadoop技術專家、虛擬化專家，對HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術進行了多年的深入的研究，更主要的是這些技術在大量的實際項目中得到廣泛的應用，因此在Hadoop開發(fā)和運維方面積累了豐富的項目實施經(jīng)驗。近年主要典型的項目有：某電信集團網(wǎng)絡優(yōu)化、中國移動某省移動公司請賬單系統(tǒng)和某省移動詳單實時查詢系統(tǒng)、中國銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運營商全國用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應用項目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構建游戲云(Web Game Daas)平臺項目等�！�
五、培訓特色
注重應用：分析國內(nèi)實際情況，結合國際、國內(nèi)成功經(jīng)驗。采用實戰(zhàn)的項目，讓學員在短時間內(nèi)掌握Hadoop與Spark的搭建與配置。并進行高效的大數(shù)據(jù)清洗和分析。
　　形式靈活：互動課堂、免費技術沙龍、提供云計算項目建設咨詢、大數(shù)據(jù)Hadoop平臺的搭建。
六、頒發(fā)證書
參加相關培訓并通過考試的學員，可以獲得：
工業(yè)和信息化部頒發(fā)的-《大數(shù)據(jù)開發(fā)高級工程師證書》。該證書可作為專業(yè)技術人員職業(yè)能力考核的證明，以及專業(yè)技術人員崗位聘用、任職、定級和晉升職務的重要依據(jù)。注：請學員帶一寸彩照2張（背面注明姓名）、身份證復印件一張。
七、培訓費用及須知
6800元/人（含教材、培訓費、考證費以及學習用具等費用） 食宿統(tǒng)一安排，費用自理。
八、培訓內(nèi)容（4天課程）
模塊一:Hadoop在云計算技術的作用和地位
主要內(nèi)容:
傳統(tǒng)大規(guī)模系統(tǒng)存在的問題
Hadoop概述
Hadoop分布式文件系統(tǒng)
MapReduce工作原理
Hadoop集群剖析
Hadoop生態(tài)系統(tǒng)對一種新的解決方案的需求
Hadoop的行業(yè)應用案例分析
Hadoop在云計算和大數(shù)據(jù)的位置和關系


案例和演示:
數(shù)據(jù)開放,數(shù)據(jù)云服務平臺(DAAS)時代
Hadoop平臺在數(shù)據(jù)云平臺(DAAS)上的天然優(yōu)勢
數(shù)據(jù)云平臺(DAAS 平臺)組成部分
互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)案例
Hadoop構建構建游戲云(Web Game Daas)平臺


模塊二:Hadoop生態(tài)系統(tǒng)介紹和演示
主要內(nèi)容:
Hadoop HDFS 和 MapReduce
Hadoop數(shù)據(jù)庫之HBase
Hadoop數(shù)據(jù)倉庫之Hive
Hadoop數(shù)據(jù)處理腳本Pig
Hadoop數(shù)據(jù)接口Sqoop和Flume，Scribe DataX
Hadoop工作流引擎 Oozie
案例和演示:
運用Hadoop自下而上構建大規(guī)模企業(yè)數(shù)據(jù)倉庫
暴風影音數(shù)據(jù)倉庫實戰(zhàn)解析


模塊三:Hadoop組件詳解
主要內(nèi)容:
Hadoop HDFS 基本結構
Hadoop HDFS 副本存放策略
Hadoop NameNode 詳解
HadoopSecondaryNameNode 詳解
Hadoop DataNode 詳解
Hadoop JobTracker 詳解
Hadoop TaskTracker 詳解


案例和演示:
Hadoop Mapper類核心代碼
Hadoop Reduce類核心代碼
Hadoop 核心代碼


模塊四;Hadoop安裝和部署
主要內(nèi)容:
Hadoop系統(tǒng)模塊組件概述
Hadoop試驗集群的部署結構
Hadoop 安裝依賴關系
Hadoop 生產(chǎn)環(huán)境的部署結構
Hadoop集群部署
Hadoop 高可用配置方法
Hadoop 集群簡單測試方法
Hadoop 集群異常Debug方法


案例和演示:
Hadoop安裝部署實驗
Red hat Linux基礎環(huán)境搭建
Hadoop 單機系統(tǒng)版本安裝配置
Hadoop 集群系統(tǒng)版本安裝和啟動配置
使用 Hadoop MapReduce Streaming 快速測試系統(tǒng)
Hadoopcore-site，hdfs-site，mapred-site 配置詳解


模塊五:Hadoop集群規(guī)劃
主要內(nèi)容:
Hadoop 集群內(nèi)存要求
Hadoop集群磁盤分區(qū)
集群和網(wǎng)絡拓撲要求
集群軟件的端口配置


案例和演示:
針對NameNode Jobtracker DataNode TaskTracker Hiveserver 等不同組件需求推薦服務器配置


模塊六:MapReduce 算法原理
主要內(nèi)容:
Hadoop MapReduce 算法的原理和優(yōu)化思想
靈活運用MapReduce 實現(xiàn)算法


案例和演示:
運用MapReduce 構建數(shù)據(jù)庫算法
Select Sort GrougBy Sum Count
Join 新進流失算法
使用 Y-Smart 快速轉換SQL 為MapReduce 代碼


模塊七:編寫MapReduce高級程序
主要內(nèi)容:
使用 Hadoop MapReduce Streaming 編程
MapReduce流程
剖析一個MapReduce程序
基本MapReduceAPI概念
驅動代碼 Mapper、Reducer
Hadoop流
API 使用Eclipse進行快速開發(fā)
新MapReduce API
MapReduce的優(yōu)化
MapReduce的任務調度
MapReduce編程實戰(zhàn)
如何利用其他Hadoop相關技術，包括Apache Hive， Apache Pig，Sqoop和Oozie等
滿足解決實際數(shù)據(jù)分析問題的高級Hadoop API


案例和演示:
Hadoop Streaming 和 Java MapReduce Api 差異。
MapReduce 實現(xiàn)數(shù)據(jù)庫功能
利用Combiners來減少中間數(shù)據(jù)
編寫Partitioner來優(yōu)化負載平衡
直接訪問Hadoop分布式文件系統(tǒng)（HDFS）
Hadoop的join操作
輔助排序在Reducer方的合并
定制Writables和WritableComparables
使用SequenceFiles和Avro文件保存二進制數(shù)據(jù)
創(chuàng)建InputFormats OutputFormats
Hadoop的二次排序
Hadoop的海量日志分析
在Map方的合并




模塊八:集成Hadoop到現(xiàn)有工作流
及Hadoop API深入探討


主要內(nèi)容:
存儲系統(tǒng)
利用Sqoop從關系型數(shù)據(jù)庫系統(tǒng)中導入數(shù)據(jù)到Hadoop
利用Flume導入實時數(shù)據(jù)到Hadoop
ToolRunner介紹、使用MRUnit進行測試
使用Configure和Close方法來進行Map/Reduce設置和關閉


案例和演示:
使用FuseDFS和Hadoop訪問HDFS
使用分布式緩存（Distributed Cache）
直接訪問Hadoop分布式文件系統(tǒng)（HDFS）
利用Combiners來減少中間數(shù)據(jù)
編寫Partitioner來優(yōu)化負載平衡




模塊九:使用Hive和Pig開發(fā)及技巧
主要內(nèi)容:
Hive和Pig基礎
Hive的作用和原理說明
Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關系
Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流
Hive 部署和安裝
Hive Cli 的基本用法
HQL基本語法
運用Pig 過濾用戶數(shù)據(jù)
案例和演示:
使用JDBC 連接Hive進行查詢和分析
使用正則表達式加載數(shù)據(jù)
HQL高級語法
編寫UDF函數(shù)
編寫UDAF自定義函數(shù)
基于Hive腳本內(nèi)嵌Streaming 編程


模塊十:Hbase安裝和使用
主要內(nèi)容:
 Hbase 安裝部署
 Hbase原理和結構
Hbase 運維和管理


案例和演示:
 使用Hbase+Hive 提供 OLAP SQL查詢能力
 使用Hbase+Phoenix提供 OLTP SQL能力
基于Hbase 的時間序列數(shù)據(jù)庫 OpenTsDb 結構解析


模塊十一:Hadoop2.0 集群探索
主要內(nèi)容:
Hadoop2.0 HDFS 原理
Hadoop2.0 Yarn 原理
Hadoop2.0 生態(tài)系統(tǒng)
案例和演示:
基于Hadoop2.0 構建分布式系統(tǒng)


模塊十二:Hadoop企業(yè)級別案例解析
主要內(nèi)容:
Hadoop 結構化數(shù)據(jù)案例
Hadoop 非結構化案例
Hbase 數(shù)據(jù)庫案例
Hadoop 視頻分析案例


案例和演示:
利用大數(shù)據(jù)分析改進交通管理
區(qū)域醫(yī)療大數(shù)據(jù)應用案例
銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺
廣東移動省公司請賬單系統(tǒng)
上海電信網(wǎng)絡優(yōu)化
某通信運營商全國用戶上網(wǎng)記錄
浙江臺州市智能交通系統(tǒng)
移動廣州詳單實時查詢系統(tǒng)
跨區(qū)域實時視頻監(jiān)控系統(tǒng)


模塊十三:RedHadoop 企業(yè)版本
主要內(nèi)容:
運用RedHadoop快速構建服務集群
運用RedHadoop DW 構建數(shù)據(jù)倉庫
案例和演示:
基于RedHadoop Hive構建數(shù)據(jù)倉庫平臺
靈活運用 Hive 加速游戲數(shù)據(jù)倉庫
基于Pig+OpenCV大規(guī)模圖像人臉識別


模塊十四:Spark生態(tài)介紹
Mapreduce、storm和spark模型的比較和使用場景介紹
 Spark產(chǎn)生背景
 Spark（內(nèi)存計算框架）
 SparkSteaming（流式計算框架）
 Spark SQL（ad-hoc）
 Mllib（MachineLearning）
 GraphX（bagel將被代）
 DlinkDB介紹
 SparkR介紹


模塊十五:Spark安裝部署
Spark安裝簡介
 Spark的源碼編譯
 Spark Standalone安裝
 Spark應用程序部署工具spark-submit
 Spark的高可用性部署




模塊十六:Spark運行架構和解析
 Spark的運行架構
• 基本術語
• 運行架構
• Spark on Standalone運行過程
• Spark on YARN 運行過程
 Spark運行實例解析
• Spark on Standalone實例解析
• Spark on YARN實例解析
• 比較 Standalone與YARN模式下的優(yōu)缺點


模塊十七:Spark scala編程
Scala基本語法與高階語法
• Scala基本語法
• Scala開發(fā)環(huán)境搭建
• Scala開發(fā)Spark應用程序
• 使用java編程
• 使用scala編程
• 使用python編程