Hadoop數(shù)據(jù)分析與挖掘?qū)崙?zhàn) Spark實(shí)戰(zhàn)高端課程培訓(xùn)方案

課程模塊

課程主題

主要內(nèi)容

案例和演示

模塊一

Hadoop組件詳解

1、Hadoop HDFS 基本結(jié)構(gòu)

2、Hadoop HDFS 副本存放策略

3、Hadoop NameNode 詳解

4、HadoopSecondaryNameNode 詳解 

5、Hadoop DataNode 詳解

6、Hadoop JobTracker 詳解 

7、Hadoop TaskTracker 詳解

8、Yarn資源管理系統(tǒng)詳解

9、Resourcemanager詳解

10、NodeManager詳解

1、Hadoop Mapper類核心代碼

2、Hadoop Reduce類核心代碼

3、Hadoop 核心代碼

模塊二

數(shù)據(jù)分析的算法詳解

1、K-means算法詳解

2、線性回歸詳解

3、機(jī)器學(xué)習(xí)詳解

4、Canopy算法詳解

5、貝葉斯算法詳解

模塊三

Hive實(shí)戰(zhàn)(數(shù)據(jù)分析)

1、Hive

（1）Hive的負(fù)載均衡搭建 

（2）Hive的訪問方式 

（3）Hive的元數(shù)據(jù)存儲(chǔ)到Mysql 

（4）Hive的數(shù)據(jù)類型 

（5）Hive表的創(chuàng)建 

（6）Hive加載數(shù)據(jù) 

（7）Hive的CLI操作介紹 

2、hive數(shù)據(jù)定義 

（1）內(nèi)部表和外部表 

（2）表的分區(qū) 

（3）刪除表 

（4）修改表 

（5）查詢語句 

（6）where語句 

3、Hive高級(jí)查詢語句 

（1）group by操作 

（2）Join操作 

（3）Order by和Sort by 

（4）Union all 

（5）索引 

4、Hive的存儲(chǔ)類型和復(fù)合數(shù)據(jù)類型 

（1）TextFile 

（2）Sequence File 

（3）RCFile 

（4）Hive的自定輸入格式 

（5）Array 

（6）Map 

（7）Struct 

5、Hive的內(nèi)置函數(shù)和自定義UDF和UDAF實(shí)戰(zhàn) 

6、Hive的調(diào)優(yōu) 

（1）explain 

（2）隊(duì)列設(shè)置 

（3）Join優(yōu)化 

（4）本地模式和并行執(zhí)行 

（5）設(shè)置Mapper和Reducer的個(gè)數(shù) 

（6）JVM重用 

（7）索引 

（8）動(dòng)態(tài)分區(qū)調(diào)整 

（9）推測執(zhí)行 

（10）Hive的debug調(diào)試 

7、hive的安全 

（1）Hive的hadoop安全的整合 

（2）使用Hive進(jìn)行驗(yàn)證 

（3）Hive的權(quán)限管理 

（4）分區(qū)級(jí)別的權(quán)限 

（5）自定授權(quán) 

8、Hive的案例實(shí)戰(zhàn) 

（1）nginx日志實(shí)戰(zhàn) 

（2）某公司的Hive項(xiàng)目 

1、nginx日志實(shí)戰(zhàn) 

2、某公司的Hive項(xiàng)目

模塊四

Mahout實(shí)戰(zhàn)(數(shù)據(jù)挖掘)

1、Mahout安裝測試
2、Mahout算法庫介紹
3、解析聚類算法
4、解析分類算法
6、協(xié)同過濾算法
7、聚類算法詳解
8、canopy算法
（1）mahout中canopy算法實(shí)現(xiàn)原理（2）mahout的canopy算法實(shí)戰(zhàn)
（3）Hadoop上面運(yùn)行canopy算法
9、mean shift算法
（1）mean shift算法簡介
（2）mahout中mean shift算法實(shí)現(xiàn)原理
（3）mahout的mean shift算法實(shí)戰(zhàn)
（4）Hadoop上面運(yùn)行mean shift算法
10、k-means算法
（1）k-means算法簡介
（2）mahout中k-means算法實(shí)現(xiàn)原理
（3）mahout的k-means算法案例實(shí)戰(zhàn)
（4）Hadoop上面運(yùn)行k-means算法
11、分類算法
（1）貝葉斯算法簡介
（2）貝葉斯算法原理介紹
（3）貝葉斯算法在hadoop上面運(yùn)行
(4)貝葉斯算法的案例實(shí)戰(zhàn)
12、Mahout推薦算法介紹
13、Taste的框架介紹
14、Mahout推薦器
（1）基于用戶的推薦器

（2）基于項(xiàng)目的推薦器
（3）Slope One 推薦策略
15、推薦系統(tǒng)實(shí)戰(zhàn)
（1）個(gè)性化推薦介紹
（2）推薦建模
（3）數(shù)據(jù)準(zhǔn)備
（4）關(guān)聯(lián)分析
（5）代碼編寫

u 

模塊五

數(shù)據(jù)挖掘在電信的案例

1、基站數(shù)據(jù)分析

2、人流的動(dòng)態(tài)分析

3、拉鏈算法的案例詳解

4、套餐的更改軌跡分析

5、客戶中心的數(shù)據(jù)情感分析和挖掘

6、用戶的通話記錄分析

7、套餐的營銷分析

8、分析流式的用戶和挖掘潛在的客戶

u 

模塊六

數(shù)據(jù)挖掘在銀行的案例

1、財(cái)務(wù)分析

2、客戶價(jià)值&風(fēng)險(xiǎn)定價(jià)

3、巴塞爾3 &信用風(fēng)險(xiǎn)

4、績效管理

5、客戶關(guān)系管理(CRM)

6、客戶訪問分析

7、流失路徑

8、購買路徑

9、欺詐路徑

10、多渠道營銷

11、欺詐

12、數(shù)據(jù)挖掘&原型設(shè)計(jì)

13、營銷歸因

14、投訴&銷售合規(guī)

15、情感分析

u

模 塊

培訓(xùn)大綱

Spark

運(yùn)行架構(gòu)和解析

1、Spark的運(yùn)行架構(gòu)

2、基本術(shù)語

3、運(yùn)行架構(gòu)

4、Spark on Standalone運(yùn)行過程

5、Spark on YARN 運(yùn)行過程

6、Spark運(yùn)行實(shí)例解析

7、Spark on Standalone實(shí)例解析

8、Spark on YARN實(shí)例解析

Spark

監(jiān)控和調(diào)優(yōu)

1、Spark的監(jiān)控

2、Spark調(diào)優(yōu)

     Spark

編程模型和解析

1、Spark的編程模型

2、Spark編程模型解析

3、RDD的特點(diǎn)、操作、依賴關(guān)系

4、Spark應(yīng)用程序的配置

Spark

scala編程

1、Scala基本語法

2、Scala開發(fā)環(huán)境搭建

3、Scala開發(fā)Spark應(yīng)用程序

Spark Streaming原理和實(shí)踐

1、Spark Streaming原理

2、Spark流式處理架構(gòu)

3、DStream的特點(diǎn)

4、Dstream的操作和RDD的區(qū)別

5、Spark Streaming的優(yōu)化

6、Spark Streaming實(shí)例

7、文本實(shí)例

8、網(wǎng)絡(luò)數(shù)據(jù)處理

Spark SQL

原理和實(shí)踐

1、Spark SQL原理

2、Spark SQL的Catalyst優(yōu)化器

3、Spark SQL內(nèi)核

4、Spark SQL和Hive

5、Spark SQL的實(shí)例和編程

6、Spark SQL的實(shí)例操作demo

7、Spark SQL的編程

Spark

源碼研讀

1、Spark源碼研讀

2、Spark源碼下載和研讀環(huán)境搭建

3、Spark Core介紹

4、SparkContext

5、Executor

6、Deploy

7、RDD和Storage

8、Scheduler和Task

9、Spark Examples

Spark應(yīng)用

案例實(shí)戰(zhàn)

1、基于spark日志分析

2、個(gè)性化推薦系統(tǒng)：帶你揭開其神秘面紗

3、在線投放引擎

4、揭開淘寶點(diǎn)擊推薦系統(tǒng)的神秘面紗

5、京東商城數(shù)據(jù)服務(wù)架構(gòu)—實(shí)時(shí)計(jì)算平臺(tái)