Hadoop高級開發(fā)應用與實踐

互聯(lián)網企業(yè)和云計算服務企業(yè)每天都會產生大量的數(shù)據(jù)并面臨高并發(fā)的嚴峻考驗，傳統(tǒng)的關系型數(shù)據(jù)庫已經無法滿足大數(shù)據(jù)量高并發(fā)的要求，何以解憂？Hadoop！本課程針對Hadoop大數(shù)據(jù)處理技術的項目實戰(zhàn)需求，有針對性設計；以幫助學員實現(xiàn)基于Hadoop的應用開發(fā)。

課程目標

• 全面掌握Hadoop的架構原理和使用場景；
• 全程項目實戰(zhàn)訓練；
• 徹底掌握使用Hadoop進行MapReduce程序開發(fā)；
• 熟悉分布式計算領域的常用算法；

課程綱要

第 一講 由案例引入Hadoop技術

1. 案例背景
2. 案例功能模塊簡介
3. 數(shù)據(jù)導入：Flume
4. 數(shù)據(jù)分析
5. Hadoop MapReduce
6. Hadoop MapReduce Streaming編程
7. MapReduce分布式程序
8. Hadoop 核心代碼剖析
9. HDFS分布式文件系統(tǒng)編程

第二講 Hadoop Mapreduce高級編程

1. ToolRunner介紹
2. 使用MRUnit進行測試
3. 利用Combiners來減少中間數(shù)據(jù)
4. 使用Configure和Close方法來進行Map/Reduce設置和關閉
5. 編寫Partitioner來優(yōu)化負載平衡
6. 直接訪問Hadoop分布式文件系統(tǒng)（HDFS）
7. 使用分布式緩存（Distributed Cache）

第三講 MapReduce的優(yōu)化

1. map優(yōu)化
2. reduce優(yōu)化
3. 小文件優(yōu)化
4. 第四講 MapReduce的任務調度
5. Queue調度的使用
6. 公平調度的使用
7. 能力調度的使用

第五講 MapReduce編程實戰(zhàn)

1. Hadoop的join操作
2. Hadoop的二次排序
3. Hadoop的海量日志分析
4. 第六講 flume+hadoop日志收集實戰(zhàn)
5. flume核心組件講解
6. flume自帶的組件分析
7. flume二次開發(fā)實戰(zhàn)

第七講 用戶行為分析系統(tǒng)案例解析與技術分享

第八講 CDR詳單系統(tǒng)案例解析與技術分享