Hadoop大數(shù)據(jù)解決方案開發(fā)技術(shù)培訓(xùn)

  培訓(xùn)講師：傅一航

講師背景：
傅一航，華為系大數(shù)據(jù)專家。傅一航，男，計(jì)算機(jī)軟件與理論碩士研究生（研究方向：數(shù)據(jù)挖掘、搜索引擎）。在華為工作十年，五篇國家專利，在華為工作期間獲得華為數(shù)項(xiàng)獎項(xiàng)，曾在英國、日本、荷蘭等國家做項(xiàng)目，對大數(shù)據(jù)有深入的研究。傅老師專注于大數(shù)據(jù)分析與 詳細(xì)>>

傅一航
    課程咨詢電話：

Hadoop大數(shù)據(jù)解決方案開發(fā)技術(shù)培訓(xùn)詳細(xì)內(nèi)容

Hadoop大數(shù)據(jù)解決方案開發(fā)技術(shù)培訓(xùn)

**部分：Hadoop的基本框架

1、 大數(shù)據(jù)時代面臨的問題

2、 當(dāng)前解決大數(shù)據(jù)的技術(shù)方案

3、 Hadoop架構(gòu)和云計(jì)算

4、 Hadoop簡史及安裝部署

5、 Hadoop設(shè)計(jì)理念和生態(tài)系統(tǒng)


第二部分：HDFS分布式文件系統(tǒng)：海量數(shù)據(jù)存儲的搖籃

1、 HDFS的設(shè)計(jì)目標(biāo)

2、 HDFS的基本架構(gòu)

Ø NameNode名稱節(jié)點(diǎn)

Ø SecondaryNameNode第二名稱節(jié)點(diǎn)

Ø DataNode數(shù)據(jù)節(jié)點(diǎn)

3、 HDFS的存儲模型

Ø 數(shù)據(jù)塊存儲

Ø 元數(shù)據(jù)存儲（空間鏡像與編輯日志）

Ø 多副本存儲

4、 多副本放置策略

5、 多數(shù)據(jù)節(jié)點(diǎn)管理機(jī)制與交互過程

6、 文件系統(tǒng)操作與管理

Ø 讀文件過程

Ø 寫文件過程（數(shù)據(jù)流管道）

7、 數(shù)據(jù)完整性機(jī)制

Ø 數(shù)據(jù)校驗(yàn)和

Ø 數(shù)據(jù)完整性掃描線程

Ø 元數(shù)據(jù)備份與合并

8、 數(shù)據(jù)可靠性設(shè)計(jì)

Ø 安全模式（數(shù)據(jù)塊與節(jié)點(diǎn)映射關(guān)系管理）

Ø 心跳檢測機(jī)制（節(jié)點(diǎn)失效管理）

Ø 租約機(jī)制（多線程并發(fā)控制）

9、 其它

Ø HDFS的安全機(jī)制

Ø 負(fù)載均衡

Ø 文件壓縮

10、 操作接口與編程接口

Ø HDFS Shell

Ø HDFS Commands

Ø WebHDFS REST API

Ø HDFS Java API

演練：HDFS文件操作命令

演練：HDFS編程示例


第三部分：MapReduce分布式計(jì)算系統(tǒng)：海量數(shù)據(jù)處理的利器

1、 MapReduce的三層設(shè)計(jì)理念

Ø 分布治之的設(shè)計(jì)思想（Map與Reduce）

Ø 數(shù)據(jù)處理引擎（編程模型）

Ø 運(yùn)行時環(huán)境（任務(wù)調(diào)度與執(zhí)行）

2、 MapReduce的基本架構(gòu)

Ø JobTracker作業(yè)跟蹤器

Ø TaskTracker任務(wù)跟蹤器

Ø MapReduce與HDFS的部署關(guān)系

3、 MapReduce編程模型概述

Ø 編程接口介紹

Ø Hadoop工作流實(shí)現(xiàn)原理

4、 MapReduce作業(yè)調(diào)度機(jī)制

Ø MapReduce作業(yè)生命周期

Ø 作業(yè)調(diào)度策略

Ø 靜態(tài)資源管理方案

5、 數(shù)據(jù)并行處理機(jī)制（五步驟）

Ø Input階段實(shí)現(xiàn)

Ø Map階段實(shí)現(xiàn)

Ø Shuffle階段實(shí)現(xiàn)

Ø Reduce階段實(shí)現(xiàn)

Ø Output階段

6、 MapReduce容錯機(jī)制

Ø 任務(wù)失敗與重新嘗試

Ø 節(jié)點(diǎn)失效與重調(diào)度

Ø 單點(diǎn)故障

7、 MapReduce性能優(yōu)化

Ø 優(yōu)化方向與思路

Ø 磁盤IO性能優(yōu)化

Ø 分片優(yōu)化

Ø 線程數(shù)量優(yōu)化

Ø 內(nèi)存優(yōu)化

Ø 壓縮優(yōu)化

8、 MapReduce操作接口

Ø Job Shell

Ø Web UI

案例演練：MapReduce編程示例

9、 YARN：下一代通用資源管理系統(tǒng)

Ø MRv1的局限性

Ø YARN基本框架

Ø NN HA：解決單點(diǎn)故障

Ø HDFS Federation：解決擴(kuò)展性問題


第四部分：HBase非關(guān)系型數(shù)據(jù)庫：海量數(shù)據(jù)的黎明

1、 HBase的使用場景

2、 HBase的基本架構(gòu)

Ø Zookeeper分布式協(xié)調(diào)服務(wù)器

Ø Master主控服務(wù)器

Ø Region Server區(qū)域服務(wù)器

3、 HBase的數(shù)據(jù)模型

Ø HBase的表結(jié)構(gòu)

Ø 行鍵、列鍵、時間戳

4、 HBase的存儲模型

Ø 基本單位Region

Ø 存儲格式HFile

5、 數(shù)據(jù)分裂機(jī)制Split

6、 數(shù)據(jù)合并機(jī)制Compaction

Ø minor compaction

Ø major compaction

7、 HLog寫前日志

8、 數(shù)據(jù)庫讀寫操作

Ø 數(shù)據(jù)庫寫入

Ø 數(shù)據(jù)庫讀取

Ø 三次尋址

9、 HBase操作接口

Ø Native Java API

Ø HBase Shell

Ø 批量加載工具

Ø HiveQL操作

10、 HBase性能優(yōu)化

Ø 寫速度優(yōu)化

Ø 讀速度優(yōu)化

11、 HBase集群監(jiān)控與管理

案例演練：HBase命令操作實(shí)例


第五部分：Hive分布式數(shù)據(jù)倉庫：高級的編程語言

1、 Hive是什么

2、 Hive與關(guān)系數(shù)據(jù)庫的區(qū)別

3、 Hive系統(tǒng)架構(gòu)

Ø 用戶接口層

Ø 元數(shù)據(jù)存儲層

Ø 驅(qū)動層

4、 Hive常用服務(wù)

5、 Hive元數(shù)據(jù)的三種部署模式

6、 Hive的命名空間

7、 Hive數(shù)據(jù)類型與存儲格式

Ø 數(shù)據(jù)類型

Ø TextFile/SequenceFile/RCFile

8、 Hive的數(shù)據(jù)模型

Ø 管理表

Ø 外部表

Ø 分區(qū)表

Ø 桶表

9、 HQL語言命令實(shí)例

Ø DDL數(shù)據(jù)定義語言

Ø DML數(shù)據(jù)操作語言

Ø QUERY數(shù)據(jù)查詢語言

10、 Hive自定義函數(shù)

Ø 基本函數(shù)（UDF）

Ø 聚合函數(shù)（UDAF）

Ø 表生成函數(shù)（UDTF）

11、 Hive性能優(yōu)化

Ø 動態(tài)分區(qū)

Ø 壓縮

Ø 索引

Ø JVM重用

案例演練：Hive命令操作實(shí)例


第六部分：Sqoop數(shù)據(jù)交互工具：Hadoop與傳統(tǒng)數(shù)據(jù)庫的橋梁

1、 Sqoop是什么

2、 Sqoop的架構(gòu)和功能

Ø Sqoop1架構(gòu)

Ø Sqoop2架構(gòu)

3、 數(shù)據(jù)雙向交換

Ø 數(shù)據(jù)導(dǎo)入過程

Ø 數(shù)據(jù)導(dǎo)出過程

4、 數(shù)據(jù)導(dǎo)入工具與命令介紹

案例演練：Sqoop數(shù)據(jù)導(dǎo)入/導(dǎo)出實(shí)際操作


第七部分：Pig數(shù)據(jù)流處理引擎：數(shù)據(jù)腳本語言

1、 Pig介紹

2、 命令行交互工具Grunt

3、 Pig數(shù)據(jù)類型

4、 Pig Latin腳本語言介紹

Ø 基礎(chǔ)知識

Ø 輸入和輸出

Ø 關(guān)系操作

Ø 調(diào)用靜態(tài)Java函數(shù)

5、 Pig Latin高級應(yīng)用

6、 開發(fā)與測試Pig Latin腳本

Ø 開發(fā)工具

Ø 任務(wù)狀態(tài)監(jiān)控

Ø 調(diào)試技巧

7、 腳本性能優(yōu)化

8、 用戶自定義函數(shù)UDF

案例演練：Pig Latin腳本編寫、測試與運(yùn)行操作


結(jié)束：課程總結(jié)與問題答疑。



 

傅一航老師的其它課程

數(shù)據(jù)分析方法及生產(chǎn)運(yùn)營實(shí)際應(yīng)用【課程目標(biāo)】本課程主要介紹數(shù)據(jù)分析在生產(chǎn)運(yùn)營過程中的應(yīng)用，適用于制造行業(yè)/保險行業(yè)的數(shù)據(jù)分析人員等。本課程的主要目的是，幫助學(xué)員了解大數(shù)據(jù)的本質(zhì)，培養(yǎng)學(xué)員的數(shù)據(jù)意識和數(shù)據(jù)思維，掌握常用的統(tǒng)計(jì)分析方法和工具，以及生產(chǎn)、運(yùn)營過程中的應(yīng)用，并以概率的方式來進(jìn)行決策，提升學(xué)員的數(shù)據(jù)分析及應(yīng)用能力。本課程具體內(nèi)容包括：數(shù)據(jù)決策邏輯，數(shù)據(jù)決

 講師：傅一航詳情

大數(shù)據(jù)建模大賽輔導(dǎo)實(shí)戰(zhàn)【課程目標(biāo)】本課程主要面向?qū)I(yè)人士的大數(shù)據(jù)建模競賽輔導(dǎo)需求（假定學(xué)員已經(jīng)完成Python建模及優(yōu)化--回歸篇/分類篇的學(xué)習(xí)）。通過本課程的學(xué)習(xí)，達(dá)到如下目的：熟悉大賽常用集成模型掌握模型優(yōu)化常用措施，掌握超參優(yōu)化策略掌握特征工程處理，以及對模型質(zhì)量的影響掌握建模工程管道類(Pipeline,ColumnTransformer)的使用【授

 講師：傅一航詳情

大數(shù)據(jù)時代的精準(zhǔn)營銷【課程目標(biāo)】本課程從實(shí)際的市場營銷問題出發(fā)，了解大數(shù)據(jù)在市場營銷領(lǐng)域的價值以及應(yīng)用。并對大數(shù)據(jù)分析與挖掘技術(shù)進(jìn)行了介紹，通過從大量的市場營銷數(shù)據(jù)中分析潛在的客戶特征，挖掘客戶行為特點(diǎn)，實(shí)現(xiàn)精準(zhǔn)營銷，幫助市場營銷團(tuán)隊(duì)深入理解業(yè)務(wù)運(yùn)作，支持業(yè)務(wù)策略制定以及營銷決策。通過本課程的學(xué)習(xí)，達(dá)到如下目的：了解大數(shù)據(jù)營銷內(nèi)容，掌握大數(shù)據(jù)在營銷中的應(yīng)用。

 講師：傅一航詳情

大數(shù)據(jù)時代的精準(zhǔn)營銷【課程目標(biāo)】本課程從實(shí)際的市場營銷問題出發(fā)，了解大數(shù)據(jù)在市場營銷領(lǐng)域的價值以及應(yīng)用。并對大數(shù)據(jù)分析與挖掘技術(shù)進(jìn)行了介紹，通過從大量的市場營銷數(shù)據(jù)中分析潛在的客戶特征，挖掘客戶行為特點(diǎn)，實(shí)現(xiàn)精準(zhǔn)營銷，幫助市場營銷團(tuán)隊(duì)深入理解業(yè)務(wù)運(yùn)作，支持業(yè)務(wù)策略制定以及營銷決策。通過本課程的學(xué)習(xí)，達(dá)到如下目的：了解大數(shù)據(jù)營銷內(nèi)容，掌握大數(shù)據(jù)在營銷中的應(yīng)用。

 講師：傅一航詳情

大數(shù)據(jù)決策思維與商業(yè)模式創(chuàng)新，賦能企業(yè)增長【課程目標(biāo)】本課程主要幫助大家理解大數(shù)據(jù)的基本概念，著重探索大數(shù)據(jù)的本質(zhì)，理解大數(shù)據(jù)的核心價值，以及掌握實(shí)現(xiàn)大數(shù)據(jù)價值的三個關(guān)鍵環(huán)節(jié)，大數(shù)據(jù)解決業(yè)務(wù)問題的六個步驟，然后聚焦大數(shù)據(jù)的七大核心思維，最后，再用案例說明了大數(shù)據(jù)在各行業(yè)的應(yīng)用場景。大數(shù)據(jù)思維，讓決策更科學(xué)！讓管理更高效！讓營銷更精準(zhǔn)！通過本課程的學(xué)習(xí)，達(dá)到如

 講師：傅一航詳情

大數(shù)據(jù)思維與應(yīng)用創(chuàng)新【課程目標(biāo)】本課程主要幫助大家理解大數(shù)據(jù)的基本概念，著重探索大數(shù)據(jù)的本質(zhì)，理解大數(shù)據(jù)的核心價值，以及掌握實(shí)現(xiàn)大數(shù)據(jù)價值的三個關(guān)鍵環(huán)節(jié)，大數(shù)據(jù)解決業(yè)務(wù)問題的六個步驟，然后聚焦大數(shù)據(jù)的七大核心思維，最后，再用案例說明了大數(shù)據(jù)在各行業(yè)的應(yīng)用場景。大數(shù)據(jù)思維，讓決策更科學(xué)！讓管理更高效！讓營銷更精準(zhǔn)！通過本課程的學(xué)習(xí)，達(dá)到如下目的：了解大數(shù)據(jù)基本

 講師：傅一航詳情

大數(shù)據(jù)思維與應(yīng)用創(chuàng)新【課程目標(biāo)】本課程主要幫助大家理解大數(shù)據(jù)的基本概念，著重探索大數(shù)據(jù)的本質(zhì)，理解大數(shù)據(jù)的核心價值，以及掌握實(shí)現(xiàn)大數(shù)據(jù)價值的三個關(guān)鍵環(huán)節(jié)，大數(shù)據(jù)解決業(yè)務(wù)問題的六個步驟，然后聚焦大數(shù)據(jù)的七大核心思維，最后，再用案例說明了大數(shù)據(jù)在各行業(yè)的應(yīng)用場景。大數(shù)據(jù)思維，讓決策更科學(xué)！讓管理更高效！讓營銷更精準(zhǔn)！通過本課程的學(xué)習(xí)，達(dá)到如下目的：了解大數(shù)據(jù)基本

 講師：傅一航詳情

大數(shù)據(jù)思維與應(yīng)用創(chuàng)新【課程目標(biāo)】本課程主要幫助大家理解大數(shù)據(jù)的基本概念，著重探索大數(shù)據(jù)的本質(zhì)，理解大數(shù)據(jù)的核心價值，以及掌握實(shí)現(xiàn)大數(shù)據(jù)價值的三個關(guān)鍵環(huán)節(jié)，大數(shù)據(jù)解決業(yè)務(wù)問題的六個步驟，然后聚焦大數(shù)據(jù)的七大核心思維，最后，再用案例說明了大數(shù)據(jù)在各行業(yè)的應(yīng)用場景。大數(shù)據(jù)思維，讓決策更科學(xué)！讓管理更高效！讓營銷更精準(zhǔn)！通過本課程的學(xué)習(xí)，達(dá)到如下目的：了解大數(shù)據(jù)基本

 講師：傅一航詳情

大數(shù)據(jù)挖掘工具:SPSSStatistics入門與提高【課程目標(biāo)】本課程為數(shù)據(jù)分析和挖掘的工具篇，本課程面向數(shù)據(jù)分析部等專門負(fù)責(zé)數(shù)據(jù)分析與挖掘的人士，專注大數(shù)據(jù)挖掘工具SPSSStatistics的培訓(xùn)。IBMSPSS工具是面向非專業(yè)人士的高級的分析工具（挖掘工具），它提供大量的分析方法和分析模型，能夠解決更復(fù)雜的業(yè)務(wù)問題，比如影響因素分析、客戶行為預(yù)測/精

 講師：傅一航詳情

金融行業(yè)風(fēng)險預(yù)測模型實(shí)戰(zhàn)【課程目標(biāo)】本課程專注于金融行業(yè)的風(fēng)控模型，面向數(shù)據(jù)分析部等專門負(fù)責(zé)數(shù)據(jù)分析與建模的人士。本課程的主要目的是，培養(yǎng)學(xué)員的大數(shù)據(jù)意識和大數(shù)據(jù)思維，掌握常用的數(shù)據(jù)分析方法和數(shù)據(jù)分析模型，并能夠用于對客戶行為作分析和預(yù)測，提升學(xué)員的數(shù)據(jù)分析綜合能力。通過本課程的學(xué)習(xí)，達(dá)到如下目的：掌握數(shù)據(jù)分析和數(shù)據(jù)建模的基本過程和步驟掌握客戶行為分析中常用

 講師：傅一航詳情

COPYRIGT @ 2001-2018 HTTP://norrislakevacationhomes.com INC. ALL RIGHTS RESERVED. 管理資源網(wǎng) 版權(quán)所有