大數(shù)據(jù)分析與挖掘綜合能力提升實(shí)戰(zhàn)（2-3天-進(jìn)階）

大數(shù)據(jù)分析與挖掘綜合能力提升實(shí)戰(zhàn)
【課程目標(biāo)】
本課程為大數(shù)據(jù)分析中級(jí)課程，需要在初級(jí)課程之后學(xué)習(xí)。面向所有應(yīng)用型人員，包括業(yè)務(wù)部分，以及數(shù)據(jù)分析部門，系統(tǒng)開發(fā)人員也同樣需要學(xué)習(xí)。
本課程核心內(nèi)容為數(shù)據(jù)挖掘，預(yù)測(cè)模型，以及模型優(yōu)化，幫助學(xué)員構(gòu)建系統(tǒng)全面的業(yè)務(wù)分析思維，提升學(xué)員的數(shù)據(jù)分析綜合能力。
本課程覆蓋了如下內(nèi)容：
數(shù)據(jù)挖掘基礎(chǔ)知識(shí)。
常用數(shù)值預(yù)測(cè)模型。
常用時(shí)序預(yù)測(cè)模型。
數(shù)據(jù)預(yù)處理的基本過程。
本系列課程從實(shí)際的業(yè)務(wù)需求出發(fā)，結(jié)合行業(yè)的典型應(yīng)用特點(diǎn)，圍繞實(shí)際的商業(yè)問題，對(duì)數(shù)據(jù)分析及數(shù)據(jù)挖掘技術(shù)進(jìn)行了全面的介紹（從數(shù)據(jù)收集與處理，到數(shù)據(jù)分析與挖掘，再到數(shù)據(jù)可視化和報(bào)告撰寫），通過大量的操作演練，幫助學(xué)員掌握數(shù)據(jù)分析和數(shù)據(jù)挖掘的思路、方法、表達(dá)、工具，從大量的企業(yè)經(jīng)營數(shù)據(jù)中進(jìn)行分析，挖掘客戶行為特點(diǎn)，幫助運(yùn)營團(tuán)隊(duì)深入理解業(yè)務(wù)運(yùn)作，以達(dá)到提升學(xué)員的數(shù)據(jù)綜合分析能力，支撐運(yùn)營決策的目的。
通過本課程的學(xué)習(xí)，達(dá)到如下目的：
了解數(shù)據(jù)挖掘基礎(chǔ)知識(shí)，以及數(shù)據(jù)挖掘標(biāo)準(zhǔn)過程。
掌握建模前的影響因素分析，學(xué)會(huì)尋找影響業(yè)務(wù)的關(guān)鍵因素。
熟練使用數(shù)值預(yù)測(cè)模型，掌握回歸預(yù)測(cè)模型，學(xué)會(huì)解讀模型中業(yè)務(wù)規(guī)律。
學(xué)會(huì)自定義回歸模型，能夠?qū)貧w模型進(jìn)行優(yōu)化，并找到最優(yōu)的回歸模型。
熟練掌握預(yù)處理的基本過程，并根據(jù)業(yè)務(wù)實(shí)際情況進(jìn)行處理。
【授課時(shí)間】
2-3天時(shí)間（每天6個(gè)小時(shí)）
【授課對(duì)象】
業(yè)務(wù)支撐部、運(yùn)營分析部、數(shù)據(jù)分析部、大數(shù)據(jù)系統(tǒng)開發(fā)部等對(duì)業(yè)務(wù)數(shù)據(jù)分析有較高要求的相關(guān)人員。
【學(xué)員要求】
每個(gè)學(xué)員自備一臺(tái)便攜機(jī)(必須)。
便攜機(jī)中事先安裝好Microsoft Office Excel 2013版本及以上。
便攜機(jī)中事先安裝好IBM SPSS Statistics v19版本及以上。
注：講師可以提供試用版本軟件及分析數(shù)據(jù)源。
【授課方式】
數(shù)據(jù)分析基礎(chǔ) + 方法講解 + 實(shí)際業(yè)務(wù)問題分析 + 工具實(shí)踐操作
采用互動(dòng)式教學(xué)，圍繞業(yè)務(wù)問題，展開數(shù)據(jù)分析過程，全過程演練操作，讓學(xué)員在分析、分享、講授、總結(jié)、自我實(shí)踐過程中獲得能力提升。
【課程大綱】
數(shù)據(jù)挖掘基礎(chǔ)
數(shù)據(jù)挖掘概述
數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程（CRISP-DM）
商業(yè)理解
數(shù)據(jù)準(zhǔn)備
數(shù)據(jù)理解
模型建立
模型評(píng)估
模型應(yīng)用
案例：客戶流失預(yù)測(cè)及客戶挽留
數(shù)據(jù)集概述
變量的類型
存儲(chǔ)類型
度量類型
角色
SPSS工具介紹
數(shù)據(jù)挖掘常用模型
影響因素分析篇
問題：如何判斷一個(gè)因素對(duì)另一個(gè)因素有影響？比如：價(jià)格是否會(huì)影響產(chǎn)品銷量？產(chǎn)品的陳列位置是否會(huì)影響銷量？學(xué)歷是否與客戶流失有關(guān)系？影響風(fēng)險(xiǎn)的關(guān)鍵因素有哪些？影響因素分析的常見方法
相關(guān)分析（衡量兩數(shù)據(jù)型變量的線性相關(guān)性）
問題：這兩個(gè)屬性是否會(huì)相互影響？影響程度大嗎？
相關(guān)分析簡介相關(guān)分析的應(yīng)用場(chǎng)景
相關(guān)分析的種類
簡單相關(guān)分析
偏相關(guān)分析
距離相關(guān)分析
相關(guān)系數(shù)的三種計(jì)算公式
Pearson相關(guān)系數(shù)
Spearman相關(guān)系數(shù)
Kendall相關(guān)系數(shù)
相關(guān)分析的假設(shè)檢驗(yàn)
相關(guān)分析的四個(gè)基本步驟
演練：體重與腰圍的關(guān)系
演練：營銷費(fèi)用會(huì)影響銷售額嗎
演練：哪些因素與汽車銷量有相關(guān)性
演練：話費(fèi)與網(wǎng)齡的相關(guān)分析
偏相關(guān)分析
偏相關(guān)原理：排除不可控因素后的兩變量的相關(guān)性
偏相關(guān)系數(shù)的計(jì)算公式
偏相關(guān)分析的適用場(chǎng)景
距離相關(guān)分析
方差分析（衡量類別變量與數(shù)值變量間的相關(guān)性）
問題：哪些才是影響銷量的關(guān)鍵因素？
方差分析的應(yīng)用場(chǎng)景
方差分析的三個(gè)種類
單因素方差分析
多因素方差分析
協(xié)方差分析
方差分析的原理
方差分析的四個(gè)步驟
解讀方差分析結(jié)果的兩個(gè)要點(diǎn)
演練：終端擺放位置與終端銷量有關(guān)嗎
演練：開通月數(shù)對(duì)客戶流失的影響分析
演練：客戶學(xué)歷對(duì)消費(fèi)水平的影響分析
演練：廣告和價(jià)格是影響終端銷量的關(guān)鍵因素嗎
演練：營業(yè)員的性別、技能級(jí)別對(duì)產(chǎn)品銷量有影響嗎
演練：尋找影響產(chǎn)品銷量的關(guān)鍵因素
多因素方差分析原理
多因素方差分析的作用
多因素方差結(jié)果的解讀
演練：廣告形式、地區(qū)對(duì)銷量的影響因素分析（多因素）
協(xié)方差分析原理
協(xié)方差分析的適用場(chǎng)景
演練：飼料對(duì)生豬體重的影響分析（協(xié)方差分析）
列聯(lián)分析/卡方檢驗(yàn)（兩類別變量的相關(guān)性分析）
交叉表與列聯(lián)表
卡方檢驗(yàn)的原理
卡方檢驗(yàn)的幾個(gè)計(jì)算公式
列聯(lián)表分析的適用場(chǎng)景
案例：套餐類型對(duì)客戶流失的影響分析
案例：學(xué)歷對(duì)業(yè)務(wù)套餐偏好的影響分析
案例：行業(yè)/規(guī)模對(duì)風(fēng)控的影響分析
相關(guān)性分析方法總結(jié)
回歸預(yù)測(cè)模型篇
問題：如何預(yù)測(cè)產(chǎn)品的銷量/銷售金額？
常用預(yù)測(cè)模型
數(shù)值預(yù)測(cè)：回歸預(yù)測(cè)/時(shí)序預(yù)測(cè)
分類預(yù)測(cè)：邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、…
回歸分析/回歸預(yù)測(cè)
問題：如何預(yù)測(cè)未來的銷售量（定量分析）？
回歸分析簡介
回歸分析的種類（一元/多元、線性/曲線）
得到回歸方程的常用工具
散點(diǎn)圖+趨勢(shì)線
線性回歸工具
規(guī)劃求解工具
演練：散點(diǎn)圖找營銷費(fèi)用與銷售額的關(guān)系（一元回歸）
線性回歸分析的五個(gè)步驟
演練：營銷費(fèi)用、辦公費(fèi)用與銷售額的關(guān)系（線性回歸）
解讀線性回歸分析結(jié)果的技巧
定性描述：正相關(guān)/負(fù)相關(guān)
定量描述：自變量變化導(dǎo)致因變量的變化程度
回歸預(yù)測(cè)模型質(zhì)量評(píng)估
評(píng)估指標(biāo)：判定系數(shù)R^2、標(biāo)準(zhǔn)誤差
如何選擇最佳回歸模型
演練：如何選擇最佳的回歸預(yù)測(cè)模型（一元曲線回歸）
預(yù)測(cè)值準(zhǔn)確性評(píng)估
MAD、MSE/RMSE、MAPE等
帶分類變量的回歸預(yù)測(cè)
演練：汽車季度銷量預(yù)測(cè)
演練：工齡、性別與終端銷量的關(guān)系
演練：如何評(píng)估銷售目標(biāo)與資源配置（營業(yè)廳）
自動(dòng)篩選不顯著因素（自變量）
回歸模型優(yōu)化篇
回歸分析的基本原理
三個(gè)基本概念：總變差、回歸變差、剩余變差
方程的顯著性檢驗(yàn)：是否可以做回歸分析？
因素的顯著性檢驗(yàn)：自變量是否可用？
擬合優(yōu)度檢驗(yàn)：回歸模型的質(zhì)量評(píng)估？
理解標(biāo)準(zhǔn)誤差的含義：預(yù)測(cè)的準(zhǔn)確性？
模型優(yōu)化思路：尋找最佳回歸擬合線
如何處理預(yù)測(cè)離群值（剔除離群值）
如何剔除不顯著因素（剔除不顯著因素）
如何進(jìn)行非線性關(guān)系檢驗(yàn)（增加非線性自變量）
如何進(jìn)行相互作用檢驗(yàn)（增加相互作用自變量）
如何進(jìn)行多重共線性檢驗(yàn)（剔除共線性自變量）
如何檢驗(yàn)誤差項(xiàng)（修改因變量）
如何判斷模型過擬合（模型過擬合判斷）
演練：模型優(yōu)化案例規(guī)劃求解工具簡介（自定義回歸模型的工具）
自定義模型（如何利用規(guī)劃求解進(jìn)行自定義模型）
案例：如何對(duì)餐廳客流量進(jìn)行建模及模型優(yōu)化好模型都是優(yōu)化出來的
時(shí)序預(yù)測(cè)模型篇
問題：類似于GDP這種無法找到或找全影響因素，無法進(jìn)行回歸建模，怎么辦？時(shí)間序列簡介
時(shí)間序列常用模型評(píng)估預(yù)測(cè)值的準(zhǔn)確度指標(biāo)
平均絕對(duì)誤差MAE
均方差MSE/RMSE
平均誤差率MAPE移動(dòng)平均（MA）
應(yīng)用場(chǎng)景及原理
移動(dòng)平均種類
一次移動(dòng)平均
二次移動(dòng)平均
加權(quán)移動(dòng)平均
移動(dòng)平均比率法
移動(dòng)平均關(guān)鍵問題
期數(shù)N的最佳選擇方法
最優(yōu)權(quán)重系數(shù)的選取方法
演練：平板電腦銷量預(yù)測(cè)及評(píng)估
演練：快銷產(chǎn)品季節(jié)銷量預(yù)測(cè)及評(píng)估
指數(shù)平滑（ES）
應(yīng)用場(chǎng)景及原理
最優(yōu)平滑系數(shù)的選取原則
指數(shù)平滑種類
一次指數(shù)平滑
二次指數(shù)平滑（Brown線性、Holt線性、Holt指數(shù)、阻尼線性、阻尼指數(shù)）
三次指數(shù)平滑
演練：煤炭產(chǎn)量預(yù)測(cè)
演練：航空旅客量預(yù)測(cè)及評(píng)估
溫特斯季節(jié)預(yù)測(cè)模型
適用場(chǎng)景及原理
Holt-Winters加法模型
Holt-Winters乘法模型
演練：汽車銷量預(yù)測(cè)及評(píng)估
回歸季節(jié)預(yù)測(cè)模型
回歸季節(jié)模型的參數(shù)
基于時(shí)期t的相加模型
基于時(shí)期t的相乘模型
怎樣解讀模型的含義
案例：美國航空旅客里程的季節(jié)性趨勢(shì)分析
ARIMA模型
適用場(chǎng)景及原理
ARIMA操作
演練：上海證券交易所綜合指數(shù)收益率序列分析
演練：服裝銷售數(shù)據(jù)季節(jié)性趨勢(shì)預(yù)測(cè)分析新產(chǎn)品銷量預(yù)測(cè)模型
新產(chǎn)品累計(jì)銷量的S曲線
如何評(píng)估銷量增長的拐點(diǎn)及銷量上限
珀?duì)柷€與龔鉑茲曲線
演練：預(yù)測(cè)IPad產(chǎn)品的銷量
演練：預(yù)測(cè)Facebook的用戶增長情況
數(shù)據(jù)預(yù)處理篇（了解你的數(shù)據(jù)集）
數(shù)據(jù)預(yù)處理的主要任務(wù)
數(shù)據(jù)集成：多個(gè)數(shù)據(jù)集的合并
數(shù)據(jù)清理：異常值的處理
數(shù)據(jù)處理：數(shù)據(jù)篩選、數(shù)據(jù)精簡、數(shù)據(jù)平衡
變量處理：變量變換、變量派生、變量精簡
數(shù)據(jù)歸約：實(shí)現(xiàn)降維，避免維災(zāi)難
數(shù)據(jù)集成
外部數(shù)據(jù)讀入：Txt/Excel/SPSS/Database
數(shù)據(jù)追加（添加數(shù)據(jù)）
變量合并（添加變量）
數(shù)據(jù)理解（異常數(shù)據(jù)處理）
取值范圍限定
重復(fù)值處理
無效值/錯(cuò)誤值處理
缺失值處理
離群值/極端值處理
數(shù)據(jù)質(zhì)量評(píng)估
數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)處理
數(shù)據(jù)篩選：數(shù)據(jù)抽樣/選擇（減少樣本數(shù)量）
數(shù)據(jù)精簡：數(shù)據(jù)分段/離散化（減少變量的取值個(gè)數(shù)）
數(shù)據(jù)平衡：正反樣本比例均衡
數(shù)據(jù)準(zhǔn)備：變量處理
變量變換：原變量取值更新，比如標(biāo)準(zhǔn)化
變量派生：根據(jù)舊變量生成新的變量
變量精簡：降維，減少變量個(gè)數(shù)
數(shù)據(jù)降維
常用降維的方法
如何確定變量個(gè)數(shù)
特征選擇：選擇重要變量，剔除不重要的變量
從變量本身考慮
從輸入變量與目標(biāo)變量的相關(guān)性考慮
對(duì)輸入變量進(jìn)行合并
因子分析（主成分分析）
因子分析的原理
因子個(gè)數(shù)如何選擇
如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析
數(shù)據(jù)探索性分析
常用統(tǒng)計(jì)指標(biāo)分析
單變量：數(shù)值變量/分類變量
雙變量：交叉分析/相關(guān)性分析
多變量：特征選擇、因子分析
演練：描述性分析（頻數(shù)、描述、探索、分類匯總）
數(shù)據(jù)可視化
數(shù)據(jù)可視化：柱狀圖、條形圖、餅圖、折線圖、箱圖、散點(diǎn)圖等
圖形的表達(dá)及適用場(chǎng)景
演練：各種圖形繪制
結(jié)束：課程總結(jié)與問題答疑。

傅一航老師的其它課程