了解大數(shù)據(jù)挖掘的標(biāo)準(zhǔn)過程和挖掘步驟。
掌握基本的統(tǒng)計(jì)分析，常用的影響因素分析。
理解數(shù)據(jù)挖掘的常見模型，原理及適用場(chǎng)景。
熟練掌握SPSS基本操作，能利用SPSS解決實(shí)際的商業(yè)問題。

數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程
數(shù)據(jù)挖掘概述
數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程（CRISP-DM）
商業(yè)理解
數(shù)據(jù)準(zhǔn)備
數(shù)據(jù)理解
模型建立
模型評(píng)估
模型應(yīng)用
案例：客戶流失預(yù)測(cè)及客戶挽留
數(shù)據(jù)集的基本知識(shí)
存儲(chǔ)類型
統(tǒng)計(jì)類型
角度
SPSS工具簡(jiǎn)介

數(shù)據(jù)預(yù)處理過程
數(shù)據(jù)預(yù)處理的基本步驟
數(shù)據(jù)讀取、數(shù)據(jù)理解、數(shù)據(jù)處理、變量處理、探索分析
數(shù)據(jù)預(yù)處理的主要任務(wù)
數(shù)據(jù)集成：多個(gè)數(shù)據(jù)集的合并
數(shù)據(jù)清理：異常值的處理
數(shù)據(jù)處理：數(shù)據(jù)篩選、數(shù)據(jù)精簡(jiǎn)、數(shù)據(jù)平衡
變量處理：變量變換、變量派生、變量精簡(jiǎn)
數(shù)據(jù)歸約：實(shí)現(xiàn)降維，避免維災(zāi)難
數(shù)據(jù)集成
外部數(shù)據(jù)讀入：Txt/Excel/SPSS/Database
數(shù)據(jù)追加（添加數(shù)據(jù)）
變量合并（添加變量）
數(shù)據(jù)理解（異常數(shù)據(jù)處理）
取值范圍限定
重復(fù)值處理
無效值/錯(cuò)誤值處理
缺失值處理
離群值/極端值處理
數(shù)據(jù)質(zhì)量評(píng)估
數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)處理
數(shù)據(jù)篩選：數(shù)據(jù)抽樣/選擇（減少樣本數(shù)量）
數(shù)據(jù)精簡(jiǎn)：數(shù)據(jù)分段/離散化（減少變量的取值個(gè)數(shù)）
數(shù)據(jù)平衡：正反樣本比例均衡
數(shù)據(jù)準(zhǔn)備：變量處理
變量變換：原變量取值更新，比如標(biāo)準(zhǔn)化
變量派生：根據(jù)舊變量生成新的變量
變量精簡(jiǎn)：降維，減少變量個(gè)數(shù)
數(shù)據(jù)降維
常用降維方法
如何確定變量個(gè)數(shù)
特征選擇：選擇重要變量，剔除不重要的變量
從變量本身考慮
從輸入變量與目標(biāo)變量的相關(guān)性考慮
對(duì)輸入變量進(jìn)行合并
因子分析（主成分分析）
因子分析的原理
因子個(gè)數(shù)如何選擇
如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析
數(shù)據(jù)探索性分析
常用統(tǒng)計(jì)指標(biāo)分析
單變量：數(shù)值變量/分類變量
雙變量：交叉分析/相關(guān)性分析
多變量：特征選擇、因子分析
演練：描述性分析（頻數(shù)、描述、探索、分類匯總）
數(shù)據(jù)可視化篇
數(shù)據(jù)可視化的原則
常用可視化工具
常用可視化圖形
柱狀圖、條形圖、餅圖、折線圖、箱圖、散點(diǎn)圖等
圖形的表達(dá)及適用場(chǎng)景
演練：各種圖形繪制

影響因素分析篇
問題：如何判斷一個(gè)因素對(duì)另一個(gè)因素有影響？比如營(yíng)銷費(fèi)用是否會(huì)影響銷售額？產(chǎn)品價(jià)格是否會(huì)影響銷量？產(chǎn)品的陳列位置是否會(huì)影響銷量？
風(fēng)險(xiǎn)控制的關(guān)鍵因素有哪些？如何判斷？
影響因素分析的常見方法
相關(guān)分析（衡量變量間的的相關(guān)性）
問題：這兩個(gè)屬性是否會(huì)相互影響？影響程度大嗎？營(yíng)銷費(fèi)用會(huì)影響銷售額嗎？ 
什么是相關(guān)關(guān)系
相關(guān)系數(shù)：衡量相關(guān)程度的指標(biāo)
相關(guān)系數(shù)的三個(gè)計(jì)算公式
相關(guān)分析的假設(shè)檢驗(yàn)
相關(guān)分析的基本步驟
相關(guān)分析應(yīng)用場(chǎng)景
演練：體重與腰圍的關(guān)系
演練：營(yíng)銷費(fèi)用會(huì)影響銷售額嗎
演練：哪些因素與汽車銷量有相關(guān)性
演練：通信費(fèi)用與開通月數(shù)的相關(guān)分析
案例：酒樓生意好壞與報(bào)紙銷量的相關(guān)分析
偏相關(guān)分析
距離相關(guān)分析
方差分析
問題：哪些才是影響銷量的關(guān)鍵因素？
方差分析解決什么問題
方差分析種類：?jiǎn)我蛩?雙因素可重復(fù)/雙因素?zé)o重復(fù)
方差分析的應(yīng)用場(chǎng)景
方差分析的原理與步驟
如何解決方差分析結(jié)果
演練：終端擺放位置與終端銷量有關(guān)嗎？
演練：開通月數(shù)驛客戶流失的影響分析
演練：客戶學(xué)歷對(duì)消費(fèi)水平的影響分析
演練：廣告和價(jià)格是影響終端銷量的關(guān)鍵因素嗎
演練：營(yíng)業(yè)員的性別、技能級(jí)別產(chǎn)品銷量有影響嗎？
案例：2015年大學(xué)生工資與父母職業(yè)的關(guān)系
案例：醫(yī)生洗手與嬰兒存活率的關(guān)系
演練：尋找影響產(chǎn)品銷量的關(guān)鍵因素
多因素方差分析原理
多因素方差結(jié)果的解讀
演練：廣告形式、地區(qū)對(duì)銷量的影響因素分析（多因素）
協(xié)方差分析原理
演練：飼料對(duì)生豬體重的影響分析（協(xié)方差分析）
列聯(lián)分析（兩類別變量的相關(guān)性分析）
交叉表與列聯(lián)表
卡方檢驗(yàn)的原理
卡方檢驗(yàn)的幾個(gè)計(jì)算公式
列聯(lián)表分析的適用場(chǎng)景
案例：套餐類型對(duì)客戶流失的影響分析
案例：學(xué)歷對(duì)業(yè)務(wù)套餐偏好的影響分析
案例：行業(yè)/規(guī)模對(duì)風(fēng)控的影響分析

數(shù)據(jù)建模過程篇
預(yù)測(cè)建模六步法
選擇模型：基于業(yè)務(wù)選擇恰當(dāng)?shù)臄?shù)據(jù)模型
屬性篩選：選擇對(duì)目標(biāo)變量有顯著影響的屬性來建模
訓(xùn)練模型：采用合適的算法對(duì)模型進(jìn)行訓(xùn)練，尋找到最合適的模型參數(shù)
評(píng)估模型：進(jìn)行評(píng)估模型的質(zhì)量，判斷模型是否可用
優(yōu)化模型：如果評(píng)估結(jié)果不理想，則需要對(duì)模型進(jìn)行優(yōu)化
應(yīng)用模型：如果評(píng)估結(jié)果滿足要求，則可應(yīng)用模型于業(yè)務(wù)場(chǎng)景
數(shù)據(jù)挖掘常用的模型
數(shù)值預(yù)測(cè)模型：回歸預(yù)測(cè)、時(shí)序預(yù)測(cè)等
分類預(yù)測(cè)模型：邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等
市場(chǎng)細(xì)分：聚類、RFM、PCA等
產(chǎn)品推薦：關(guān)聯(lián)分析、協(xié)同過濾等
產(chǎn)品優(yōu)化：回歸、隨機(jī)效用等
產(chǎn)品定價(jià)：定價(jià)策略/最優(yōu)定價(jià)等
屬性篩選/特征選擇/變量降維
基于變量本身特征
基于相關(guān)性判斷
因子合并（PCA等）
IV值篩選（評(píng)分卡使用）
基于信息增益判斷（決策樹使用）
模型評(píng)估
模型質(zhì)量評(píng)估指標(biāo)：R^2、正確率/查全率/查準(zhǔn)率/特異性等
預(yù)測(cè)值評(píng)估指標(biāo)：MAD、MSE/RMSE、MAPE、概率等
模型評(píng)估方法：留出法、K拆交叉驗(yàn)證、自助法等
其它評(píng)估：過擬合評(píng)估
模型優(yōu)化
優(yōu)化模型：選擇新模型/修改模型
優(yōu)化數(shù)據(jù)：新增顯著自變量
優(yōu)化公式：采用新的計(jì)算公式
模型實(shí)現(xiàn)算法（暫略）
好模型是優(yōu)化出來的
案例：通信客戶流失分析及預(yù)警模型

數(shù)值預(yù)測(cè)模型篇
問題：如何預(yù)測(cè)產(chǎn)品的銷量/銷售金額？如果產(chǎn)品跟隨季節(jié)性變動(dòng)，該如何預(yù)測(cè)？新產(chǎn)品上市，如果評(píng)估銷量上限及銷售增速？
銷量預(yù)測(cè)與市場(chǎng)預(yù)測(cè)——讓你看得更遠(yuǎn)
回歸預(yù)測(cè)/回歸分析
問題：如何預(yù)測(cè)未來的銷售量（定量分析）？
回歸分析的基本原理和應(yīng)用場(chǎng)景
回歸分析的種類（一元/多元、線性/曲線）
得到回歸方程的幾種常用方法
回歸分析的五個(gè)步驟與結(jié)果解讀
回歸預(yù)測(cè)結(jié)果評(píng)估（如何評(píng)估預(yù)測(cè)質(zhì)量，如何選擇最佳回歸模型）
演練：散點(diǎn)圖找推廣費(fèi)用與銷售額的關(guān)系（一元線性回歸）
演練：推廣費(fèi)用、辦公費(fèi)用與銷售額的關(guān)系（多元線性回歸）
演練：讓你的營(yíng)銷費(fèi)用預(yù)算更準(zhǔn)確
演練：如何選擇最佳的回歸預(yù)測(cè)模型（曲線回歸）
帶分類變量的回歸預(yù)測(cè)
演練：汽車季度銷量預(yù)測(cè)
演練：工齡、性別與終端銷量的關(guān)系
演練：如何評(píng)估銷售目標(biāo)與資源配置（營(yíng)業(yè)廳）
時(shí)序預(yù)測(cè)
問題：隨著時(shí)間變化，未來的銷量變化趨勢(shì)如何？
時(shí)序分析的應(yīng)用場(chǎng)景（基于時(shí)間的變化規(guī)律）
移動(dòng)平均MA的預(yù)測(cè)原理
指數(shù)平滑ES的預(yù)測(cè)原理
自回歸移動(dòng)平均ARIMA模型
如何評(píng)估預(yù)測(cè)值的準(zhǔn)確性？
案例：銷售額的時(shí)序預(yù)測(cè)及評(píng)估
演練：汽車銷量預(yù)測(cè)及評(píng)估
演練：電視機(jī)銷量預(yù)測(cè)分析
演練：上海證券交易所綜合指數(shù)收益率序列分析
演練：服裝銷售數(shù)據(jù)季節(jié)性趨勢(shì)預(yù)測(cè)分析
季節(jié)性預(yù)測(cè)模型
季節(jié)性回歸模型的參數(shù)
常用季節(jié)性預(yù)測(cè)模型（相加、相乘）
案例：美國(guó)航空旅客里程的季節(jié)性趨勢(shì)分析
案例：產(chǎn)品銷售季節(jié)性趨勢(shì)預(yù)測(cè)分析
新產(chǎn)品預(yù)測(cè)模型與S曲線
如何評(píng)估銷量增長(zhǎng)的拐點(diǎn)
珀?duì)柷€與龔鉑茲曲線
案例：如何預(yù)測(cè)產(chǎn)品的銷售增長(zhǎng)拐點(diǎn)，以及銷量上限
演戲：預(yù)測(cè)IPad產(chǎn)品的銷量
自定義模型（如何利用規(guī)劃求解進(jìn)行自定義模型）
案例：如何對(duì)餐廳客流量進(jìn)行建模及模型優(yōu)化

回歸模型優(yōu)化篇
回歸模型的基本原理
三個(gè)基本概念：總變差、回歸變差、剩余變差
方程的顯著性檢驗(yàn)：是否可以做回歸分析？
擬合優(yōu)度檢驗(yàn)：回歸模型的質(zhì)量評(píng)估？
因素的顯著性檢驗(yàn)：自變量是否可用？
理解標(biāo)準(zhǔn)誤差的含義：預(yù)測(cè)的準(zhǔn)確性？
模型優(yōu)化思路：尋找最佳回歸擬合線
如何處理異常數(shù)據(jù)（殘差與異常值排除）
如何剔除非顯著因素（因素顯著性檢驗(yàn)）
如何進(jìn)行非線性關(guān)系檢驗(yàn)
如何進(jìn)行相互作用檢驗(yàn)
如何進(jìn)行多重共線性檢驗(yàn)
如何檢驗(yàn)誤差項(xiàng)
如何判斷模型過擬合
案例：模型優(yōu)化案例

分類預(yù)測(cè)模型篇
問題：如何評(píng)估客戶購(gòu)買產(chǎn)品的可能性？如何預(yù)測(cè)客戶的購(gòu)買行為？如何提取某類客戶的典型特征？如何向客戶精準(zhǔn)推薦產(chǎn)品或業(yè)務(wù)？
分類模型概述
常見分類預(yù)測(cè)模型
評(píng)估分類模型的常用指標(biāo)
正確率、查全率/查準(zhǔn)率、特異性等
邏輯回歸模型（LR）
邏輯回歸模型原理及適用場(chǎng)景
邏輯回歸種類：二項(xiàng)/多項(xiàng)邏輯回歸
如何解讀邏輯回歸方程
案例：如何評(píng)估用戶是否會(huì)購(gòu)買某產(chǎn)品（二項(xiàng)邏輯回歸）
消費(fèi)者品牌選擇模型分析
案例：多品牌選擇模型分析（多項(xiàng)邏輯回歸）
分類決策樹（DT）
問題：如何預(yù)測(cè)客戶行為？如何識(shí)別潛在客戶？
風(fēng)控：如何識(shí)別欠貸者的特征，以及預(yù)測(cè)欠貸概率？
客戶保有：如何識(shí)別流失客戶特征，以及預(yù)測(cè)客戶流失概率？
決策樹分類簡(jiǎn)介
如何評(píng)估分類性能？
案例：美國(guó)零售商（Target）如何預(yù)測(cè)少女懷孕
演練：識(shí)別銀行欠貨風(fēng)險(xiǎn)，提取欠貸者的特征
構(gòu)建決策樹的三個(gè)關(guān)鍵問題
如何選擇最佳屬性來構(gòu)建節(jié)點(diǎn)
如何分裂變量
修剪決策樹
選擇最優(yōu)屬性
熵、基尼索引、分類錯(cuò)誤
屬性劃分增益
如何分裂變量
多元?jiǎng)澐峙c二元?jiǎng)澐?br/>連續(xù)變量離散化（最優(yōu)劃分點(diǎn)）
修剪決策樹
剪枝原則
預(yù)剪枝與后剪枝
構(gòu)建決策樹的四個(gè)算法
C5.0、CHAID、CART、QUEST
各種算法的比較
如何選擇最優(yōu)分類模型？
案例：商場(chǎng)酸奶購(gòu)買用戶特征提取
案例：電信運(yùn)營(yíng)商客戶流失預(yù)警與客戶挽留
案例：識(shí)別拖欠銀行貨款者的特征，避免不良貨款
案例：識(shí)別電信詐騙者嘴臉，讓通信更安全
人工神經(jīng)網(wǎng)絡(luò)（ANN）
神經(jīng)網(wǎng)絡(luò)概述
神經(jīng)網(wǎng)絡(luò)基本原理
神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
神經(jīng)網(wǎng)絡(luò)的建立步驟
神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題
BP反向傳播網(wǎng)絡(luò)（MLP）
徑向基網(wǎng)絡(luò)（RBF）
案例：評(píng)估銀行用戶拖欠貨款的概率