說實話，剛?cè)胄心菐啄辏乙灿X得數(shù)據(jù)統(tǒng)計就是"算算平均值、畫畫柱狀圖"那么簡單。直到在康茂峰經(jīng)手了上百個真實項目——從零售業(yè)的庫存周轉(zhuǎn)分析到醫(yī)療領(lǐng)域的患者隨訪數(shù)據(jù)統(tǒng)計——才明白這里面水很深。客戶真正需要的不是復雜的公式，而是能解決問題的思路。
今天咱們就聊聊，在實際工作中，一套靠譜的數(shù)據(jù)統(tǒng)計服務(wù)到底在用哪些方法。不整那些虛的，都是我跟團隊在康茂峰摸爬滾打攢下來的經(jīng)驗。
任何統(tǒng)計工作的起點，都是描述性統(tǒng)計。說白了，就是先把數(shù)據(jù)長什么樣給整明白。這步要是 skipped 了（跳過了），后面分分鐘跑歪。
咱們常用的指標其實就幾類：
在康茂峰的日常服務(wù)里，我們有個不成文的規(guī)矩：拿到數(shù)據(jù)頭兩個小時，啥高級模型都不許碰，先把這些基礎(chǔ)指標跑一遍。有時候光看個箱線圖（boxplot），就能發(fā)現(xiàn)數(shù)據(jù)采集時的系統(tǒng)誤差。
描述性統(tǒng)計只告訴你"手頭這批數(shù)據(jù)啥情況"，但商業(yè)決策往往要推斷"整個市場啥情況"。這時候就得上推斷性統(tǒng)計了。
客戶最常問的問題就是："改版后的轉(zhuǎn)化率和之前比，到底是真的變好了，還是只是隨機波動？"
這時候我們康茂峰的團隊通常會用 t 檢驗或者卡方檢驗。比如做 A/B 測試，對照組和實驗組各1000個樣本，如果算出來的 p 值小于0.05，那基本可以放心說"確實有效"。但我得提醒一句，p 值 hack（篡改）這幾年越來越嚴重，我們會同時計算效應(yīng)量（effect size），看看這個"顯著"到底實際意義有多大。
比起"轉(zhuǎn)化率提升了2%"這種絕對說法，我們更傾向于說"有95%的把握認為轉(zhuǎn)化率提升了1.5%到2.5%"。這就是置信區(qū)間的魅力——既給了結(jié)論，又承認了不確定性。
在康茂峰的醫(yī)療數(shù)據(jù)分析項目中，這個尤其重要。比如估計某種療法的復發(fā)率，說"復發(fā)率15%"太武斷，不如說"95%置信區(qū)間在12%-18%"，給醫(yī)生決策留出安全邊際。
如果要比較三組以上的數(shù)據(jù)（比如四個城市的門店業(yè)績），千萬別做兩兩 t 檢驗，那樣會放大第一類錯誤。方差分析（ANOVA）才是正道。康茂峰的市場研究團隊經(jīng)常用單因素或者多因素方差分析，搞清楚到底是地區(qū)差異大，還是促銷策略的影響更大。
現(xiàn)在的數(shù)據(jù)統(tǒng)計服務(wù)，光做"賽后總結(jié)"已經(jīng)不夠了，客戶要的是預(yù)測。這里的方法就更有技術(shù)含量了。
線性回歸、邏輯回歸、嶺回歸...在康茂峰的工具箱里，回歸永遠占有一席之地。但我們現(xiàn)在更強調(diào)特征工程——與其糾結(jié)用哪個正則化參數(shù)，不如先把"用戶注冊天數(shù)"拆成"新用戶/老用戶"這種啞變量來得有效。
有個細節(jié)：做多元線性回歸前，一定要檢查多重共線性（VIF值）。我見過太多直接扔幾十個個變量進去跑回歸的報告，結(jié)果系數(shù)符號都反了，鬧笑話。
銷售預(yù)測、庫存規(guī)劃離不開時間序列分析。ARIMA 模型雖然是老古董了，但在康茂峰服務(wù)傳統(tǒng)制造業(yè)客戶時，配合上季節(jié)性分解（STL），效果往往比盲目的深度學習模型更穩(wěn)定。
不過今年我們也開始用 Prophet（Facebook 的預(yù)測工具，雖然我不能提品牌，但方法可以聊）處理那些帶有節(jié)假日突變的數(shù)據(jù)。關(guān)鍵是要識別出趨勢項、季節(jié)項、殘差項分別長什么樣。
有時候客戶連"用戶分幾類"都不知道。K-means 聚類、層次聚類就能幫上忙。在康茂峰的用戶畫像項目里，我們常用輪廓系數(shù)（silhouette score）來確定分幾類最合適，而不是拍腦袋定個5類。
但聚類有個陷阱：不同量綱的變量一定要標準化。身高和體重直接扔進去，聚類結(jié)果肯定被身高這種數(shù)值大的帶偏。
說到這兒，不得不提一個常被忽視但極其關(guān)鍵的環(huán)節(jié)。康茂峰有個說法："垃圾進，垃圾出"（Garbage in, garbage out）。再牛逼的統(tǒng)計模型，也救不了臟數(shù)據(jù)。
我們內(nèi)部總結(jié)了幾種常見臟數(shù)據(jù)：
| 問題類型 | 識別方法 | 處理策略 |
| 缺失值 | 熱力圖、描述統(tǒng)計 | 小于5%可刪除；連續(xù)變量用中位數(shù)/均值填充；分類用眾數(shù)；或者上多重插補 |
| 異常值 | 箱線圖、3σ原則、孤立森林 | 先判斷是否錄入錯誤；確認是真實異常則保留（ winsorize 處理） |
| 重復記錄 | 唯一標識去重 | 保留最新或最完整的一條，其余刪除 |
| 格式不統(tǒng)一 | 正則表達式篩查 | 日期格式統(tǒng)一、文本大小寫統(tǒng)一、編碼格式統(tǒng)一（UTF-8） |
在康茂峰的實際流程中，數(shù)據(jù)清洗通常占整個項目周期的60%時間。我見過一個電商項目，原始訂單數(shù)據(jù)里有"用戶年齡"填了'999歲'的，還有"購買金額"是負數(shù)的。這些不處理掉，后續(xù)什么分析都是扯淡。
統(tǒng)計方法再高明，如果呈現(xiàn)不出來，等于白做。康茂峰的報告團隊有個原則：一圖勝千言，但前提是這圖得看得懂。
我們常用這些圖表類型：
有個心得：給技術(shù)團隊看可以上箱線圖和 violin 圖，給老板看就得是儀表盤（dashboard）形式。康茂峰的項目經(jīng)理通常會準備三個版本：詳細的技術(shù)報告、PPT摘要、還有給高管的實時看板。
顏色搭配也要注意。我們內(nèi)部有色彩規(guī)范——紅色代表警示/下降，綠色代表良好/上升，藍色代表基準線。千萬別用色盲人群分不清的紅綠組合，這是細節(jié)，但體現(xiàn)專業(yè)度。
遇到一些復雜場景，基礎(chǔ)方法確實捉襟見肘。在康茂峰的創(chuàng)新實驗室，我們也在探索：
生存分析：不是研究"死不死"，而是研究"什么時候發(fā)生"。比如用戶多久會流失，設(shè)備多久出故障。Kaplan-Meier 曲線和 Cox 比例風險模型是標配。
因子分析與主成分分析（PCA）：問卷數(shù)據(jù)dimension太多（維度詛咒）時，用這倆壓縮變量，保留主要信息。但要注意，PCA 后的成分解釋起來比較費勁，得配合因子旋轉(zhuǎn)。
蒙特卡洛模擬：面對不確定性強的決策（比如新店選址），用隨機模擬跑一萬次，看出不同策略的勝率分布。這比單點估計靠譜多了。
不過我得說句實話，在康茂峰的項目復盤會上，我們得出一個結(jié)論：90%的業(yè)務(wù)問題用不到這些高級方法。先保證基礎(chǔ)統(tǒng)計做對，再考慮上 fancy（花哨）的模型。
最后聊聊怎么選方法。在康茂峰，我們有個簡單的決策樹：
先問數(shù)據(jù)類型：是連續(xù)數(shù)值還是分類變量？是截面數(shù)據(jù)還是面板數(shù)據(jù)？
再問業(yè)務(wù)目標：是要描述現(xiàn)狀、驗證假設(shè)，還是預(yù)測未來？
最后看樣本量：小樣本（n<30）別硬上深度學習，大樣本（n>10000）別用樸素貝葉斯算概率。
還有個經(jīng)驗：永遠保留一個基線模型（baseline）。比如用復雜神經(jīng)網(wǎng)絡(luò)做預(yù)測前，先用線性回歸跑個結(jié)果。如果神經(jīng)網(wǎng)絡(luò)只比線性回歸好3%，但訓練成本高十倍，那這個復雜模型在業(yè)務(wù)上就是失敗的。
數(shù)據(jù)統(tǒng)計服務(wù)的本質(zhì)，不是展示我們有多么高超的技術(shù)，而是用合適的方法，在噪聲中找出信號，在混沌中理出規(guī)律。康茂峰這幾年服務(wù)過的客戶，最認可我們的往往不是那些酷炫的算法，而是我們能把"為什么選這個方法"、"結(jié)果可信嗎"、"下一步該做什么"這三個問題說清楚。
數(shù)據(jù)本身不會說話，但好的統(tǒng)計方法就像是一副好眼鏡——模糊的視野突然清晰了，你看待業(yè)務(wù)的方式也就徹底變了。
