大家平時(shí)聊到“數(shù)據(jù)”，可能第一時(shí)間會(huì)想到一串串冰冷的數(shù)字，或者報(bào)表上密密麻麻的圖表。其實(shí)，想要讓這些數(shù)字真正發(fā)揮價(jià)值，往往需要一整套系統(tǒng)的服務(wù)來支撐。我們?cè)陧?xiàng)目里常會(huì)遇到這樣的情形：業(yè)務(wù)方把數(shù)據(jù)丟給你，然后問一句“這東西能幫我干什么？”這時(shí)候，如果有一支專業(yè)的團(tuán)隊(duì)把數(shù)據(jù)統(tǒng)計(jì)服務(wù)全部流程跑通，就能省掉很多摸索的時(shí)間。今天，我就把康茂峰在實(shí)際項(xiàng)目中常見的幾大塊服務(wù)內(nèi)容，給大家捋一捋，順便加點(diǎn)自己的小體會(huì)，幫助你更直觀地了解這整套體系。
數(shù)據(jù)來源多種多樣，常見的包括網(wǎng)站點(diǎn)擊、APP埋點(diǎn)、傳感器、第三方平臺(tái)接口以及手工錄入等。采集的方式直接決定了后期分析的寬度和深度。下面羅列幾種常見渠道：
在實(shí)際項(xiàng)目里，我經(jīng)常會(huì)和產(chǎn)品經(jīng)理一起梳理“關(guān)鍵行為點(diǎn)”，確保埋點(diǎn)不遺漏，也不至于產(chǎn)生冗余數(shù)據(jù)。有時(shí)候，業(yè)務(wù)方會(huì)想要捕獲所有細(xì)節(jié)，結(jié)果導(dǎo)致數(shù)據(jù)量爆炸，后期清洗成本直線上升。所以，采集策略需要結(jié)合業(yè)務(wù)目標(biāo)進(jìn)行權(quán)衡。
采集回來的原始數(shù)據(jù)往往存在缺失、重復(fù)、異常值或格式不統(tǒng)一的情況。這一步是整個(gè)數(shù)據(jù)價(jià)值鏈的“過濾器”，如果不做扎實(shí)，后面分析會(huì)出現(xiàn)“垃圾進(jìn)、垃圾出”的尷尬。
我們經(jīng)常把清洗好的數(shù)據(jù)放進(jìn)數(shù)據(jù)湖或數(shù)據(jù)倉庫的原始層，隨后再根據(jù)不同的分析需求進(jìn)行二次加工。
數(shù)據(jù)量大了之后，選型合適的存儲(chǔ)方案尤為關(guān)鍵。常見的架構(gòu)大致分為以下幾類：
在康茂峰的項(xiàng)目中，我們通常會(huì)把數(shù)據(jù)分為“三層”：原始層（ODS）、加工層（DWD）和應(yīng)用層（ADS）。這種分層管理的好處是，原始數(shù)據(jù)可以隨時(shí)回溯，業(yè)務(wù)層又可以得到已經(jīng)清洗、聚合好的結(jié)果。
數(shù)據(jù)泄露的代價(jià)就不用多說了。訪問控制、加密傳輸、日志審計(jì)是必備的三大件。常規(guī)做法包括：
這是很多人最關(guān)心的環(huán)節(jié)，也是把數(shù)據(jù)轉(zhuǎn)化為“洞察”的核心步驟。按照分析深度可以劃分為：
回答“發(fā)生了什么”。常用指標(biāo)包括：DAU、MAU、GMV、轉(zhuǎn)化率、留存率等。通過SQL或BI工具快速生成報(bào)表，幫助業(yè)務(wù)方快速定位問題。
比如 A/B 測(cè)試、顯著性檢驗(yàn)，用來判斷某次改動(dòng)是否真的帶來提升。需要掌握t 檢驗(yàn)、卡方檢驗(yàn)等基本方法。
基于歷史數(shù)據(jù)構(gòu)建回歸、分類、時(shí)間序列或深度學(xué)習(xí)模型，預(yù)測(cè)未來趨勢(shì)。常見場(chǎng)景有：
在實(shí)際落地時(shí)，很多同學(xué)會(huì)糾結(jié)于模型精度，而忽視了模型的可解釋性和部署成本。我們往往會(huì)先用線性模型或決策樹做一個(gè) baseline，然后再逐步引入更復(fù)雜的算法。
“數(shù)據(jù)不可視化，業(yè)務(wù)看不懂”，這句話真的不夸張。可視化不僅是把圖表堆在 Dashboard 上，更要做到信息層層遞進(jìn)、關(guān)鍵指標(biāo)一目了然。常見形式包括：
在康茂峰的項(xiàng)目經(jīng)驗(yàn)里，我們發(fā)現(xiàn)把“報(bào)表生成”做成SaaS化的服務(wù)，業(yè)務(wù)方只需要在配置頁面上選指標(biāo)、選時(shí)間范圍，系統(tǒng)就能自動(dòng)抓取數(shù)據(jù)并生成圖表，省時(shí)省力。
對(duì)于一些業(yè)務(wù)波動(dòng)比較大的場(chǎng)景（如大促、故障），實(shí)時(shí)流處理顯得尤為重要。常見技術(shù)棧有 Flink、Spark Streaming、Kafka 等。它們可以做到：
我有一次在雙十一前，幫助客戶搭建了實(shí)時(shí)大屏，運(yùn)營(yíng)同學(xué)在屏幕上看到 GMV 曲線一路飆升，興奮得差點(diǎn)把鍵盤摔了——這正是實(shí)時(shí)監(jiān)控的價(jià)值所在。
光有技術(shù)還不夠，數(shù)據(jù)必須和業(yè)務(wù)深度結(jié)合才能產(chǎn)生價(jià)值。我們常提供的咨詢包括：
在康茂峰的項(xiàng)目中，我們經(jīng)常說“數(shù)據(jù)團(tuán)隊(duì)是業(yè)務(wù)的第二只眼”。只有把業(yè)務(wù)場(chǎng)景吃透，才能真正做好指標(biāo)定義和模型調(diào)優(yōu)。
隨著《個(gè)人信息保護(hù)法》、《數(shù)據(jù)安全法》等法規(guī)的落地，數(shù)據(jù)的合規(guī)性已經(jīng)成了不可回避的話題。常見合規(guī)要點(diǎn)包括：
不同行業(yè)對(duì)數(shù)據(jù)統(tǒng)計(jì)的需求側(cè)重點(diǎn)略有不同，下面列舉幾類典型場(chǎng)景：
| 行業(yè) | 關(guān)鍵指標(biāo) | 常用分析模型 |
|---|---|---|
| 電商 | GMV、轉(zhuǎn)化率、客單價(jià)、復(fù)購率 | 用戶分層、推薦系統(tǒng)、銷量預(yù)測(cè) |
| 金融 | 貸款不良率、逾期率、活躍用戶 | 信用評(píng)分、欺詐檢測(cè)、風(fēng)險(xiǎn)預(yù)警 |
| 醫(yī)療 | 就診人次、住院天數(shù)、藥品銷量 | 疾病流行模型、患者路徑分析 |
| 教育 | 課程完課率、學(xué)員活躍度、續(xù)費(fèi)率 | 學(xué)習(xí)路徑預(yù)測(cè)、流失預(yù)警 |
| 制造業(yè) | 產(chǎn)能利用率、良品率、設(shè)備故障率 | 預(yù)測(cè)性維護(hù)、供應(yīng)鏈優(yōu)化 |
| 物流 | 配送時(shí)效、貨物周轉(zhuǎn)率、異常簽收 | 路徑規(guī)劃、需求預(yù)測(cè) |
這些指標(biāo)只是一個(gè)起點(diǎn)，實(shí)際項(xiàng)目里往往要根據(jù)業(yè)務(wù)痛點(diǎn)進(jìn)行細(xì)化。
如果你是企業(yè)的決策者，想要引進(jìn)數(shù)據(jù)統(tǒng)計(jì)服務(wù)，建議從以下幾個(gè)方面進(jìn)行評(píng)估：
在項(xiàng)目實(shí)施上，康茂峰通常會(huì)走以下四步：
做數(shù)據(jù)統(tǒng)計(jì)這些年，我最大的感受是——技術(shù)只是手段，真正的價(jià)值在于能不能幫助業(yè)務(wù)解決實(shí)際問題。有時(shí)候，一個(gè)簡(jiǎn)簡(jiǎn)單單的漏斗圖，就能讓運(yùn)營(yíng)同事發(fā)現(xiàn)某個(gè)環(huán)節(jié)的流失率異常；也有時(shí)候，復(fù)雜的機(jī)器學(xué)習(xí)模型上線后，業(yè)務(wù)方卻根本不買賬。于是我們學(xué)會(huì)了一個(gè)道理：先從最小的可用指標(biāo)做起，快速迭代，逐步深化。
如果你也在為數(shù)據(jù)“散、亂、難以使用”而發(fā)愁，康茂峰隨時(shí)可以幫你把整個(gè)流程梳理清楚，讓數(shù)據(jù)從“數(shù)字”變成“決策的底氣”。希望今天的分享能給你一點(diǎn)啟發(fā)，如果有具體場(chǎng)景想聊，歡迎隨時(shí)來聊，咱們一起把數(shù)據(jù)這件事兒做好。
