您的位置:首頁 >公共 >

十年經(jīng)驗(yàn)的我詳解阿里數(shù)據(jù)中臺(tái),小白都能看懂

2023-05-05 10:32:53 來源:清一色財(cái)經(jīng)

造概念這個(gè)詞,IT行業(yè)的各位可能并不陌生。中文博大精深,我很佩服可以發(fā)明出新名詞、新概念的人,這些詞簡單準(zhǔn)確,既可以被大眾接受,又可以被專家把玩,真正做到雅俗共賞、各有趣味。

騰訊面試官:“ 我們部門是AI組下面NLP全棧,包括前臺(tái)、中臺(tái)、后臺(tái)…..,你做過數(shù)據(jù)中臺(tái)么?“

我:”…..(啥是中臺(tái)??)“那不好意思,到此你的面試就結(jié)束了。


(資料圖片)

造概念這個(gè)詞,IT行業(yè)的各位可能并不陌生。中文博大精深,我很佩服可以發(fā)明出新名詞、新概念的人,這些詞簡單準(zhǔn)確,既可以被大眾接受,又可以被專家把玩,真正做到雅俗共賞、各有趣味。

比如“中臺(tái)”這個(gè)詞就是其中之一,自從阿里提出的“大中臺(tái),小前臺(tái)”之后,各種中臺(tái)概念就被生造出來了,魚龍混雜;許多舊的架構(gòu)也搖身一變,被包裝成各色中臺(tái)……這不禁讓我們深深懷疑:中臺(tái)這東西,到底靠譜嗎?

在回答這個(gè)問題之前,我們先看看數(shù)據(jù)中臺(tái)應(yīng)該怎么理解?

它是工具?是方法?還是組織架構(gòu)?我的回答是:都有,但都不全是。

企業(yè)所屬行業(yè)不同,經(jīng)營策略不同,從而數(shù)據(jù)場景也千差萬別。再加上企業(yè)人員運(yùn)用數(shù)據(jù)的能力參差不齊,這就導(dǎo)致了每一家企業(yè)的數(shù)據(jù)中臺(tái)都是獨(dú)一無二的,不是購買一個(gè)所謂的數(shù)據(jù)中臺(tái)工具就能解決的。

數(shù)據(jù)中臺(tái)的本質(zhì)就是“數(shù)據(jù)倉庫+數(shù)據(jù)服務(wù)中間件”。中臺(tái)構(gòu)建這種服務(wù)時(shí)是考慮到可復(fù)用性的,每個(gè)服務(wù)就像一塊積木,可以隨意組合,非常靈活,有些個(gè)性化的需求在前臺(tái)解決,這樣就避免了重復(fù)建設(shè),既省時(shí)、省力,又省錢。

圖片來源于網(wǎng)絡(luò)

給大家舉個(gè)生動(dòng)形象的例子吧:小漁村的改革自強(qiáng)之路。

1.海邊有個(gè)小漁村,準(zhǔn)備搞市場經(jīng)濟(jì),把村子發(fā)展為魚塘,大家可以把這個(gè)“魚”想象成“數(shù)據(jù)”

2.由于每位村民捕魚技巧和喜好不同,所以他們從大魚塘撈上來的海鮮品種也不一樣,于是最原始的業(yè)務(wù)數(shù)據(jù)積累就產(chǎn)生了。同時(shí),海鮮腐爛,就是業(yè)務(wù)數(shù)據(jù)多源異構(gòu)的問題,質(zhì)量和時(shí)效參差不齊。

3.整個(gè)村子生意越做越不錯(cuò),很多臨近的村子前來主動(dòng)采購,于是“數(shù)據(jù)需求”開始呈現(xiàn)出賣方市場的跡象。因此村長又決定海鮮市場做銷售批發(fā),并成立專門的運(yùn)輸團(tuán)隊(duì)。這樣不僅保證了時(shí)效有統(tǒng)一保障,大家的貨損都少了,這可以理解為數(shù)據(jù)平臺(tái)成立了。

4.村長又發(fā)現(xiàn),由于客戶對(duì)于海鮮的做法不同,有些人并不太在意新鮮程度,因此決定建立一個(gè)大型冷庫,這就是我們常說的數(shù)據(jù)倉庫的構(gòu)建。

5.整個(gè)村子奔小康,而且貿(mào)易更加頻繁、市場成長很快,因此村子里鋪設(shè)了符合國家標(biāo)準(zhǔn)的鐵軌、修建了車站,還興建了國際港口,符合萬噸輪級(jí)別的航運(yùn)要求。這就是中臺(tái)提供標(biāo)準(zhǔn)的數(shù)據(jù)接口,不僅執(zhí)行數(shù)據(jù)接入,還提供數(shù)據(jù)訂閱、數(shù)據(jù)消費(fèi)的作用。

數(shù)據(jù)中臺(tái)的3個(gè)能力

1. 在中臺(tái)能力及資源充足的情況下(包括業(yè)務(wù)知識(shí)、技術(shù)能力、人才積累),提供數(shù)據(jù)產(chǎn)品、數(shù)據(jù)服務(wù)。

一般而言,數(shù)據(jù)應(yīng)用是上層的概念,讓用戶去使用的東西,無非不過是:

決策支持類:主題報(bào)表(月度/季度/年度/專題)、、大屏數(shù)據(jù)可視化展示數(shù)據(jù)分析類:BI商業(yè)智能、OLAP分析、數(shù)據(jù)挖掘、數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)數(shù)據(jù)檢索類:全文檢索、日志分析、數(shù)據(jù)血緣分析、數(shù)據(jù)地圖數(shù)據(jù)共享開放類:實(shí)時(shí)數(shù)據(jù)訂閱、離線數(shù)據(jù)接觸、數(shù)據(jù)API接出

2. 在中臺(tái)業(yè)務(wù)能力及人力資源不充分、但體系相對(duì)成熟的情況下(包括數(shù)據(jù)體系、技術(shù)體系),提供平臺(tái)級(jí)別的能力,包括數(shù)據(jù)平臺(tái)能力、技術(shù)平臺(tái)能力、建模平臺(tái)能力等,甚至是數(shù)據(jù)本身。

以前當(dāng)我們可以提供較完備的數(shù)據(jù)倉庫/集市的時(shí)候,產(chǎn)生了自助式的BI分析,解決了業(yè)務(wù)人員需求報(bào)表,但技術(shù)人員來不及做的尷尬;現(xiàn)在我們也理應(yīng)打造這樣的中臺(tái),通過這樣的能力,給業(yè)務(wù)人員提供自助式的、一站式的、從產(chǎn)生數(shù)據(jù)到產(chǎn)生價(jià)值的完整通路。

3. 在中臺(tái)人力資源和對(duì)業(yè)務(wù)領(lǐng)域知識(shí)理解不充分,平臺(tái)級(jí)別能力也無法滿足要求的情況下,作為算力基礎(chǔ)平臺(tái)提供服務(wù)。

當(dāng)提供這一種能力的時(shí)候,數(shù)據(jù)中臺(tái)的人力投入應(yīng)該是最低的,但需要進(jìn)行資源的日常監(jiān)控和任務(wù)管理。

數(shù)據(jù)中臺(tái)和數(shù)據(jù)平臺(tái)的關(guān)系?

很多人會(huì)疑惑這個(gè)點(diǎn),同樣是很火的東西,大數(shù)據(jù)平臺(tái)與數(shù)據(jù)中臺(tái)的差別在哪里呢?

其實(shí),數(shù)據(jù)中臺(tái)與大數(shù)據(jù)平臺(tái)最本質(zhì)的區(qū)別在于數(shù)據(jù)中臺(tái)是具備業(yè)務(wù)屬性的,輸入的是原始數(shù)據(jù),輸出的是指標(biāo)。

如果我們把數(shù)據(jù)中臺(tái)看作是一個(gè)汽車工廠,那大數(shù)據(jù)平臺(tái)就是工廠中的設(shè)備,Hadoop 集群則是工廠運(yùn)作所必須的水、電、煤。

Hadoop提供的是大數(shù)據(jù)生產(chǎn)所必須的計(jì)算和存儲(chǔ)資源,大數(shù)據(jù)平臺(tái)使得數(shù)據(jù)開發(fā)人員具備了對(duì)數(shù)據(jù)的加工和處理能力,但還不能提供產(chǎn)品,這么多的原始數(shù)據(jù),要按照一定的方法論,進(jìn)行良好的組織,加工,才能生成最終的指標(biāo)。

看完這篇文章,問各位一個(gè)直擊靈魂的問題:不做中臺(tái)會(huì)死嗎?你怎么看?

標(biāo)簽:

相關(guān)文章

編輯推薦