在一個(gè)有一定規(guī)模的企業(yè)中，通常都會(huì)存在各種各樣的應(yīng)用系統(tǒng)，它們分別由企業(yè)的各個(gè)不同部門、在各種不同歷史時(shí)期、為滿足各種不同業(yè)務(wù)目的而開(kāi)發(fā)。由于數(shù)據(jù)格式?jīng)]有統(tǒng)一規(guī)范，相互之間沒(méi)有聯(lián)通、數(shù)據(jù)更沒(méi)有整合，像一個(gè)個(gè)煙囪，因此稱其為“煙囪式應(yīng)用”。在大數(shù)據(jù)應(yīng)用興起的今天，隨著企業(yè)對(duì)數(shù)據(jù)價(jià)值的高度重視，煙囪式應(yīng)用帶來(lái)了數(shù)據(jù)整合難題，給數(shù)據(jù)的分析和挖掘帶來(lái)了不小的困難，已經(jīng)成為當(dāng)代不少企業(yè)在大數(shù)據(jù)應(yīng)用乃至智能化升級(jí)路上的一個(gè)攔路虎。

有問(wèn)題總要找到解決辦法，誕生于互聯(lián)網(wǎng)公司的數(shù)據(jù)中臺(tái)技術(shù)被認(rèn)為一個(gè)有效辦法。從阿里幾年前首次將“中臺(tái)”這個(gè)概念推到市場(chǎng)，到如今成為行業(yè)中的一個(gè)熱詞，“中臺(tái)”的流行本質(zhì)上還是用戶的真實(shí)需求在支撐。中臺(tái)到底能為企業(yè)的大數(shù)據(jù)利用帶來(lái)哪些幫助？國(guó)外的企業(yè)如何解決這類問(wèn)題？從硅谷回國(guó)創(chuàng)業(yè)的大數(shù)據(jù)專家智領(lǐng)云聯(lián)合創(chuàng)始人、CEO 彭鋒對(duì)此進(jìn)行了自己的解讀。

來(lái)自硅谷的數(shù)據(jù)管理經(jīng)驗(yàn)

彭鋒于2016年從硅谷歸來(lái)，創(chuàng)立了智領(lǐng)云。彼時(shí)中國(guó)國(guó)內(nèi)大數(shù)據(jù)熱還未褪去，“中臺(tái)”概念雖然不像今天這么熱，但已經(jīng)被不少企業(yè)接受。在美國(guó)并沒(méi)有“中臺(tái)”這個(gè)概念，但“中臺(tái)”所做的事情，尤其是與數(shù)據(jù)相關(guān)的部分（即數(shù)據(jù)中臺(tái)）彭鋒是再熟悉不過(guò)了。他從業(yè)以來(lái)一直在做的就是這些工作。

彭鋒2000年到美國(guó)攻讀博士學(xué)位，畢業(yè)后到了硅谷，先去了當(dāng)時(shí)第四大搜索引擎公司ASK.com，參與分布式操作系統(tǒng)（就是今天的云計(jì)算）的開(kāi)發(fā)。為了追趕前面的Google、微軟、雅虎，當(dāng)時(shí)的ASK.COM為此項(xiàng)目投入了十幾億美元。這個(gè)項(xiàng)目后來(lái)被放棄，彭鋒轉(zhuǎn)而參與大數(shù)據(jù)項(xiàng)目，在原來(lái)用作搜索的800多臺(tái)服務(wù)器集群上使用Hadoop來(lái)進(jìn)行公司數(shù)據(jù)的處理，在硅谷是最早一批在生產(chǎn)系統(tǒng)中大規(guī)模使用大數(shù)據(jù)的團(tuán)隊(duì)。在當(dāng)時(shí)的硅谷有如此規(guī)模的Hadoop集群并不多，彭鋒在項(xiàng)目中擔(dān)任大數(shù)據(jù)總監(jiān)，領(lǐng)導(dǎo)了分布在美國(guó)硅谷、紐約、中國(guó)杭州等多地的研發(fā)隊(duì)伍。2011年，彭鋒加入了Twitter，進(jìn)入了Twitter架構(gòu)委員會(huì)，擔(dān)任大數(shù)據(jù)架構(gòu)師，見(jiàn)證了Twitter服務(wù)器規(guī)模從數(shù)十臺(tái)擴(kuò)展到后來(lái)的8000臺(tái)的過(guò)程。

在美國(guó)硅谷的這段工作經(jīng)歷讓彭鋒受益匪淺，其中最大的收獲是看到了數(shù)據(jù)的價(jià)值，這為彭鋒后來(lái)的創(chuàng)業(yè)確定了方向。

“它們真的是在用數(shù)據(jù)產(chǎn)生價(jià)值，用數(shù)據(jù)來(lái)驅(qū)動(dòng)所有商業(yè)的決策、驅(qū)動(dòng)產(chǎn)品的開(kāi)發(fā)。整個(gè)公司都是建立在數(shù)據(jù)的決策基礎(chǔ)之上，數(shù)據(jù)決策非常高效和科學(xué)。”彭鋒告訴記者。

彭鋒的另一個(gè)收獲是看到了如何更好地讓數(shù)據(jù)發(fā)揮價(jià)值。無(wú)論是ASK.COM的大數(shù)據(jù)總監(jiān)還是Twitter的大數(shù)據(jù)架構(gòu)師，彭鋒的核心工作內(nèi)容都是對(duì)數(shù)據(jù)的采集、分析和處理進(jìn)行規(guī)范，以利于數(shù)據(jù)能力的共享和重用。為了做好這個(gè)工作，這些公司都專門建立了一個(gè)數(shù)據(jù)運(yùn)營(yíng)管理平臺(tái)，來(lái)確保數(shù)據(jù)能力的重用和共享，這個(gè)平臺(tái)與我們今天所說(shuō)數(shù)據(jù)中臺(tái)的概念高度吻合。

數(shù)據(jù)中臺(tái)成就數(shù)據(jù)驅(qū)動(dòng)企業(yè)

在彭鋒看來(lái)，無(wú)論是美國(guó)硅谷所說(shuō)的數(shù)據(jù)運(yùn)營(yíng)管理平臺(tái)還是在中國(guó)流行的數(shù)據(jù)中臺(tái)，其核心目的是實(shí)現(xiàn)公司的數(shù)字化運(yùn)營(yíng)。“所謂數(shù)字化運(yùn)營(yíng)就是公司所有的管理、產(chǎn)品、人員和市場(chǎng)，都全部實(shí)現(xiàn)數(shù)字化。”彭鋒表示。

而公司之所以要努力實(shí)現(xiàn)數(shù)字化運(yùn)營(yíng)，是這樣能帶來(lái)兩個(gè)好處：其一是管理者能夠?qū)崟r(shí)了解其運(yùn)營(yíng)狀況，從而在虧損時(shí)能夠及時(shí)止損，在賺錢時(shí)能夠盡快做決策，大大加快商業(yè)流程。其次，能支持?jǐn)?shù)據(jù)驅(qū)動(dòng)的產(chǎn)品，比如個(gè)性化的客戶服務(wù)，就高度依賴數(shù)據(jù)的分析和挖掘。

而要數(shù)字化運(yùn)營(yíng)，必須對(duì)企業(yè)的數(shù)據(jù)進(jìn)行全面的梳理和整合，這是一個(gè)非常復(fù)雜而且長(zhǎng)期的工作，其難點(diǎn)之一在于，很多企業(yè)（尤其是傳統(tǒng)企業(yè)）沒(méi)有建立統(tǒng)一的數(shù)據(jù)格式和使用規(guī)范，而整合往往涉及眾多數(shù)據(jù)源，多種處理框架，面臨很大挑戰(zhàn)，同時(shí)，各種來(lái)源不同的數(shù)據(jù)質(zhì)量也難以保障，系統(tǒng)中運(yùn)行的數(shù)據(jù)應(yīng)用也缺乏統(tǒng)一的管理。而數(shù)據(jù)中臺(tái)的目的就是要解決這類問(wèn)題，而且是在平臺(tái)層面系統(tǒng)解決問(wèn)題，避免各個(gè)部門或者每個(gè)項(xiàng)目都要重復(fù)做這個(gè)工作。

“數(shù)據(jù)中臺(tái)把數(shù)據(jù)相關(guān)的可復(fù)用和共享的能力集中起來(lái)，而不需要每個(gè)部門都重復(fù)做。同時(shí)，不同部門在使用這個(gè)能力時(shí)還不能相互影響，需要新的功能直接在這個(gè)平臺(tái)上擴(kuò)展。這就避免了今天在不少企業(yè)，尤其是傳統(tǒng)企業(yè)存在的數(shù)據(jù)孤島問(wèn)題。”彭鋒表示。

實(shí)際上，在硅谷很少聽(tīng)說(shuō)過(guò)“數(shù)據(jù)孤島”這個(gè)問(wèn)題，除了公司歷史普遍不長(zhǎng)，一個(gè)重要原因正是在于類似數(shù)據(jù)運(yùn)營(yíng)管理平臺(tái)廣泛存在。

“國(guó)內(nèi)客戶普遍缺乏這個(gè)數(shù)據(jù)平臺(tái)。最常看到的情形是，部門A要做什么大數(shù)據(jù)的應(yīng)用，買了一個(gè)大數(shù)據(jù)方案；部門B如果要做一個(gè)大數(shù)據(jù)的應(yīng)用，由于底層沒(méi)有一個(gè)共享的數(shù)據(jù)運(yùn)營(yíng)管理平臺(tái)，也會(huì)買個(gè)端到端的大數(shù)據(jù)解決方案，這就形成了數(shù)據(jù)孤島。”彭鋒表示。

做工具，更做賦能者

智領(lǐng)云所研發(fā)的產(chǎn)品正是這個(gè)在美國(guó)硅谷被稱為數(shù)據(jù)運(yùn)營(yíng)管理平臺(tái)、在中國(guó)被稱為數(shù)據(jù)中臺(tái)的軟件系統(tǒng)平臺(tái)。

彭鋒認(rèn)為，數(shù)據(jù)中臺(tái)的本質(zhì)或者說(shuō)最重要的功能是實(shí)現(xiàn)數(shù)據(jù)能力的抽象、共享和復(fù)用。其中有幾個(gè)關(guān)鍵問(wèn)題：

第一，是要去中心化，讓每個(gè)部門都能夠自由地貢獻(xiàn)自己的數(shù)據(jù)能力。那種通過(guò)成立一個(gè)單獨(dú)的中臺(tái)部門，由這個(gè)部門來(lái)提供數(shù)據(jù)能力的思路彭鋒認(rèn)為不太可行。

“因?yàn)闃I(yè)務(wù)部門的業(yè)務(wù)是不斷變化的，他們與數(shù)據(jù)結(jié)合得最緊密，它們來(lái)貢獻(xiàn)更為實(shí)用。而且，硅谷絕大部分公司也的確是讓業(yè)務(wù)部門通過(guò)這個(gè)數(shù)據(jù)運(yùn)營(yíng)管理平臺(tái)來(lái)提供這種能力的復(fù)用的。”彭鋒說(shuō)。

其次，數(shù)據(jù)中臺(tái)要解決資源、應(yīng)用和數(shù)據(jù)的隔離，讓每個(gè)部門都可以安心地使用自己的數(shù)據(jù)，運(yùn)行自己的數(shù)據(jù)應(yīng)用，不用擔(dān)心數(shù)據(jù)安全或者影響其它部門的業(yè)務(wù)。

第三，數(shù)據(jù)中臺(tái)要提供方便安全的數(shù)據(jù)能力共享的機(jī)制，例如數(shù)據(jù)和模型的服務(wù)，以API形式對(duì)外提供，供全公司用，API一定是基于統(tǒng)一的框架實(shí)現(xiàn)的。業(yè)務(wù)部門可以很方便的將自己的數(shù)據(jù)能力共享出去，而安全，審計(jì)，性能，擴(kuò)展這些必須的系統(tǒng)功能由平臺(tái)統(tǒng)一自動(dòng)處理。

彭鋒所領(lǐng)導(dǎo)的智領(lǐng)云正是基于上述考慮來(lái)開(kāi)發(fā)自己的數(shù)據(jù)中臺(tái)。這個(gè)數(shù)據(jù)平臺(tái)主要面向大型企業(yè)的IT部門或者系統(tǒng)集成商，可以讓他們集成到自己的產(chǎn)品中，借此來(lái)解決數(shù)據(jù)孤島問(wèn)題，以推動(dòng)企業(yè)真正實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)。

“產(chǎn)品化程度高，自助、易用、通用，是我們這個(gè)產(chǎn)品的最主要特點(diǎn)，我們希望讓客戶自己就能使用。”彭鋒表示，“這是因?yàn)椋覀冋J(rèn)為對(duì)數(shù)據(jù)最了解的還是客戶自己，而不是我們。與其我們派專業(yè)的數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家去跟客戶的IT人員、業(yè)務(wù)人員打交道，我們還不如去把這個(gè)工具做好，讓他們自己來(lái)做數(shù)據(jù)的相關(guān)工作。”

彭鋒介紹說(shuō)，這個(gè)數(shù)據(jù)平臺(tái)是一個(gè)自助式的數(shù)據(jù)處理工具，基于云計(jì)算和容器技術(shù)實(shí)現(xiàn)，能提供數(shù)據(jù)采集、開(kāi)發(fā)、共享、存儲(chǔ)和管理等相關(guān)的功能，典型功能包括數(shù)據(jù)集成平臺(tái)、基于容器的通用任務(wù)調(diào)度、應(yīng)用、資源和數(shù)據(jù)的多租戶管理；數(shù)據(jù)和模型的服務(wù)、審計(jì)、計(jì)費(fèi)（用工具來(lái)支持）；數(shù)據(jù)應(yīng)用全景地圖等。

彭鋒強(qiáng)調(diào)說(shuō)，這個(gè)平臺(tái)一定要基于云計(jì)算和容器技術(shù)來(lái)實(shí)現(xiàn)，這是為了實(shí)現(xiàn)資源和用戶的隔離以及充分利用云計(jì)算的彈性來(lái)更靈活地支持用戶需求。另外，在這個(gè)數(shù)據(jù)平臺(tái)的研發(fā)過(guò)程中，他們力求通用性，主要集中在數(shù)據(jù)科技的核心功能開(kāi)發(fā)上。

當(dāng)然，產(chǎn)品集中在通用的數(shù)據(jù)功能上，不涉及具體業(yè)務(wù)，這并不意味著不用關(guān)心客戶業(yè)務(wù)。實(shí)際上，為了讓客戶用戶這個(gè)產(chǎn)品，必須研究客戶行業(yè)的典型應(yīng)用場(chǎng)景，做出模板。此外，彭鋒還決定開(kāi)發(fā)一些具有行業(yè)共性的組件，例如形成行業(yè)知識(shí)圖譜、規(guī)則庫(kù)，這對(duì)產(chǎn)品的落地和未來(lái)發(fā)展有著重要意義，這些都是彭鋒正在勾勒的公司未來(lái)發(fā)展藍(lán)圖的一部分。

“數(shù)據(jù)中臺(tái)本質(zhì)上是方法論，是互聯(lián)網(wǎng)公司在數(shù)據(jù)管理方面的一些經(jīng)驗(yàn)的總結(jié)，實(shí)踐證明了其價(jià)值。我們希望借助我們的平臺(tái)讓這個(gè)方法論在客戶中落地，助力客戶成為數(shù)據(jù)驅(qū)動(dòng)企業(yè)，讓數(shù)據(jù)價(jià)值得到充分釋放。”彭鋒表示。