12月3日早間消息
隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)/傳感器等技術(shù)的發(fā)展，全球數(shù)據(jù)生產(chǎn)速度正在高速增長(zhǎng)，信息已成為企業(yè)的戰(zhàn)略資產(chǎn)。而運(yùn)營(yíng)商作為網(wǎng)絡(luò)時(shí)代的數(shù)據(jù)交換中心，其網(wǎng)絡(luò)管道、業(yè)務(wù)平臺(tái)、支撐系統(tǒng)中每天都在產(chǎn)生大量有價(jià)值的數(shù)據(jù)，基于這些數(shù)據(jù)的商業(yè)智能（BI）應(yīng)用為運(yùn)營(yíng)商帶來了巨大機(jī)遇。

對(duì)此，中國移動(dòng)研究院業(yè)務(wù)支撐所所長(zhǎng)孫少陵日前在“Hadoop與大數(shù)據(jù)技術(shù)大會(huì)”上對(duì)于運(yùn)營(yíng)商的大數(shù)據(jù)商業(yè)智能探索進(jìn)行了詳細(xì)介紹。

機(jī)遇與挑戰(zhàn)并存

如今不僅市場(chǎng)競(jìng)爭(zhēng)和政策管制要求越來越多的數(shù)據(jù)被長(zhǎng)期保存。對(duì)于企業(yè)而言，也越來越需要積累越來越多的信息資源。信息對(duì)其進(jìn)行用戶行為分析、市場(chǎng)研究等活動(dòng)有著重要意義。

通過分析用戶行為及偏好，可相應(yīng)改善用戶體驗(yàn)；通過分析流量、流向變化及網(wǎng)絡(luò)日志，可優(yōu)化網(wǎng)絡(luò)質(zhì)量；通過對(duì)業(yè)務(wù)、資源及財(cái)務(wù)等各類數(shù)據(jù)的綜合分析，能快速準(zhǔn)確確定公司管理和市場(chǎng)競(jìng)爭(zhēng)策略；當(dāng)然其更可刺激業(yè)務(wù)創(chuàng)新，在確保用戶隱私不被侵犯的前提下，可對(duì)數(shù)據(jù)進(jìn)行加工，對(duì)外提供信息服務(wù)，從而提升企業(yè)價(jià)值。“未來中國移動(dòng)可能會(huì)基于這些信息推出一些新業(yè)務(wù)，形成運(yùn)營(yíng)商新的競(jìng)爭(zhēng)力。” 孫少陵透露。

然而，大數(shù)據(jù)也給運(yùn)營(yíng)商的商業(yè)智能系統(tǒng)帶來了諸多挑戰(zhàn)。在此方面三家運(yùn)營(yíng)商的狀況相差無幾。

首先，商業(yè)智能系統(tǒng)為分散建設(shè)，而運(yùn)營(yíng)商一般為兩級(jí)結(jié)構(gòu)、甚至三級(jí)結(jié)構(gòu)，分總部、省級(jí)、地市級(jí)。“比如經(jīng)營(yíng)分析、信令監(jiān)測(cè)、綜合網(wǎng)絡(luò)分析、不良信息監(jiān)測(cè)、上網(wǎng)日志留存等大數(shù)據(jù)系統(tǒng)分專業(yè)建設(shè)，而其中部分系統(tǒng)又分省建設(shè)。”孫少陵談到，“如此分散的建設(shè)一方面造成資源重復(fù)建設(shè)及應(yīng)用重復(fù)開發(fā)，一些科學(xué)家和分析專家的數(shù)據(jù)資源也無法形成共享。”

其次，數(shù)據(jù)分散存儲(chǔ)，標(biāo)準(zhǔn)化程度比較低。目前不同系統(tǒng)的建設(shè)主體不盡相同，盡管集團(tuán)有統(tǒng)一的數(shù)據(jù)模型標(biāo)準(zhǔn)，但最終在實(shí)施上總有一些差異。而數(shù)據(jù)模型的不統(tǒng)一，就造成了跨系統(tǒng)的綜合分析困難。

再次，目前運(yùn)營(yíng)商大部分建有以數(shù)據(jù)倉庫為核心的BI架構(gòu)。這一傳統(tǒng)數(shù)據(jù)倉庫采用小機(jī)加盤陣高性能一體機(jī)建設(shè)，成本非常高。整體來看，運(yùn)營(yíng)商的商業(yè)智能是以處理傳統(tǒng)的劃單、日志等結(jié)構(gòu)化數(shù)據(jù)來設(shè)計(jì)的。在上網(wǎng)日志等一些新型數(shù)據(jù)，包括圖像等非結(jié)構(gòu)化數(shù)據(jù)方面，目前的BI系統(tǒng)不具備能力處理。

此外，現(xiàn)今運(yùn)營(yíng)商的系統(tǒng)只對(duì)內(nèi)部提供服務(wù)，大量數(shù)據(jù)未能有效進(jìn)行商業(yè)利用。而在數(shù)據(jù)進(jìn)行商業(yè)利用之前，運(yùn)營(yíng)商必須先解決好用戶隱私保護(hù)問題。

集中化BI初步構(gòu)想

針對(duì)此種形勢(shì)，同時(shí)也考慮到未來商業(yè)智能系統(tǒng)將逐漸走向移動(dòng)化，孫少陵認(rèn)為，運(yùn)營(yíng)商可調(diào)整原來的兩級(jí)架構(gòu)為全網(wǎng)一級(jí)架構(gòu)，構(gòu)建數(shù)據(jù)集中、平臺(tái)統(tǒng)一的商業(yè)智能系統(tǒng)。同時(shí)將各系統(tǒng)數(shù)據(jù)進(jìn)行統(tǒng)一處理和存儲(chǔ)，從而實(shí)現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化。

“通過數(shù)據(jù)集中化來實(shí)現(xiàn)各系統(tǒng)的綜合分析，也有利于快速地進(jìn)行數(shù)據(jù)分析和決策支持。目前很多數(shù)據(jù)存是在二級(jí)、省內(nèi)或地市系統(tǒng)里，如果集團(tuán)公司要進(jìn)行數(shù)據(jù)分析和決策支持，往往需要省公司定期提供一些匯總數(shù)據(jù)。”孫少陵說。

但同時(shí)集中化商業(yè)智能也面臨著海量數(shù)據(jù)處理和存儲(chǔ)的壓力，包括數(shù)據(jù)規(guī)模大、數(shù)據(jù)處理復(fù)雜、混合負(fù)載多樣等多種挑戰(zhàn)。此時(shí)傳統(tǒng)的單一數(shù)據(jù)倉庫技術(shù)已難以滿足要求，大數(shù)據(jù)技術(shù)的引入勢(shì)在必行。

經(jīng)過綜合比較數(shù)據(jù)倉庫技術(shù)，Hadoop、NoSql、流式處理技術(shù)等各種大數(shù)據(jù)處理技術(shù)后，中移動(dòng)研究院對(duì)于集中化的商業(yè)智能系統(tǒng)有了初步構(gòu)想。

在技術(shù)路線方面，選擇數(shù)據(jù)倉庫與Hadoop混搭的方式，借鑒關(guān)系型數(shù)據(jù)倉庫在傳統(tǒng)應(yīng)用支持方面以及在復(fù)雜查詢和分析方面的快速響應(yīng)能力，同時(shí)也借鑒了Hadoop的非結(jié)構(gòu)化數(shù)據(jù)處理能力以及存儲(chǔ)的低成本。

而為實(shí)現(xiàn)上層應(yīng)用更便捷地進(jìn)行下層數(shù)據(jù)使用，將考慮未來實(shí)現(xiàn)透明訪問層。其將屏蔽Hadoop與數(shù)據(jù)倉庫的使用細(xì)節(jié)，讓用戶在使用這些數(shù)據(jù)時(shí)盡量無感知；在數(shù)據(jù)的ETL采集預(yù)處理環(huán)節(jié)，盡量采用Hadoop與分布式ETL的方式，提高數(shù)據(jù)轉(zhuǎn)換效率，同時(shí)降低成本。

另外，運(yùn)營(yíng)商龐大分散的組織架構(gòu)公司對(duì)商業(yè)智能的需求也比較多。因此中國移動(dòng)將云計(jì)算引入到大數(shù)據(jù)（“大云”項(xiàng)目），未來形成一個(gè)商業(yè)智能的Pass平臺(tái)。此平臺(tái)會(huì)實(shí)現(xiàn)平臺(tái)建設(shè)和數(shù)據(jù)存儲(chǔ)的集中。而應(yīng)用開發(fā)可以讓各省公司和地市公司自行進(jìn)行，再上載到平臺(tái)上分析結(jié)果。如此能很好地解決平臺(tái)集中化和應(yīng)用需求分散化的矛盾。