大數(shù)據(jù)平臺(tái)基準(zhǔn)測試 助力大數(shù)據(jù)產(chǎn)品選型

    進(jìn)入2015年，大數(shù)據(jù)產(chǎn)品和服務(wù)采購進(jìn)入爆發(fā)期，新的大數(shù)據(jù)技術(shù)解決了企業(yè)海量數(shù)據(jù)（歷史數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)）的存儲(chǔ)、分析和查詢等問題，逐步開始替代傳統(tǒng)的數(shù)據(jù)倉庫等產(chǎn)品。然而大數(shù)據(jù)領(lǐng)域新的技術(shù)和產(chǎn)品層出不窮，剛剛熟悉了Hadoop、Spark技術(shù)，又誕生了Flink框架，理解了NoSQL數(shù)據(jù)庫，出現(xiàn)了NewSQL數(shù)據(jù)庫。面對(duì)快速發(fā)展變化的大數(shù)據(jù)技術(shù)和產(chǎn)品，企業(yè)CIO面臨如何評(píng)估、如何選型、如何使用等問題，企業(yè)IT部門也苦惱于如何搭建企業(yè)級(jí)的大數(shù)據(jù)平臺(tái)以支撐企業(yè)未來業(yè)務(wù)的發(fā)展。

    2014年6月，數(shù)據(jù)中心聯(lián)盟聯(lián)合20多家企業(yè)啟動(dòng)了大數(shù)據(jù)平臺(tái)基準(zhǔn)測試標(biāo)準(zhǔn)的制定，想幫助企業(yè)解決大數(shù)據(jù)技術(shù)和產(chǎn)品評(píng)估、選型、使用等難題，為企業(yè)IT部門找到適合企業(yè)業(yè)務(wù)場景的大數(shù)據(jù)產(chǎn)品和服務(wù)。經(jīng)過半年的工作與討論，聯(lián)盟于今年年初發(fā)布了《大數(shù)據(jù)平臺(tái)基準(zhǔn)測試》的技術(shù)要求和測試方法，技術(shù)要求定義了大數(shù)據(jù)平臺(tái)基準(zhǔn)測試對(duì)象、測試的基本要素和指標(biāo)，測試方法給出了從性能、可用性、運(yùn)維安全三個(gè)維度評(píng)估大數(shù)據(jù)產(chǎn)品的具體測試流程。

    今年5月聯(lián)盟組織國內(nèi)一線廠商開展了大數(shù)據(jù)商業(yè)產(chǎn)品的第一輪評(píng)測，4家廠商的商用Hadoop軟件產(chǎn)品和1家商用Hadoop云服務(wù)參加本次評(píng)測。Hadoop軟件產(chǎn)品統(tǒng)一在中國信息通信研究院提供的16臺(tái)服務(wù)器進(jìn)行測評(píng)，Hadoop云服務(wù)在企業(yè)自己提供的公有云環(huán)境中進(jìn)行評(píng)測。本次測試主要測試企業(yè)提供的商用hadooop平臺(tái)，包括hdfs、yarn、mapreduce、hive、hbase和zookeeper等組件，測試主要分為性能測試、可用性測試和安全性測試，每家企業(yè)有7天的時(shí)間來完成測試。性能測試包括HiveJoin、HiveAggregation、NoSQLWrite、NoSQLRead、NoSQLScan、TeraSort、WordCount、PageRank、Kmeans、NaïveBayes等十個(gè)負(fù)載，覆蓋了Hive、HBase、MapReduce和HDFS等組件。可用性測試包括NameNode主備節(jié)點(diǎn)、DataNode節(jié)點(diǎn)、HMaster節(jié)點(diǎn)、RegionServer節(jié)點(diǎn)失效及恢復(fù)等測試項(xiàng)。安全和運(yùn)維測試包括存儲(chǔ)加密、身份認(rèn)證、統(tǒng)一用戶管理和權(quán)限管理四項(xiàng)。測試嚴(yán)格按照《大數(shù)據(jù)平臺(tái)基準(zhǔn)測試第二部分測試方法》來執(zhí)行，審核流程包括測試前檢查、輸入檢查、測試過程檢查、測試結(jié)果檢查和留存文件等。

    在本次可信云服務(wù)大會(huì)上，聯(lián)盟將首次發(fā)布國內(nèi)第一批大數(shù)據(jù)產(chǎn)品評(píng)測結(jié)果，匯報(bào)測試過程和未來大數(shù)據(jù)基準(zhǔn)測試的發(fā)展方向，參測廠商也將集中亮相大數(shù)據(jù)產(chǎn)品最佳實(shí)踐。從用戶角度出發(fā)制定的這一規(guī)范是否能解決CIO煩惱，測試結(jié)果是否能對(duì)企業(yè)的選型、部署和使用有一定參考，規(guī)范未來的演化是否能精確反應(yīng)用戶的需求，需要我們拭目以待。