【資料名稱】：如何用Analyzer分析海量數(shù)據(jù)

【資料作者】：laiss

【資料日期】：2011-05-13

【資料語(yǔ)言】：中文

【資料格式】：DOC

【資料目錄和簡(jiǎn)介】：

在Analyzer 中直接處理路測(cè)數(shù)據(jù)，由于占用內(nèi)存較多，我們經(jīng)常會(huì)遇到難以順利處理海量
數(shù)據(jù)的困難。那么是否Analyzer 中就無法處理海量數(shù)據(jù)了呢？其實(shí)不是，在Analyzer 中，有
多種方法來解決這個(gè)問題，下邊介紹的方法就是最常用的方案之一。
為了避免過多占用內(nèi)存，Analyzer 設(shè)計(jì)了名為Repository（數(shù)據(jù)倉(cāng)庫(kù)）的功能，也就是將
數(shù)據(jù)存儲(chǔ)在硬盤上的數(shù)據(jù)庫(kù)文件中，從而可以實(shí)現(xiàn)大數(shù)據(jù)量的處理。
對(duì)于海量數(shù)據(jù)的處理，我們應(yīng)該認(rèn)識(shí)到其核心問題就是對(duì)兩個(gè)問題的處理：參數(shù)的選擇和
數(shù)據(jù)平均方式的選擇。對(duì)于海量數(shù)據(jù)而言，如果我們對(duì)所處理的參數(shù)不加選擇，對(duì)于每一個(gè)
數(shù)據(jù)點(diǎn)也不加平均，那么這個(gè)“海量數(shù)據(jù)”是沒有意義的；大數(shù)據(jù)量的意義就在于能夠從統(tǒng)
計(jì)意義上反映網(wǎng)絡(luò)現(xiàn)狀。
所以，我們對(duì)Repository 的使用，其核心問題就是對(duì)參數(shù)的選擇和對(duì)數(shù)據(jù)平均方式的選擇
這兩個(gè)問題。