Web日志中積累了大量的有用信息，從Web日志中發(fā)現(xiàn)有用的信息是非常必要的，WEB日志是網(wǎng)站分析和網(wǎng)站數(shù)據(jù)倉庫的數(shù)據(jù)最基礎(chǔ)來源，了解其格式和組成將有利于更好地進(jìn)行數(shù)據(jù)的收集、處理和分析。

１、日志格式類型

　　目前常見的WEB日志格式主要由兩類，一類是Apache的NCSA日志格式，另一類是IIS的W3C日志格式。NCSA格式又分為NCSA普 通日志格式（CLF）和NCSA擴(kuò)展日志格式（ECLF）兩類，目前最常用的是NCSA擴(kuò)展日志格式（ECLF）及基于自定義類型的Apache日志格 式；而W3C擴(kuò)展日志格式（ExLF）具備了更為豐富的輸出信息，但目前的應(yīng)用并不廣泛，所以這里主要介紹的是NCSA擴(kuò)展日志格式（ECLF）。

２、常見日志格式的組成

　　這是一個最常見的基于NCSA擴(kuò)展日志格式（ECLF）的Apache日志樣例：

58.61.164.141 – - [22/Feb/2010:09:51:46 +0800] “GET /reference-and-source/weblog-format/ HTTP/1.1″ 206 6326 ” http://www.google.cn/search?q=webdataanalysis” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)”

　　可以看到這個日志主要由以下幾個部分組成：

訪問主機（remotehost）

　　顯示主機的IP地址或者已解析的域名。

標(biāo)識符（Ident）

　　由identd或直接由瀏覽器返回瀏覽者的EMAIL或其他唯一標(biāo)示，因為涉及用戶郵箱等隱私信息，目前幾乎所有的瀏覽器就取消了這項功能。

授權(quán)用戶（authuser）

　　用于記錄瀏覽者進(jìn)行身份驗證時提供的名字，如果需要身份驗證或者訪問密碼保護(hù)的信息則這項不為空，但目前大多數(shù)網(wǎng)站的日志這項也都是為空的。

日期時間（date）

　　一般的格式形如[22/Feb/2010:09:51:46 +0800]，即[日期/月份/年份:小時:分鐘:秒鐘 時區(qū)]，占用的的字符位數(shù)也基本固定。

請求（request）

　　即在網(wǎng)站上通過何種方式獲取了哪些信息，也是日志中較為重要的一項，主要包括以下三個部分：

　　請求類型（METHOD）

　　常見的請求類型主要包括GET/POST/HEAD這三種；

　　請求資源（RESOURCE）

　　顯示的是相應(yīng)資源的URL，可以是某個網(wǎng)頁的地址，也可以是網(wǎng)頁上調(diào)用的圖片、動畫、CSS等資源；

　　協(xié)議版本號（PROTOCOL）

　　顯示協(xié)議及版本信息，通常是HTTP/1.1或HTTP/1.0。

狀態(tài)碼（status）

　　用于表示服務(wù)器的響應(yīng)狀態(tài)，通常1xx的狀態(tài)碼表示繼續(xù)消息；2xx表示請求成功；3xx表示請求的重定向；4xx表示客戶端錯誤；5xx表示服務(wù)器錯誤。

傳輸字節(jié)數(shù)（bytes）

　　即該次請求中一共傳輸?shù)淖止?jié)數(shù)。

來源頁面（referrer）

　　用于表示瀏覽者在訪問該頁面之前所瀏覽的頁面，只有從上一頁面鏈接過來的請求才會有該項輸出，如果是新開的頁面則該項為空。上例中來源頁面是google，即用戶從google搜索的結(jié)果中點擊進(jìn)入。

用戶代理（agent）

　　用于顯示用戶的詳細(xì)信息，包括IP、OS、Bowser等。

3、日志格式擴(kuò)展

apache日志格式可以自定義來配置其輸出格式，常見的基于NCSA擴(kuò)展日志格式（ECLF）自定義添加的包括域名（domain）和cookie。其中域名在一個網(wǎng)站擁有二級域名或者子域名時，可以更好地區(qū)分日志；而cookie可以作為用戶的身份標(biāo)識。

隨著網(wǎng)絡(luò)上的信息量的飛速增長，隱藏在Web中的用戶瀏覽模式將對Web瀏覽用戶獲取有興趣的信息、Web站點設(shè)計人員更合理的設(shè)計Web站點考核商業(yè)組織獲得高質(zhì)量的市場決策信息產(chǎn)生重大的影響。