摘要 本文分析了QoE(體驗(yàn)質(zhì)量)與其他概念(QoS、KPI/KQI)之間的關(guān)系,詳細(xì)列舉了各標(biāo)準(zhǔn)組織對(duì)QoE的研究現(xiàn)狀,并對(duì)QoE未來(lái)的發(fā)展趨勢(shì)做出預(yù)測(cè),最后站在運(yùn)營(yíng)商的角度闡述了QoE研究的重要意義和可以著手開展的研究工作。
1、前言
很多2G移動(dòng)網(wǎng)絡(luò)用戶提到3G,都會(huì)有共同的問題:與2G相比,3G的優(yōu)勢(shì)到底在哪里,3G時(shí)代到底帶來(lái)了什么?簡(jiǎn)單的回答就是3G將極大地影響用戶的生活方式和工作習(xí)慣,將帶來(lái)一個(gè)真正的體驗(yàn)經(jīng)濟(jì)時(shí)代。3G用戶將越來(lái)越熱衷于參與性強(qiáng)、互動(dòng)性好、有吸引力的各類業(yè)務(wù)和應(yīng)用,特別重視體驗(yàn)的效果。隨著國(guó)外3G網(wǎng)絡(luò)和業(yè)務(wù)如火如荼地發(fā)展,中國(guó)的3G時(shí)代也悄然而至。與2G不同,3G業(yè)務(wù)成功的關(guān)鍵是看用戶的體驗(yàn)質(zhì)量(QoE)的好壞,激烈的市場(chǎng)競(jìng)爭(zhēng)使運(yùn)營(yíng)商意識(shí)到:提高終端用戶的滿意度,留住用戶并擴(kuò)大用戶規(guī)模是生存和盈利的關(guān)鍵,因此QoE的概念和相關(guān)研究應(yīng)運(yùn)而生。
QoE可以理解為用戶體驗(yàn)或者用戶感知。即終端用戶對(duì)移動(dòng)網(wǎng)絡(luò)提供的業(yè)務(wù)性能的主觀感受。它可以通過接近量化的方法來(lái)表示終端用戶對(duì)業(yè)務(wù)與網(wǎng)絡(luò)的體驗(yàn)和感受,并反映當(dāng)前業(yè)務(wù)和網(wǎng)絡(luò)的質(zhì)量與用戶期望間的差距。QoE的量化指標(biāo)可以用優(yōu)秀、很好、好、一般、差5個(gè)級(jí)別來(lái)標(biāo)識(shí)。QoE的評(píng)價(jià)主體是終端用戶,評(píng)價(jià)對(duì)象是業(yè)務(wù)和支撐業(yè)務(wù)的網(wǎng)絡(luò)(主要包括核心網(wǎng)絡(luò)、無(wú)線網(wǎng)絡(luò)和業(yè)務(wù)平臺(tái))。
2、QoE和QoS、KPI、KQI的關(guān)系
2.1 QoS
提到QoE,當(dāng)然要涉及到QoS。ITU-T Rec E.800[1]最初定義QoS為“決定用戶滿意程度的服務(wù)性能的綜合效果”,包含多個(gè)層面較為廣泛的內(nèi)容。QoS提出的最終目標(biāo)就是當(dāng)終端用戶使用一個(gè)特定服務(wù)時(shí)可以得到最好的體驗(yàn)?紤]到終端用戶對(duì)QoS的體驗(yàn)隨著應(yīng)用需求的不同而不同,需要為下層協(xié)議定義出一組公共參數(shù)來(lái)明確業(yè)務(wù)的需求,因此目前業(yè)界有時(shí)也將QoS狹義地理解為底層分組數(shù)據(jù)傳輸?shù)男阅苤笜?biāo),如時(shí)延、抖動(dòng)、帶寬、誤碼等。從ITU-T的定義可見QoS提出概念的初衷是和QoE概念相吻合的。
QoS機(jī)制主要負(fù)責(zé)從網(wǎng)絡(luò)的角度進(jìn)行業(yè)務(wù)管理和提供業(yè)務(wù)的差異性,網(wǎng)絡(luò)實(shí)體根據(jù)不同的質(zhì)量需求來(lái)處理不同業(yè)務(wù)。但從終端用戶的角度來(lái)體驗(yàn)QoS是一個(gè)更廣、更主觀的問題,即QoE所定義的范疇。從移動(dòng)通信網(wǎng)絡(luò)的角度來(lái)說,要想獲得更好的QoE的最佳方案就是提供一個(gè)優(yōu)良的端到端的QoS。
2.2 網(wǎng)絡(luò)性能和KPI
對(duì)于2G網(wǎng)絡(luò),網(wǎng)絡(luò)性能是運(yùn)營(yíng)商關(guān)注的重點(diǎn)。網(wǎng)絡(luò)性能在ITU-T Rec E.800標(biāo)準(zhǔn)中被定義為“網(wǎng)絡(luò)或網(wǎng)絡(luò)的部分提供用戶間通信機(jī)制的能力”。網(wǎng)絡(luò)性能是保障QoE和QoS需求的基礎(chǔ),相對(duì)于難以直接度量的QoE,網(wǎng)絡(luò)性能是網(wǎng)絡(luò)運(yùn)營(yíng)商和設(shè)備廠商便于規(guī)劃、設(shè)計(jì)和監(jiān)測(cè)的信息。
KPI(關(guān)鍵性能指標(biāo))通常是網(wǎng)絡(luò)層面的可監(jiān)視可測(cè)量的重要參數(shù)。在當(dāng)前移動(dòng)網(wǎng)絡(luò)的網(wǎng)絡(luò)管理中,KPI被理解為網(wǎng)絡(luò)性能,在網(wǎng)元管理中,KPI被理解為網(wǎng)元性能。
2.3 KQI及幾者間的關(guān)系
用戶體驗(yàn)管理(CEM)是業(yè)界主流無(wú)線運(yùn)營(yíng)商一起開發(fā)的一種業(yè)務(wù)管理的創(chuàng)新方法(TMF(電信管理論壇)中有研究),重點(diǎn)在于直接實(shí)時(shí)測(cè)量用戶體驗(yàn)以及定義用戶體驗(yàn)指標(biāo)(CEI)。而KQI(關(guān)鍵質(zhì)量指標(biāo))是主要針對(duì)不同業(yè)務(wù)提出的貼近用戶感受的業(yè)務(wù)質(zhì)量參數(shù)。從TMF的研究角度而言,CEM是從屬于QoE管理范疇的概念;CEI是反映QoE級(jí)別的相關(guān)關(guān)鍵指標(biāo),著眼點(diǎn)是用戶,與用戶行為相關(guān);KQI是業(yè)務(wù)層面的關(guān)鍵指標(biāo),可能是不同業(yè)務(wù)或應(yīng)用的質(zhì)量參數(shù),因此針對(duì)CEI的CEM可以被理解成為QoE管理架構(gòu)中業(yè)務(wù)管理的優(yōu)選方案。
圖1比較形象地描繪了上述幾個(gè)概念的關(guān)系。當(dāng)前2G和2.5G網(wǎng)絡(luò)的業(yè)務(wù)管理架構(gòu)通常采用“KPI-KQI”的自下而上方式,而對(duì)于3G運(yùn)營(yíng)商來(lái)說,QoE管理更應(yīng)該和CEM緊密結(jié)合,做到對(duì)不同用戶的不同業(yè)務(wù)的CEI的自動(dòng)管理。表1從技術(shù)/非技術(shù)的層面對(duì)QoE的關(guān)鍵影響因素進(jìn)行了分析。
表1 QoE的關(guān)鍵影響因素
3、相關(guān)標(biāo)準(zhǔn)化組織進(jìn)展
(1)3GPP
R97/98是移動(dòng)網(wǎng)絡(luò)QoS管理體系演進(jìn)歷程中的第一步,定義了基于PDP上下文內(nèi)容的QoS架構(gòu)提供的數(shù)據(jù)分組之間的區(qū)別。R99提出引入新的屬性和類別(會(huì)話類、流媒體類、交互類、背景類),用來(lái)協(xié)調(diào)GERAN(GSM/EDGE無(wú)線接入網(wǎng)絡(luò))和UTRAN(UMTS無(wú)線接入網(wǎng))QoS的管理架構(gòu)。在R5之前,移動(dòng)網(wǎng)在終端和服務(wù)器之間的應(yīng)用程序協(xié)商過程是完全透明的,而運(yùn)營(yíng)商的目標(biāo)是了解、控制、批準(zhǔn)甚至掌管該層面所建立的協(xié)商內(nèi)容。R5才真正站在端到端角度上提出了QoS需求的協(xié)商,通過引入IMS(IP多媒體子系統(tǒng))業(yè)務(wù),實(shí)現(xiàn)了承載QoS授權(quán)的標(biāo)準(zhǔn)化。R6則更進(jìn)一步,在PSS(分組交換流媒體服務(wù))規(guī)范中對(duì)于RTSP(實(shí)時(shí)流媒體協(xié)議)定義了一些擴(kuò)展字段,加入了QoE頭字段用來(lái)保證QoE指標(biāo)的端到端協(xié)商[2]。
(2)3GPP2
3GPP2發(fā)布的cdma2000 1x EV-DO RevA標(biāo)準(zhǔn)已經(jīng)開始為基于業(yè)務(wù)實(shí)例概念的E2E QoS規(guī)定了一些需求和參考模型。cdma2000無(wú)線IP網(wǎng)絡(luò)通過一個(gè)或多個(gè)分組數(shù)據(jù)的業(yè)務(wù)實(shí)例來(lái)提供對(duì)QoS的支持。新標(biāo)準(zhǔn)建議,在MT和BSC之間的不同業(yè)務(wù)實(shí)例下,發(fā)送在一個(gè)單獨(dú)PPP(點(diǎn)到點(diǎn)協(xié)議)會(huì)話中的不同PPP幀,每個(gè)PPP幀都應(yīng)攜載不同的業(yè)務(wù)類別[3],而每個(gè)業(yè)務(wù)實(shí)例都建議采用單獨(dú)的RLC(無(wú)線鏈路控制)會(huì)話。隨著業(yè)務(wù)實(shí)例的引入,根據(jù)所能提供的4類業(yè)務(wù),3GPP2支持的QoS變得更加貼近于3GPP R99。
(3)ITU-T
ITU-T對(duì)QoE的研究最早是從IPTV開始的,其對(duì)IPTV的定義中特別強(qiáng)調(diào)IPTV業(yè)務(wù)是通過可管理的IP網(wǎng)絡(luò)進(jìn)行傳輸,而不是在公眾互聯(lián)網(wǎng)上傳輸,對(duì)可管理的IP網(wǎng)的要求是其能提供一定的QoS/QoE,以確保更好的安全性和可靠性。目前IPTV標(biāo)準(zhǔn)工作的重點(diǎn)在于服務(wù)需求標(biāo)準(zhǔn)研究上,共有7個(gè)方面。ITU-T在做2005~2008年課題研究規(guī)劃時(shí),就將QoE研究提上日程,其中第12研究組(業(yè)務(wù)性能及質(zhì)量)特別設(shè)置了“多媒體QoS/QoE性能要求和評(píng)估方法”的子課題。
(4)ETSI
ETSI(歐洲電信標(biāo)準(zhǔn)協(xié)會(huì))的QoS架構(gòu)[4]中,充分考慮了端到端用戶的體驗(yàn)。其中對(duì)不同類別的業(yè)務(wù)(主要是直接傳送業(yè)務(wù)和存儲(chǔ)轉(zhuǎn)發(fā)業(yè)務(wù))的性能指標(biāo)(即業(yè)務(wù)KPI),以用戶的角度加以定義和描述,提出了具體的統(tǒng)計(jì)方法和參考點(diǎn),為QoE KQI到網(wǎng)絡(luò)/網(wǎng)元KPI的映射分析奠定了基礎(chǔ),但其中有關(guān)MOS測(cè)量還處于研發(fā)階段。
4、QoE發(fā)展預(yù)測(cè)
4.1 標(biāo)準(zhǔn)預(yù)測(cè)
3GPP和3GPP2所定義的端到端QoS體系架構(gòu)是一個(gè)比較超前的解決方案,而目前缺乏詳盡的算法并且可用的承載也非常少。現(xiàn)在,2G和2.5G網(wǎng)絡(luò)仍停留在基于BE方式或基于優(yōu)先級(jí)方式進(jìn)行簡(jiǎn)單的QoS區(qū)分,3GPP和3GPP2對(duì)QoE/QoS的研究都是基于全I(xiàn)P的網(wǎng)絡(luò)架構(gòu)。隨著3GPP等各個(gè)標(biāo)準(zhǔn)組織對(duì)IMS標(biāo)準(zhǔn)的不斷完善,端到端的QoS體系架構(gòu)的詳細(xì)標(biāo)準(zhǔn)和技術(shù)協(xié)議也會(huì)日新月異。
ITU-T對(duì)業(yè)務(wù)管理方面的研究[5]一直在進(jìn)行,包括業(yè)務(wù)管理發(fā)展趨勢(shì)、不同網(wǎng)絡(luò)結(jié)構(gòu)下(非NGN架構(gòu)、NGN體系IMS架構(gòu)和NGN體系非IMS架構(gòu))的CEI體系架構(gòu)、具體業(yè)務(wù)的QoE評(píng)估方法。預(yù)計(jì)2008年后這些課題將會(huì)有新的進(jìn)展和結(jié)論。
4.2 研究預(yù)測(cè)
隨著運(yùn)營(yíng)商對(duì)用戶QoE概念的日漸明晰和重視,各個(gè)標(biāo)準(zhǔn)組織對(duì)相關(guān)規(guī)范的日漸完善。業(yè)界對(duì)QoE的研究也呈現(xiàn)百花齊放的局面。而QoE管理架構(gòu)的環(huán)狀模型是研究的重點(diǎn)趨勢(shì),如圖2所示。QoE管理主要包括3部分[1]:QoS預(yù)置、QoS與QoE監(jiān)測(cè)和評(píng)估優(yōu)化。
圖2 QoE管理架構(gòu)
●QoS預(yù)置是指以用戶為中心,對(duì)不同業(yè)務(wù)的端到端QoS相關(guān)參數(shù)的配置和調(diào)整。不同于傳統(tǒng)的網(wǎng)元數(shù)據(jù)配置,這里預(yù)置的指標(biāo)主要來(lái)源于CEI和KQI,同時(shí)可能帶來(lái)業(yè)務(wù)規(guī)劃和網(wǎng)絡(luò)規(guī)劃的調(diào)整,并為QoS與QoE監(jiān)測(cè)體系奠定基礎(chǔ)。
●QoS與QoE監(jiān)測(cè)是指對(duì)可預(yù)置的指標(biāo)進(jìn)行監(jiān)視和測(cè)量,主要在NMS(網(wǎng)絡(luò)管理系統(tǒng))上實(shí)現(xiàn)。它采用合理的監(jiān)測(cè)手段和統(tǒng)計(jì)方法,為有效評(píng)估QoE提供了有力的支持。同時(shí)通過它,運(yùn)營(yíng)商可以完善以用戶體驗(yàn)管理為驅(qū)動(dòng)的運(yùn)維管理體系。
●評(píng)估優(yōu)化是指對(duì)可監(jiān)測(cè)的指標(biāo)(可以認(rèn)為是CEI組合)進(jìn)行有效評(píng)估,并以提高QoE為目的進(jìn)行相關(guān)的指標(biāo)優(yōu)化。優(yōu)化后指標(biāo)將被重新預(yù)置并進(jìn)行新一輪的監(jiān)測(cè)。優(yōu)化的過程可能較為繁瑣,但可能給運(yùn)營(yíng)商帶來(lái)相當(dāng)可觀的回報(bào)。
通過以上的分析可見,QoE管理是循序漸進(jìn)的環(huán)狀模型,只有這種循環(huán)式的管理體系才能充分保證運(yùn)營(yíng)商的企業(yè)核心競(jìng)爭(zhēng)力?梢源竽懙仡A(yù)測(cè)今后QoE的研究朝以下幾個(gè)方向發(fā)展。
●QoE指標(biāo)的研究:基于KQI/CEI的指標(biāo)聚合模型。主要內(nèi)容包括以業(yè)務(wù)為對(duì)象的QoE KQI與網(wǎng)絡(luò)KPI的映射建模;對(duì)網(wǎng)絡(luò)KPI到CEI的聚合分析,實(shí)現(xiàn)對(duì)用戶所使用業(yè)務(wù)的體驗(yàn)評(píng)價(jià)。聚合方法可以考慮空域、時(shí)域和用戶域多維度聚合。
●QoE管理體系架構(gòu)的研究:以網(wǎng)絡(luò)運(yùn)營(yíng)商為主導(dǎo),聯(lián)合CP/SP(內(nèi)容提供商/服務(wù)提供商)和終端提供商,實(shí)現(xiàn)端到端的QoE管理流程。其研究?jī)?nèi)容包括以用戶為中心的業(yè)務(wù)管理架構(gòu)[6]及以提高用戶QoE為目的的用戶、市場(chǎng)、運(yùn)維前后端互動(dòng)的管理體系架構(gòu)。
●QoE評(píng)測(cè)方法、輔助工具和產(chǎn)品的研究:對(duì)QoE指標(biāo)的客觀評(píng)估并充分反映用戶真實(shí)感知,也是運(yùn)營(yíng)商QoE管理的關(guān)鍵環(huán)節(jié)。由此派生的相關(guān)測(cè)試輔助工具和產(chǎn)品也將是測(cè)試廠商和工具廠商研究開發(fā)的目標(biāo)。
4.3 業(yè)界產(chǎn)品
當(dāng)前業(yè)界“結(jié)合CEM的QoE管理”的研究和產(chǎn)品開發(fā)已經(jīng)興起,主要體現(xiàn)如下。
(1)基于CEM架構(gòu)的產(chǎn)品開發(fā)(以Nokia為代表)
Nokia公司已經(jīng)推出了MQA(終端質(zhì)量分析器)和SQM(服務(wù)質(zhì)量管理系統(tǒng))產(chǎn)品[1]。CEM視角是指手機(jī)終端本身最終演變成為用戶體驗(yàn)的最理想的自動(dòng)測(cè)試點(diǎn),而安裝在用戶終端上的MQA可以實(shí)現(xiàn)真正意義上的CEI監(jiān)測(cè),通過SQM實(shí)現(xiàn)CEM。SQM可以實(shí)現(xiàn)不同類型用戶的業(yè)務(wù)管理以及不同業(yè)務(wù)的應(yīng)用管理,從而有助于運(yùn)營(yíng)商了解用戶感知,實(shí)現(xiàn)以用戶為中心的業(yè)務(wù)管理模式。該產(chǎn)品已經(jīng)被歐洲主流運(yùn)營(yíng)商Orange應(yīng)用。
(2)基于QoE的KQI分類方法(以Nortel為代表)
Nortel公司開展了“基于QoE的KQI分類方法”的調(diào)研,調(diào)研了GPRS用戶在打開網(wǎng)頁(yè)時(shí)忍受網(wǎng)頁(yè)瀏覽時(shí)延的情況,并根據(jù)用戶容忍度,對(duì)網(wǎng)頁(yè)瀏覽時(shí)延的KQI進(jìn)行了分類。這種針對(duì)某種業(yè)務(wù)或應(yīng)用進(jìn)行的QoE KQI分析產(chǎn)品和工具,得到了很多2G/2.5G運(yùn)營(yíng)商的青睞。
(3)測(cè)試設(shè)備和方案(以美國(guó)Spirent為代表)
在ITU 2006年世界電信展上,Spirent公司展示了針對(duì)下一代網(wǎng)絡(luò)的通信測(cè)試系統(tǒng),重點(diǎn)聚焦在三重播放/IPTV、3G、IMS、WiMAX以及無(wú)線網(wǎng)絡(luò)及服務(wù)的開發(fā)和部署上,并針對(duì)Web應(yīng)用和網(wǎng)絡(luò)基礎(chǔ)設(shè)施安全提供全面的測(cè)試方案。值得注意的是,Spirent提出為網(wǎng)絡(luò)性能的優(yōu)化和QoE的增強(qiáng)提供全面的保障,這無(wú)疑是運(yùn)營(yíng)商和設(shè)備商所需要的。
5、運(yùn)營(yíng)商對(duì)QoE研究的意義
移動(dòng)通信產(chǎn)業(yè)收入的持續(xù)增長(zhǎng)是運(yùn)營(yíng)商追求的目標(biāo),而這有賴于豐富的移動(dòng)業(yè)務(wù)和應(yīng)用的普及和成功。運(yùn)營(yíng)商必須主動(dòng)監(jiān)測(cè)和管理其用戶在使用業(yè)務(wù)時(shí)的QoE(即QoE的管理),高質(zhì)量的體驗(yàn)將提高用戶對(duì)業(yè)務(wù)和應(yīng)用的認(rèn)可度,提升運(yùn)營(yíng)商品牌的價(jià)值。當(dāng)前運(yùn)營(yíng)商面臨的最大挑戰(zhàn)就是如何對(duì)用戶的實(shí)際業(yè)務(wù)質(zhì)量進(jìn)行實(shí)時(shí)觀察、實(shí)時(shí)改進(jìn),并將網(wǎng)絡(luò)運(yùn)營(yíng)活動(dòng)定位到最有價(jià)值的用戶群體中。這些都是運(yùn)營(yíng)商進(jìn)行QoE研究的意義所在。QoE管理的目標(biāo)就是收集各種關(guān)鍵統(tǒng)計(jì)量,并將其轉(zhuǎn)化為用戶體驗(yàn)的知識(shí),幫助運(yùn)營(yíng)商構(gòu)建對(duì)用戶體驗(yàn)的認(rèn)識(shí)和理解,從而推動(dòng)網(wǎng)絡(luò)技術(shù)部門對(duì)現(xiàn)有資源的優(yōu)化進(jìn)程,尤其是對(duì)高ARPU用戶影響最大的網(wǎng)絡(luò)性能優(yōu)化工作。
通過QoE管理,運(yùn)營(yíng)商可以將網(wǎng)絡(luò)質(zhì)量、市場(chǎng)銷售和客戶服務(wù)的諸多前端部門,與網(wǎng)絡(luò)規(guī)劃和優(yōu)化、運(yùn)營(yíng)維護(hù)、信息支撐等后端部門,有效地互動(dòng)起來(lái),形成以提升用戶體驗(yàn)為目的的面向用戶、業(yè)務(wù)和網(wǎng)絡(luò)的多方配合協(xié)作體系。對(duì)于QoE管理方面的研究,運(yùn)營(yíng)商可以從以下幾個(gè)方面入手:
一是改進(jìn)現(xiàn)網(wǎng),將NMS指標(biāo)多維度地?cái)U(kuò)大到以用戶體驗(yàn)為中心的端到端的業(yè)務(wù)性能指標(biāo),并為特定用戶定制體驗(yàn)測(cè)量策略;
二是對(duì)新建的移動(dòng)網(wǎng)絡(luò),著眼于前后端互動(dòng)的QoE管理體系架構(gòu),針對(duì)主流業(yè)務(wù)和應(yīng)用整理和分析用戶層面的需求,并積極開發(fā)專用的QoE管理平臺(tái);
三是依托老業(yè)務(wù)的可監(jiān)測(cè)可評(píng)估的KQI和CEI,對(duì)新的移動(dòng)業(yè)務(wù)在特定用戶對(duì)象中的商用狀況進(jìn)行有效預(yù)測(cè),提高移動(dòng)業(yè)務(wù)的總體收益。
6、結(jié)束語(yǔ)
從QoE概念的提出,到相關(guān)標(biāo)準(zhǔn)進(jìn)展和后續(xù)研究方向可見,運(yùn)營(yíng)商是QoE管理鏈中的主要推動(dòng)者,起著舉足輕重的作用。運(yùn)營(yíng)商不僅要密切跟蹤QoE標(biāo)準(zhǔn)和產(chǎn)品的發(fā)展,同時(shí)要積極地提出其發(fā)展和研究方向,以便推動(dòng)相關(guān)廠商和機(jī)構(gòu)對(duì)QoE的標(biāo)準(zhǔn)制定和產(chǎn)品開發(fā),從而真正實(shí)現(xiàn)基于用戶體驗(yàn)的質(zhì)量管理架構(gòu)。有關(guān)QoE的深入研究將是未來(lái)幾年移動(dòng)通信產(chǎn)業(yè)的熱門方向之一。
參考文獻(xiàn)
1 ITU-T Rec E.800.Terms and definitions related to quality of service and network performance including dependability,1994
2 3GPP TS 26.234.Transport end_to_end packet-switched steaming service(PSS);protocol and codecs(release 6),Dec 2006
3 3GPP2 S.R0079-0.Support for end_to_end QoS,May 2004
4 ETSI TS 102 250-2.Definition of QoS parameters and their computation,March 2006
5 ITU-T Rec G.1010.End-user multimedia QoS categories,Nov 2001
6 Gomez G,Sanchez R著.周勝等譯.蜂窩網(wǎng)絡(luò)的端到端服務(wù)質(zhì)量和用戶體驗(yàn)質(zhì)量:概念、架構(gòu)以及性能優(yōu)化.北京:機(jī)械工業(yè)出版社,2006