自動化測試新一代解決方案

摘要　介紹了IP網(wǎng)絡(luò)業(yè)界最新的網(wǎng)絡(luò)自動化測試方法和測試平臺，包括引發(fā)這些新技術(shù)的原因，對這些自動化的測試方法和測試平臺的應(yīng)用。

1  引言

網(wǎng)絡(luò)設(shè)備生產(chǎn)商(NEM)，網(wǎng)絡(luò)服務(wù)供應(yīng)商(NSP)在對網(wǎng)絡(luò)設(shè)備和網(wǎng)絡(luò)架構(gòu)不斷推陳出新的同時，也需要對網(wǎng)絡(luò)設(shè)備和整網(wǎng)運行的功能/性能做出比以往任何時候更為嚴格和全面的測試，伴隨著多項新業(yè)務(wù)的提出，各種人們每日所需的傳統(tǒng)媒體服務(wù)也通過網(wǎng)絡(luò)進入尋常百姓家，每一種新的業(yè)務(wù)背后都伴隨著多種協(xié)議的共存和衍生，隨之而來的是海量的新的業(yè)務(wù)測試點的提出和驗證，傳統(tǒng)的測試方法已經(jīng)無法滿足指數(shù)級增長的實驗室和現(xiàn)網(wǎng)測試需求，更多的有識之士將眼光轉(zhuǎn)移到自動化測試上來。

自動化測試不僅可以提高測試效率，加強各個團隊之間的分工合作，還可以根據(jù)用戶的不同需求進行測試的定制，從而擺脫傳統(tǒng)測試的“測試工具的測試例”的限制，它不僅可以降低測試的勞動強度，而且從投資回報率來看，它確實是保護投資的王者之選。

本文將以網(wǎng)絡(luò)測試面臨的挑戰(zhàn)為題展開討論，詳述美國IXIA公司提出的最新解決方案和相關(guān)理論，同時將介紹一項新的產(chǎn)品及其相關(guān)特性。

2  網(wǎng)絡(luò)測試面臨新的挑戰(zhàn)

2.1  挑戰(zhàn)1：測試和投資的關(guān)系

網(wǎng)絡(luò)設(shè)備和各種Internet服務(wù)器已經(jīng)從單一功能的設(shè)備發(fā)展為多功能和智能型的設(shè)備。路由器，交換機，防火墻以及Web Server經(jīng)常需要處理三重播放(語音、視頻和數(shù)據(jù))的流量和各種服務(wù)。網(wǎng)絡(luò)設(shè)備制造商(NEM)，服務(wù)提供商和企業(yè)用戶要求進行更多和更復(fù)雜的測試來保證產(chǎn)品的質(zhì)量和系統(tǒng)的性能。從全球IT測試業(yè)界發(fā)展趨勢來看，使用手動測試難以保證在時間和開支上滿足投資者和管理者的需求。

產(chǎn)品投放市場的時間壓力意味著要在丟失市場份額和在沒有經(jīng)過嚴格測試就將產(chǎn)品快速投放市場之間做一個艱難地選擇。不充分的測試導(dǎo)致的結(jié)果一定是產(chǎn)品質(zhì)量和服務(wù)質(zhì)量的低下，隨之而來的也就是增加了后期支持和服務(wù)的成本。當產(chǎn)品進入消費領(lǐng)域，如個人用戶，家庭，SOHO用戶，這些客戶不再是有著豐富經(jīng)驗的網(wǎng)絡(luò)IT工程師，他們無法對產(chǎn)品的問題進行定位和修理。沒有經(jīng)驗的消費者經(jīng)常可能會需要數(shù)個小時的現(xiàn)場或電話支持才能解決問題，而這些工作的開銷使產(chǎn)品的銷售利潤大打折扣。

產(chǎn)品質(zhì)量的低下不僅損害了一個品牌的形象，而且也一定會付出更大的代價。根據(jù)Newsweek發(fā)布的報告，Microsoft?為了搶占市場，在領(lǐng)先競爭對手一年的時間內(nèi)推出了他們的Xbox 360游戲終端，導(dǎo)致的直接后果就是有一些游戲終端出現(xiàn)質(zhì)量問題。Microsoft發(fā)言人稱他們將會再投入10.5~11.5億美金來修復(fù)這些問題和挽回因為這些問題而產(chǎn)生的負面效應(yīng)。

很多用戶盡量壓縮測試的直接原因是質(zhì)量保證部門(QA)的測試流程過長，耽誤了產(chǎn)品投放市場的時機，失去了一些機會，而在IT產(chǎn)品測試領(lǐng)域的產(chǎn)品生命期中必須經(jīng)過開發(fā)測試階段、整合測試階段、部署測試階段，在每個階段，應(yīng)該盡量多測試一些軟件的版本。

從圖1可以看到，開支隨著找到問題和修正問題的時間增長而呈指數(shù)增長的趨勢，也就是越早進行嚴格的測試越能保證投資。

圖1  找到和修正問題的開銷與時間的關(guān)系示意圖

2.2  挑戰(zhàn)2：測試的效率

對于一個IT類的產(chǎn)品只有幾個簡單的要求：可快速投放市場、高質(zhì)量、最低開銷、互通性好。

自動化測試是一個可以保證以上產(chǎn)品特性的關(guān)鍵因素，當自動化測試很好地被部署和堅持，更多的測試結(jié)果以自動化的形式表現(xiàn)出來，用戶就會有更多的時間和資源覆蓋更多的測試點，保證產(chǎn)品質(zhì)量。

使用自動化測試，用戶可以覆蓋比手動測試更多的測試項目，如測試路由器時，可以同時測試各種不同服務(wù)的組合，或者在路由器承受不同流量的壓力同時進行功能測試。使用自動化測試，可以很方便地進行完整的回歸測試。如果使用自動化的回歸測試，可以在盡可能早的階段發(fā)現(xiàn)和修正問題。如圖1所示，可以在曲線坡度較為平緩處就發(fā)現(xiàn)/修正所有問題，節(jié)省了大量開支。

自動化測試從提升效率的角度來看，一定可以節(jié)省投資、增加利潤。NEM可以使用自動化測試來進行：

（1）在開發(fā)階段進行自動化回歸測試，保證每個軟件版本的質(zhì)量，盡可能在開發(fā)階段消除所有錯誤根源。
（2）在整合測試階段，使用混合測試的方式對多個供應(yīng)商的設(shè)備平臺和軟件進行測試。
（3）使用自動化的回歸測試對整合后的系統(tǒng)進行測試，保證設(shè)備和系統(tǒng)的性能和質(zhì)量。
（4）使用回歸測試保證各種補丁和升級程序不會影響操作或者性能。
（5）跟蹤和分析長期的回歸測試結(jié)果以保證系統(tǒng)運行在0錯誤和最佳性能狀態(tài)。

服務(wù)提供商和企業(yè)可以使用自動化來進行：

（1）為初期的系統(tǒng)部署和后期的升級測試進行自動化系統(tǒng)驗證測試。
（2）保證各種升級和補丁程序不會影響到日常的運維和系統(tǒng)性能測試。
（3）保證當前的系統(tǒng)和計劃升級系統(tǒng)的新部件之間的互通性測試。
（4）運行每日的定時檢測測試保證網(wǎng)絡(luò)性能，文件系統(tǒng)或者黑客行為不會影響到日常的運維。
（5）回歸測試已經(jīng)包含了大量的真實測試場景，可幫助縮短測試人員設(shè)計復(fù)雜和真實網(wǎng)絡(luò)時間的方案時間，快速部署自動化測試。

2.3  挑戰(zhàn)3：自動化測試工具需求

在圖2中描述了開發(fā)一個自動化測試的典型工作流程，它包括幾個必要的步驟：建立DUT或者SUT，建立測試床，編寫測試應(yīng)用程序或測試腳本，運行測試和分析結(jié)果。一個測試步驟定義完整的測試才能被轉(zhuǎn)化為自動化測試。

圖2  單一的自動化測試流程圖

圖2中的流程被每個單元測試反復(fù)使用，多個這樣的測試就組成了自動化測試庫，自動化測試庫還包括DUT/SUT配置和監(jiān)測腳本，測試床建立，各種測試腳本，回歸測試套件。
如圖3所示，這些測試項目通常被QA測試組用來做產(chǎn)品測試以及被自動化測試組用來做整體自動化測試，每個單獨的測試經(jīng)常被修改以增強它在更多領(lǐng)域的可用性。同樣的測試流程在產(chǎn)品的生命周期中被多次重復(fù)應(yīng)用（見圖4）。

圖3  自動化測試流程示意圖

圖4  自動化測試伴隨產(chǎn)品的生命周期

隨著這種自動化測試的功能擴展，自動化測試工具必須非常直觀和易于使用，不需要經(jīng)過長時間的培訓或者編程經(jīng)驗也可以進行測試。

3  IXIA的新一代解決方案

3.1  IXIA提供了各種級別的自動化解決方案

（1）一個完整的自動化測試平臺，可在多用戶環(huán)境中運行IXIA所有的測試應(yīng)用程序。
（2）各種功能強大的交互式測試應(yīng)用程序，包括各種測試腳本例程可以快速生成各種測試腳本的工具。
（3）基于Tcl編程語言的各種API接口庫，用戶可以基于各種測試工具的API編寫自己的測試腳本。
（4）Test Conductor是一個完整的自動化測試和管理平臺，它是一個綜合的IXIA和第三方測試應(yīng)用程序和設(shè)備管理平臺。