隨著互聯(lián)網(wǎng)訪問量和數(shù)據(jù)流量的快速增長，新的應用層出不窮。盡管Internet服務器處理能力和計算強度相應增大，但業(yè)務量的發(fā)展超出了先前的估計，以至過去按最優(yōu)配置建設(shè)的服務器系統(tǒng)也無法承擔。在此情況下，如果放棄現(xiàn)有設(shè)備單純將硬件升級，會造成現(xiàn)有資源的浪費。因此，當前和未來的網(wǎng)絡(luò)服務不僅要提供更豐富的內(nèi)容、更好的交互性、更高的安全性，還要能承受更高的訪問量，這就需要網(wǎng)絡(luò)服務具有更高性能、更大可用性、良好可擴展性和卓越的性價比。于是，集群虛擬服務器技術(shù)和負載均衡機制應運而生。
　　集群虛擬服務器^[1]可以將一些真實服務器" title="真實服務器">真實服務器集中在一起，組成一個可擴展、高可用性和高可靠性的統(tǒng)一體。負載均衡^[2]建立在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之上，提供了一種廉價、有效和透明的方法建立服務器集群系統(tǒng)，擴展網(wǎng)絡(luò)設(shè)備和服務器的帶寬，增加吞吐量，加強網(wǎng)絡(luò)數(shù)據(jù)處理能力，提高網(wǎng)絡(luò)的靈活性和可用性。使用負載均衡機制，大量的并發(fā)訪問或數(shù)據(jù)流量就可以分配到多臺節(jié)點設(shè)備上分別處理。系統(tǒng)處理能力得到大幅度提高，大大減少用戶等待應答的時間。
　　實際應用中，虛擬服務器包含的真實服務器越多，整體服務器的性能指標(如應答延遲、吞吐率等)越高，但價格也越高。在集群中通道或其他部分也可能會進入飽和狀態(tài)。因此，有必要根據(jù)實際應用設(shè)計虛擬服務器的仿真模型" title="仿真模型">仿真模型，依據(jù)實際系統(tǒng)的測量數(shù)據(jù)確定隨機變量" title="隨機變量">隨機變量的概率分布類型和參數(shù)，通過分位點-分位點圖即Q-Q圖(Quantile-Quantile Plot)和累積分布函數(shù)(Cumulative Distribution Functions)等方法校驗應答或傳播延遲" title="傳播延遲">傳播延遲等性能指標的概率分布，通過仿真軟件和工具(如Automod^[3])事先分析服務器的運行狀態(tài)和性能特點，使得集群系統(tǒng)的整體性能穩(wěn)定，提高虛擬服務器設(shè)計的客觀性和設(shè)計的可靠性，降低服務器建設(shè)的投資風險。
1 集群虛擬服務器的體系結(jié)構(gòu)
　　一般而言，首先需要在集群虛擬服務器上建立互聯(lián)網(wǎng)協(xié)議偽裝(Internet Protocol Masquerading)機制，即IP偽裝，接下來創(chuàng)立IP端口轉(zhuǎn)發(fā)機制，然后給出在真實服務器上的相關(guān)設(shè)置。圖1為集群虛擬服務器的通用體系結(jié)構(gòu)。集群虛擬服務器通常包括：真實服務器(Real Servers)和負載均衡器" title="負載均衡器">負載均衡器(Load Balancer)。

　　由于虛擬服務器的網(wǎng)絡(luò)地址轉(zhuǎn)換方式是基于IP偽裝的，因此對后臺真實服務器的操作系統(tǒng)沒有特別要求，可以是Windows操作系統(tǒng)，也可以是Linux或其他操作系統(tǒng)。
　　負載均衡器是服務器集群系統(tǒng)的惟一入口點。當客戶請求到達時，均衡器會根據(jù)真實服務器負載情況和設(shè)定的調(diào)度算法從真實服務器中選出一個服務器，再將該請求轉(zhuǎn)發(fā)到選出的服務器，并記錄該調(diào)度。當這個請求的其他報文到達后，該報文也會被轉(zhuǎn)發(fā)到前面已經(jīng)選出的服務器。因為所有的操作都在操作系統(tǒng)核心空間中完成，調(diào)度開銷很小，所以負載均衡器具有很高的吞吐率。整個服務器集群的結(jié)構(gòu)對客戶是透明的，客戶看到的是單一的虛擬服務器。
　　負載均衡集群的實現(xiàn)方案有多種，其中一種是Linux虛擬服務器LVS(Linux Virtual Server)方案。LVS實現(xiàn)負載均衡的技術(shù)有三種：網(wǎng)絡(luò)地址轉(zhuǎn)換(Network Address Translation)、直接路由(Direct Routing)和IP隧道(IP Tunneling)。
　　網(wǎng)絡(luò)地址轉(zhuǎn)換按照IETF標準，允許一個整體機構(gòu)以一個公用IP地址出現(xiàn)在Internet上。通過網(wǎng)絡(luò)地址轉(zhuǎn)換，負載均衡器重寫請求報文的目標地址，根據(jù)預設(shè)的調(diào)度算法，將請求分派給后端的真實服務器；真實服務器的應答報文通過均衡器時，報文的源地址被重寫，把內(nèi)部私有網(wǎng)絡(luò)地址翻譯成合法網(wǎng)絡(luò)IP地址，再返回給客戶，完成整個負載調(diào)度過程。
　　直接路由的應答連接調(diào)度和管理與網(wǎng)絡(luò)地址轉(zhuǎn)換的調(diào)度和管理相同，但它的報文是直接轉(zhuǎn)發(fā)給真實服務器。在直接路由應答中，均衡器不修改、也不封裝IP報文，而是將數(shù)據(jù)幀的媒體接入控制MAC(Medium Access Control)地址改為選出服務器的MAC地址，再將修改后的數(shù)據(jù)幀在局域網(wǎng)上發(fā)送。因為數(shù)據(jù)幀的MAC地址是選出的服務器，所以服務器肯定可以收到該數(shù)據(jù)幀，從中獲得該IP報文。當服務器發(fā)現(xiàn)報文的目標地址在本地的網(wǎng)絡(luò)設(shè)備時，服務器處理該報文，然后根據(jù)路由表應答報文，直接返回給客戶。
　　IP隧道是將一個IP報文封裝在另一個IP報文中的技術(shù)。該技術(shù)可以使目標為某個IP地址的數(shù)據(jù)報文被封裝和轉(zhuǎn)發(fā)到另一個IP地址。用戶利用IP隧道技術(shù)將請求報文封裝轉(zhuǎn)發(fā)給后端服務器，應答報文能從后端服務器直接返回給客戶。這樣做，負載均衡器只負責調(diào)度請求，而應答直接返回給客戶，不需要再處理應答包，將極大地提高整個集群系統(tǒng)的吞吐量并有效降低負載均衡器的負載。IP隧道技術(shù)要求所有的服務器必須支持IP Tunneling或IP封裝(Encapsulation)協(xié)議。
2 集群虛擬服務器報文延遲的確定
　　通過一個裝有5臺真實服務器并使用網(wǎng)絡(luò)地址轉(zhuǎn)換技術(shù)實現(xiàn)Linux虛擬服務器的實際系統(tǒng)^[4]，可以得到有關(guān)請求和應答報文的時戳(Time Stamp)文件。根據(jù)這些文件，能夠計算出集群虛擬服務器的仿真和建模所需數(shù)據(jù)。
　　為了確定隨機變量分布類型和參數(shù)，應該統(tǒng)計下列延遲：(1)從客戶到負載均衡器的傳播延遲(Transport Delay)；(2)負載均衡器的應答延遲(Response Delay)；(3)從負載均衡器到真實服務器的傳播延遲；(4)真實服務器的應答延遲；(5)從真實服務器到負載均衡器的傳播延遲；(6)負載均衡器對真實服務器的應答延遲；(7)從負載均衡器到客戶的傳播延遲。
　　在實際系統(tǒng)產(chǎn)生的時戳文件中，間接地描述了上述各延遲時間。文件包含的內(nèi)容如下：
　　……
　　192.168.3.202　　　　　　　　//IP地址
　　53295　　　　　　　　　　　　//端口
　　1022834955.914398316　　　　//時戳(秒)
　　1　　　　　　　　　　　　　　//報文類型
　　2072754558　　　　　　　　　　//序列號
　　192.168.3.202
　　53295
　　1022834955.914424877
　　4
　　2081793697
　　……
　　當一個服務請求到達集群虛擬服務器系統(tǒng)時，即產(chǎn)生帶有惟一序列號的同步請求報文(Synchronized Request Package)，將該報文轉(zhuǎn)發(fā)到某一真實服務器，同時建立該服務器與客戶端的連接，每個這樣的連接都帶有惟一的端口號；該服務器處理通過該連接的確認請求報文(Acknowledgement Request Package)，直到服務器收到結(jié)束請求報文(Finished Request Package)。對每一種類型的請求報文，系統(tǒng)都給予一個相應的應答報文。因此，在不同的報文時戳文件中，如果兩條記錄具有相同的端口號、報文類型和序列號，則它們是同一個請求或應答報文，對相關(guān)的時戳相減即可得到集群虛擬服務器系統(tǒng)的仿真和建模所需的延遲數(shù)據(jù)。通過所編寫的C++程序即可計算這些延遲。
3 系統(tǒng)仿真模型
　　上述的集群虛擬服務器實際系統(tǒng)的仿真模型如圖2所示，在負載均衡器、各通道、5臺真實服務器中通過或處理的均為請求或應答報文。

4 隨機變量模型的確定
　　對具有隨機變量的集群虛擬服務器進行仿真，必須確定其隨機變量的概率分布，以便在仿真模型中對這些分布進行取樣，得到所需的隨機變量。
4.1 實際虛擬服務器的延遲數(shù)據(jù)概況
　　在實際虛擬服務器的負載均衡器、各通道和5臺真實服務器中，對請求和應答報文都有一定的延遲。部分報文延遲的統(tǒng)計數(shù)據(jù)如表1所示。

　　由表1中的數(shù)據(jù)可見，報文延遲的中位數(shù)與均值差異較大，所以其概率分布不對稱；變異系數(shù)不等于1，導致概率分布不會是指數(shù)分布，而可能是γ分布或其他分布。
4.2 隨機變量的概率分布
　　圖3為第一臺真實服務器到負載均衡器之間的通道報文傳播延遲直方圖，其中t為報文延遲時間，h(t)為報文延遲區(qū)間數(shù)。由圖3可知，通道內(nèi)的報文傳播延遲數(shù)據(jù)近似服從γ分布或?qū)?shù)正態(tài)分布^[5]。

　　描述γ分布需要兩個參數(shù)：形狀(Shape)參數(shù)α和比例(Scale)參數(shù)β，這兩個參數(shù)與均值M、方差V之間的關(guān)系是非線性的：
　　M=αβ　　　　　　　　(1)
　　V=αβ²　　　　　　　　(2)
　　描述對數(shù)正態(tài)分布也需要形狀參數(shù)σ和比例參數(shù)μ，這兩個參數(shù)與均值M、方差V之間的關(guān)系也是非線性的：
　　

　　式(1)～(4)都可以通過最大似然估計MLE(Maximum Likelihood Estimator)方法^[5]或最速下降法(Steepest Descent Method)求出。表2給出了用這兩種方法求出的從第一臺真實服務器到負載均衡器之間通道內(nèi)的報文延遲概率分布參數(shù)。

　　使用累積分布函數(shù)和Q-Q圖可以校驗并進一步確定上述通道內(nèi)報文傳播延遲的概率分布。取用表2中的參數(shù)，可以得到γ分布的累積分布函數(shù)，如圖4所示，其中t為報文延遲時間，F(xiàn)(t)為報文延遲的累積分布函數(shù)。為作比較，實驗分布也畫在該圖中。γ分布和對數(shù)正態(tài)分布的Q-Q圖如圖5所示。
　　由圖4和圖5可以看出，γ分布較好地擬合了該通道內(nèi)的報文傳播延遲數(shù)據(jù)分布。其他通道報文延遲直方圖也有類似形狀。經(jīng)計算和分析，這些通道的報文傳播延遲概率分布也近似服從γ分布。