摘 要: 針對高性能T比特核心路由器,探討如何通過高可用性" title="高可用性">高可用性模塊的設計保證路由器的高可靠性,確保主處理器的癱瘓不影響網絡的正常運行。
關鍵詞: 高可用性 主備切換 心跳探測
隨著計算機網絡技術的高速發展,網絡設備的安全可靠越來越受到人們的重視。路由器的高可用性成為網絡運營商們關注的焦點。高可用性是指路由器的不間斷運行能力,即持續操作能力。它要求路由器本身所采用的硬件和軟件系統具有穩定可靠的性能,并且可以從軟件設計入手,實現一個高可用性的軟件產品。
本文以高性能T比特核心路由器為實例,探討如何通過高可用性模塊的設計保證網絡的高可靠性,做到處理器故障不會影響網絡的連通性,更不會導致整個網絡的癱瘓,從根本上解決數據中心的風險問題。
1 高可用性技術
高可用性是指可持續的、具有一致性和完整性的數據訪問。高可用性系統通過提高服務器可靠性、磁盤可靠性、應用程序" title="應用程序">應用程序可靠性達到高可用性的要求。可以通過共享磁盤陣列提高磁盤可靠性,使用冗余網絡提高網絡可靠性,使用合作的服務器提高服務器可靠性,通過應用程序的探測與有效恢復提高應用程序的可靠性。
路由器作為計算機網絡的核心設備,其高可用性至關重要。在硬件方面,路由器要有一個很好的體系結構及各種冗余非常完善,關鍵部件如路由引擎和交換矩陣要有冗余。在軟件方面,其自身要強壯,另外在遇到更換硬件、系統升級、增加板卡和改變鏈路等網絡調整時,軟件要有能力保證整個網絡業務不受局部調整的影響,讓整個網絡體現出非常高的可用性,保證路由引擎進行不丟包的切換。主引擎發生故障,切換到副引擎時不丟包,平滑切換,否則硬件的冗余就沒有意義,是假冗余。另外還要保證平穩重啟" title="重啟">重啟。當路由重啟時,由此產生的路由重新計算和網絡范圍的路由更新會消耗掉處理資源,并有可能出現黑洞或瞬時轉發循環形式的非預期網絡行為。而平穩重啟會避免這種情況的發生。
根據以上要求,本文提出了一種適用于T比特路由器的主控軟件容錯系統設計方案。采用硬件冗余與軟件容錯相結合、熱備與雙工" title="雙工">雙工相結合的工作方式代替傳統的容錯熱備份方案,并根據該方案設計實現了高可用性模塊。測試結果表明,采用該設計方案的主控軟件系統具有很好的容錯性能和故障恢復能力,能夠滿足T比特路由器對主控軟件系統的高可用性要求。
2 基于高性能T比特路由器的主控軟件容錯系統設計
2.1 主控軟件容錯系統設計中的基本問題
基于容錯需求的考慮,當主控系統出現軟硬件故障時路由器仍需要正常工作,故硬件配置采用1+1冗余設計,配備主用(Active)和備用(Standby)兩塊主控板" title="主控板">主控板,構建雙主控熱備容錯系統。當主用主控板發生故障,系統自動進行主備切換,由備用主控板接替主用板工作,保證業務的正常運行。當主用模塊發生嚴重故障或主用復位時,將觸發自動倒換方式,及時倒換到備用板。這種1+1冗余設計可擴展到N+1冗余設計。
整個切換過程對用戶透明,需要考慮的重點和實現的難點在于主備系統間數據庫一致性問題、平滑切換技術的實現和故障監測機制。
(1)數據庫一致性問題
路由器主控板上記錄了系統實時運行數據,因此正常工作中需要進行實時的系統數據備份,以保證主用和備用上的數據庫一致,否則在主備切換時,備用不能正常接替主用。針對該問題,在高可用性模塊的設計中,采用了一種雙工與熱備相結合的不完全熱備設計。需要備份的數據主要是系統數據庫中的路由表項和轉發表表項。
雙工與熱備相結合的不完全設計是指:雙主控板上都運行心跳探測程序用于故障探測,主用主控板上運行路由器正常工作所需要的所有應用程序,而備用主控板上運行部分重要應用程序。這些程序正常工作時與主用主控板上的程序有相同的輸入數據,但處理結果并不輸出。這樣的設計保證了路由器出現故障進行切換時低耗時,減輕了需要備份的數據量,既不像完全雙工工作方式那樣浪費資源,又避免了熱備工作方式的很多不足,性能明顯優于純粹的熱備或者雙工方式。
數據備份有冷備份和熱備份兩種。冷備份是在數據庫已經正常關閉的情況下,進行完整數據庫的備份,是最快和最安全的方法。冷備份的最大問題是必須在數據庫關閉的情況下進行,當數據庫處于打開狀態時,執行數據庫文件系統備份是無效的。
熱備份是在數據庫運行時,采用archivelog mode方式備份數據。有雙機鏡像和共享磁盤陣列兩種方案。雙機鏡像方案可選擇將主數據庫服務器上的表、文件、數據庫或全部內容通過專用連接通道鏡像到備用服務器上,優點是簡單、便宜,缺點是降低系統資源。共享磁盤陣列方案為兩臺主機共用一個磁盤陣列,優點是不降低系統性能,為目前較為流行的主流技術,但要求磁盤陣列具有較高的可靠性。
對于運行在骨干網中的路由器,冷備份顯然不適用。因為路由器運行過程中不可能定時關閉數據庫來備份數據,更不可能在路由器出現故障時再備份數據。因此采用熱備份。鑒于要備份的數據量不大,不必采取雙機鏡像和共享磁盤陣列方式。在本設計中采用了一種新型的數據熱備份方式:將需要備份的數據以日志文件的形式存儲,通過TCP傳輸方法將文件轉化為數據流由主用主控板備份到備用主控板上,實現實時備份。面向連接的TCP傳輸可靠且速度快,丟失文件的概率極小。
(2)切換延時問題
路由器主控系統出現故障時,要能夠對用戶透明地進行主備切換,就要實現系統間的無縫切換,減少切換過程中的時延并降低數據丟失率。無縫切換是一種完美的切換,包括快速切換和平滑切換兩方面。快速切換意味著低延遲,平滑切換就是低的數據包丟失率,無縫切換是兩者的結合,即低延遲和低丟失率。對于快速切換,要求在單板掉鏈之前完成切換過程,使備用主控板接替主用主控板的工作,保證路由器中的各個流程正常工作不受主控故障的影響,使網絡正常運行。對于平滑切換,有兩點要求:一是切換時,主備用主控板上的數據庫是一致的;二是在主備用數據庫一致的基礎上,備用主控板啟用后能在規定的時間內完成備份數據的導入。所謂規定的時間,也包含在切換的總時間內,切換時間=發現故障時間+啟用切換時間+故障接管時間。
(3)故障監測機制
系統中的兩塊主控板,經過主備協商后確定主備地位,一塊為Master狀態,控制整個系統;另一塊為Slave狀態,處于備份狀態。兩塊主控板之間通過UDP傳輸心跳報文交互自身的狀態數據,以識別主控的軟/硬件故障。路由器正常運行時,主用和備用主控板之間定時發送keepalive報文進行心跳探測,報文內容中包含了自身的狀態信息。備用主控板在定時器到期前未收到來自主用主控板的keepalive報文就認為主用主控板失效,進入主備切換,備用主控板成為新主用,自動接管原主用主控板的服務程序,繼續提供服務。原主用主控板從故障中恢復或被更換后,會重新發送協商報文,與新主用主控板取得聯系,成為新備用主控板,而不必再進行一次切換,節省了系統資源。
2.2 高可用性模塊的設計及實現
在主控軟件容錯系統設計中,采用了兩塊主控板掛載八塊單板。兩塊主控板之間通過面向無連接的UDP通信機制交互心跳數據,通過面向連接的TCP通信機制傳輸備份文件數據流;主控板與單板之間通過高速以太網連接。圖1給出了該系統的總體結構圖。
?
按照功能的不同,在設計方案中將高可用性模塊劃分為三個子模塊:AS通信模塊、AS系統監控模塊和AS keepalive模塊,如圖2所示。
AS通信模塊負責主控系統上高可用性模塊與系統數據維護模塊(SYSDATA)和板間通信模塊(BDCOM)間的通信、數據備份和TCP傳輸。
AS監控模塊負責主控軟件各個系統進程的監控、維護、管理等核心功能。當某個軟件占CPU使用百分比過大時,則認為該主控軟件運行不正常,根據該軟件的運行規則和重要性選擇恢復策略,重啟該進程或者進入主備切換。
AS keepalive模塊負責兩塊主控板之間的主備協商,確定主控板的主備地位;在路由器正常運行過程中,定時向對方主控板發送keepalive報文進行心跳探測;針對網絡擁塞可能導致的丟包以及CPU排隊處理多線程時可能超時處理keepalive報文造成的主用主控板“假死”現象,采用再協商(Re-negotiation)技術,在超時收不到對方主控板發送的keepalive報文時不直接認為對方主控板故障,而是進行一次退避,與對方發送協商報文進行再協商。再協商與初始化過程中的主備協商不完全相同。Re-negotiation技術與通常采用的單純固定不變的心跳探測技術相比,可以更好地提高系統心跳環境的適應能力和穩定性,更好地保證系統的高可用性。
2.3 AS系統設計的特點
(1)整個AS系統的設計采用層次與模塊相結合的結構模型,克服了軟、硬件分離和脫節的問題,提高系統的靈活性和可移植性。模型的每一層均可以看作是一個相對獨立的系統。在每一層中又按照系統功能,劃分不同的功能模塊。各個模塊之間獨立工作,完成不同的功能,降低故障的概率。
(2)硬軟件相結合實現主控板的熱備份容錯。
(3)采用熱備與雙工相結合的設計,系統切換時間短,平均切換時間為0.8秒。
(4)切換過程中對用戶透明,無需重新啟動主控板,對故障板支持熱插拔,方便維修。
(5)系統工作效率高。整個系統中,各個子模塊分工合作,數據備份及傳輸由AS通信模塊通過消息隊列和TCP傳輸完成。主控系統軟件的監控和部分軟件的出錯重啟由AS監控模塊完成。AS keepalive模塊用UDP傳輸進行主備間的心跳監測通信,且在交互的心跳報文中包含了當前主用和備用主控板的狀態數據等,用于更新狀態機,避免盲目切換和無效切換。
(6)本設計中數據庫實時更新,且一旦備用主控板收到TCP傳輸的備份文件就導入到本地數據庫中,而不是出現故障進行主備切換時再從數據備份文件中讀取數據。因此不會產生數據不同步的問題,而且大大地減少了切換時的工作量,加快了切換速度。
本文研究了T比特核心路由器的主控軟件結構,設計了高可用性模塊。該模塊采用熱備份模式,通過對主控板的硬件冗余設置,配合軟件實現的數據熱備份及心跳探測等技術消除T比特路由器中主控單點故障。該模塊應用于T比特路由器主控軟件系統中,當主用主控板發生故障時,可以快速、準確、平滑地進行主備切換,從而提高了系統的穩定性和可靠性,最終實現路由器的高可用性。
參考文獻
1 James Aweya.On the design of IP routers Part 1:Router architectures.Journal of Systems Architecture 46(2000):483~511
2 使用熱備份進行分時恢復.http://www.eygle.com/ha/Use.Hot.Backup.Recover.Day.by.Day.htm
3 雙機熱備指南.http://www.ha999.com/index.htm
4 申志冰,羅 宇.利用Heartbeat實現Linux上的雙機熱備份系統.計算機工程與應用,2002;(19)