1 概述
隨着網絡規模的不斷擴大,網絡故障點越來越多,配置和維護的復雜度大幅增加。為了提高網絡及安全設備的可靠性,簡化管理和組網,提高網絡易用性,本白皮書提出了一種將多臺L2~7層物理設備虛擬成一臺邏輯設備來管理和使用的技術,也就是虛擬交換矩陣(Virtual Switching Matrix ,即VSM)技術。通過VSM技術,可大大簡化組網的復雜性和提高網絡的可靠性,同時網絡也更容易配置和維護。本白皮書將介紹 VSM實現原理及如何通過該技術實現交換機、路由器、防火墻、IPS、應用交付等L2~7層設備的虛擬化。
VSM虛擬交換矩陣相對於傳統的堆叠方式具有如下幾個優勢:
■ 簡化配置,提高帶寬利用率。VSM完全作為一臺設備使用,無需使用STP等協議對鏈路進行阻塞,通過跨設備的鏈路聚合不僅能夠提供鏈路冗余的功能,還能夠支持鏈路負載分擔,充分利用帶寬。此外,VSM組網下無需使用VRRP等冗余網關協議,大大簡化網絡配置。
■ 降低運維成本。傳統的堆叠需要對每臺設備進行配置及版本升級,耗費大量維護成本。但是在VSM組網下,用戶通過任意成員設備的任意端口均可以登錄主(Master)設備頁面,對 VSM內所有成員設備進行統一管理,降低了維護難度和運維成本。
■ 高可靠性。VSM 的高可靠性體現在多個方面。1、VSM支持跨設備鏈路聚合及級聯端口聚合,保障了VSM鏈路的可靠性和VSM設備間數據傳輸的可靠性;2、VSM可以支持同一個VSM組內的多個主控冗余備份,保障了設備的可靠性; 3、表項和會話的同步備份,保證了會話和轉發表項的嚴格一致,實現工作在主備模式下的主控和業務板卡的無縫切換。
■ 廣泛的產品線支持。VSM可支持多種不同形態的產品,實現同類產品的多合一虛擬化,從接入設備到核心設備均支持VSM,支持的產品形態覆盖防火墻、IPS、上網行為管理及流控、應用交付、路由器、交換機等。
2 VSM技術介紹
2.1 概念介紹
2.1.1 VSM成員類別
VSM中每臺設備都稱為成員設備。成員設備根據功能不同,分為兩種不同的角色:
■ Master:主成員設備,負責管理控製整個VSM系統。VSM的所有配置信息都是由Master設備統一下發給所有的Slave設備;VSM中運行的數據鏈路層及上層協議狀態機的狀態信息都統一由Master設備來維護管理,並將這些信息同步給Slave設備。
■ Slave:備成員設備,由Master控製管理。作為Master設備的備份設備運行,同時Slave設備也可以進行數據業務轉發。當 Master 故障時,系統會自動從 Slave 中選舉一個新的 Master接替原 Master工作。Master 和 Slave 均由角色選舉產生。一個 VSM 中同時只能存在一臺 Master,其它成員設備都是Slave。
2.1.2 VSM標識
即VSM ID。VSM中,每臺設備都通過VSM ID來進行唯一標識,通過VSM ID來進行VSM 成員角色的選舉。
2.1.3 VSM級聯
VSM系統中各成員設備通過VSM級聯來形成VSM系統。用來做VSM級聯的單板,稱為級聯板,包括支持級聯的普通接口板和專用級聯板兩大類。對於框式設備,可通過萬兆或40G接口板卡實現級聯, 高端設備除支持接口板卡級聯外,還支持專用級聯板,實現多臺設備的高性能無阻塞級聯。對於盒式設備,支持萬兆接口實現級聯。當使用接口板做級聯的時候允許單板上部分接口用於正常數據轉發,部分接口用於級聯。
級聯板上用於VSM級聯的端口稱作為VSM級聯口。設備之間通過VSM級聯口形成VSM通道;使用多個物理口做級聯時,級聯口自動進行端口聚合。級聯口分為上行級聯口和下行級聯口兩類,設備之間互連時需將一臺設備的上行級聯口和相鄰設備的下行級聯口相連。
針對數據中心核心交換以及骨幹網核心路由等對性能和可靠性要求極高的應用場景,常用的通過級聯口捆綁構成VSM組的方式可能存在級聯帶寬瓶頸問題,不能滿足無阻塞交換要求。針對此類應用場景,VSM支持無阻塞級聯矩陣技術以提高級聯帶寬。VSM無阻塞級聯矩陣技術使用獨立硬件設備實現VSM組成員之間的高速全連接互聯,此設備稱作級聯矩陣,級聯矩陣本身不出用戶接口,全部接口都用來做級聯。為保證級聯的可靠性,支持2臺級聯矩陣和多臺VSM成員設備的N+2全連接組網。
2.1.4 VSM通道
級聯口之間的連接構成了VSM通道,VSM通道用於實現數據報文和VSM控製報文的傳輸,數據報文通過VSM通道在成員設備之間轉發,可以看作是數據報文在同一設備上的不同接口板之間的轉發一樣。
2.2 VSM的形成
2.2.1 VSM配置
設備在加入VSM之前需要用戶在VSM配置中開啟VSM功能,並為每臺設備分配一個唯一的VSM ID,同時需要給每臺VSM配置相應的上行和下行級聯口。
2.2.2 物理連接
■ VSM連接介質
VSM支持兩種不同的連接介質:10G、40G光口和CX4、10G電口。
■ VSM連接拓撲
VSM連接的原則是本設備的上行級聯口要連接對端設備的下行級聯口。多臺設備級聯連接拓撲分成三種:
第一種是環形連接,環形連接的優點是即使有級聯鏈路故障也會快速恢復,能夠做到零丟包,並且不用配置任何協議防止環路。當環形拓撲有一條鏈路故障時,拓撲結構會切換到鏈形拓撲,此時對整個VSM系統的運行不會產生任何影響。
第二種是鏈式連接,鏈式連接是環形的一種簡化,當有鏈路故障時VSM會分裂為兩組VSM。
第三種是星形連接,如下圖,圖中的VSM-M(VSM-MANAGER)是兩個級聯矩陣,VSM-O(VSM-OPERATOR)通過VSM-M進行連接,形成另一個VSM系統。其中交換框VSM-M專門負責級聯並且負責管理, VSM-O的級聯口負責級聯到級聯矩陣VSM-M,普通接口板卡負責業務處理和流量轉發
2.2.3 拓撲收集
每臺成員設備都需要知道VSM組網的拓撲結構,該結構包含每個設備的VSM ID,上行結點設備的ID,下行結點設備的ID以及其他基本信息。在設備加入VSM時會進行拓撲結構的收集,並將自己的信息發布到VSM組中。其他設備收集到非本設備發送的拓撲信息後,進行本地更新,然後將收集到的報文再轉發出去,報文最終會轉發到發送拓撲收集的源成員設備。當設備全部接收到自己從兩種級聯端口發送的拓撲收集報文時,說明本設備的拓撲結構收集完成。
拓撲收集完成後會進行設備MAC地址的同步,成員設備會檢查MAC地址。當Master設備和Slave設備的MAC不一致時,Slave設備將采用Master設備的MAC。
2.2.4 成員主備選舉
設備默認是以Slave的角色啟動加入VSM的,拓撲收集完成後,成員設備之間需要選舉出一個Master來對整個系統進行管理。
主備選舉規則如下:
■ 當只有一臺成員設備時把該設備選舉為Master設備;
■ 當存在多臺Master設備時需要進行選舉,將Master設備中VSM ID小的設備選舉為新的Master設備,其余的Master設備將重啟並以Slave角色加入該VSM;
■ 當VSM中設備都為Slave設備時,VSM ID最小的那臺設備選舉為Master設備,其他的都為Slave設備;
2.3 VSM管理和維護
2.3.1 統一管理
VSM將兩臺或多臺設備虛擬成一臺設備來統一管理,兩臺設備所有配置都保持一致。對於框式設備來說,備框的管理口IP地址和主框的保持一致。在VSM正常運行狀態,只有主框的主控板的管理口是可用的,主框的備用主控板和其他備框的管理口都不可用,當發生主備板或主備框切換時,新的主框的主控板的管理口變為可用,VSM系統中其他設備的所有管理口變為不可用,這樣用戶使用管理口登錄系統時,始終登錄的都是主框,對系統中的所有設備進行統一管理。
對於盒式交換機或框式設備使用管理VLAN登錄系統來說,主框和備框的管理VLAN的IP都是一致的,用戶使用管理VLAN登錄系統時始終登錄的是主框,保證對系統中的所有設備的統一管理。
VSM登錄主設備的管理頁面對設備進行統一管理。在管理頁面中可以看到所有成員設備的配置情況,在管理頁面上進行配置,配置會下發到所有成員設備。
當設備人為重啟或者故障重啟,配置不會丟失,Slave設備在啟動過程中會向Master設備請求批量同步配置信息,然後Slave以新的配置完成初始化,保證Slave起來以後無縫加入VSM。VSM在運行中,在管理頁面修改的所有配置都將同步到所有設備,保證當主設備故障後,配置數據不丟失。
2.3.2 新成員設備加入
當有新設備加入VSM中時,會產生級聯端口的up事件,當級聯端口up時,會發送拓撲改變通知,VSM系統會重新進行拓撲收集,當收集完成時進行選舉。如果新加入的成員設備的VSM角色是Slave,則以Slave的身份加入VSM系統中;如果新加入的成員設備的VSM 角色是Master,那麽重新選舉出新的Master設備,其余的Master成員設備重啟並以Slave的角色重新加入VSM。
2.3.3 已有成員設備離開
VSM 維護過程中,當有設備離開VSM中時,會產生級聯端口的down事件。當級聯端口down時,該成員設備會發出拓撲改變通知,然後所有成員設備都會重新進行拓撲收集,如果離開的成員設備是Slave,那麽它離開後,其他成員角色不會發生變化繼續正常運行;如果離開的成員設備是Master,那麽它離開後,將會在其他成員設備間選舉出新的Master設備用於管理整個VSM系統。
2.3.4 VSM分裂檢測
前文描述的成員設備離開,如果離開的原因是因為設備故障重啟,那麽它再以Slave的身份加入VSM即可,沒有任何影響;但是如果它離開的原因是因為級聯鏈路故障,那麽它所在的VSM系統中也會選舉出新的Master,那麽在這個組網中將出現兩組VSM系統,並且它們的MAC地址是一致的,這就導致VSM分裂。為了解決這個問題,VSM系統支持VSM分裂檢測,如果發現有相同的VSM系統,那麽分裂檢測機製會使產生沖突的系統進入靜默狀態,此時沖突的系統不會進行報文轉發和學習,也不會處理任何業務。這樣,在應用組網中就不會存在沖突的VSM系統。
2.3.5 VSM在線升級
VSM支持在線升級功能,分為兩步走:第一,先將備機進行“孤島隔離”,對Slave設備進行版本升級和配置工作,在 “孤島隔離”的情況下,Slave不會進行業務處理和流量轉發,只有Master進行業務處理;第二,Slave升級完成按新版本重新啟動後,再將Master進行 “孤島隔離”,此時Slave切換為Master,接管所有流量業務處理,然後被“隔離”的設備升級版本再啟動加入VSM系統。在升級的過程中能夠保證業務正常。
具體實施方法是:準備升級的Slave設備先開啟“孤島隔離”狀態,這時各業務口均被禁用,停止Slave設備上所有業務和數據轉發,只有管理口可用於配置管理。接着配置備機的VSM ID、級聯口,更新配置信息,升級軟件版本(由於級聯口也被禁用,因此不會對系統運行產生影響)。然後點擊“一鍵升級”,使Slave設備重啟。Slave設備完全重啟後還處在孤島狀態,首先通過一個管理口的帶外通道通知Master設備升級已完成,然後自己切換為Master設備,並且去除孤島狀態,此時Slave設備以Master的身份正常運行在網絡中。
Master設備在接收到Slave設備發送的更新完版本通知後,立即將自己切換到“孤島隔離”狀態,各業務口均被禁用,停止Master設備上所有業務和數據轉發,只有管理口可用於配置管理。然後通過管理口的帶外通道向新的Master設備索要新的軟件版本,新的Master設備向舊的Master設備同步完軟件版本後,以新的軟件版本重新啟動。重啟過程中,新的Master設備向自己同步配置信息,並且檢查主控板與業務板軟件版本與新的Master設備是否一致,若不一致則從新的Master同步版本。
重啟後Slave設備將變為Master設備,而原Master設備變為Slave設備。這時即完成了VSM在線升級的整個過程。
如果VSM系統中存在超過兩臺設備,則應先將一臺Slave設備進行“孤島隔離”、在線升級,然後先後通知Master設備和其他Slave設備進行版本升級。
2.4 控製平面工作原理
控製平面主要是通過控製成員設備來統一處理協議數據,達到統一管理的目的。協議報文包括路由協議報文、二層協議報文、DHCP、DNS等等,協議報文統一由VSM的Master 處理。
當VSM組的Master成員收到協議報文時,由Master成員處理;當Slave成員收到協議報文時,它不對協議報文進行處理,報文會通過VSM級聯通道轉發到Master成員處理。Master處理完成後,並通過VSM級聯通道將相關信息備份到Slave設備。
總而言之,控製平面統一由Master處理,解決由成員設備分開處理發生的路徑不一致和狀態不一致的問題。
2.5 數據平面工作原理
2.5.1 跨框鏈路聚合
跨框鏈路聚合即在不同的VSM成員設備上的端口配置為聚合組,配置時會將聚合配置信息向Master和Slave分別下發全局聚合信息。跨框聚合同樣具有鏈路備份,負載分擔的功能,VSM也支持配置靜態跨框聚合和動態跨框聚合。
2.5.2 L2~3層設備轉發原理
二層轉發:由於VSM作為一臺設備來運行,其廣播域包括所有VSM成員設備,當VSM成員設備收到廣播報文、未知單播或未知組播時,不僅會在本設備內廣播,而且報文將通過級聯口廣播到其他VSM成員設備,所有成員設備將對二層報文進行學習。VSM成員設備收到已知報文時,查找二層表項,將報文送到正確出口,如果出口不是本設備,報文通過VSM級聯通道送到其他設備。
三層轉發:VSM成員設備收到的三層報文查找表項有路由但是沒有ARP時,需要將報文上送CPU進行ARP學習,如果本成員設備是Master,跟單臺設備處理一致,如果本成員設備是Slave,通過VSM級聯通道轉發給Master成員,Master處理完成後,將表項下發給Slave。VSM成員設備收到的三層報文時查找三層表項,能夠查到出口的轉發方式和二層轉發一致。
2.5.3 L4~7層設備轉發原理
盒式L4~7設備VSM虛擬化時,所有成員設備的CPU等物理資源工作在全局模式下。首先將收到的報文做全局流分類,隨後通過交換芯片和級聯口將報文調度到某個成員設備進行L4~7層業務處理。提供多種雲調度算法解決在不同組網下的雙向流量同源同宿問題,例如在不做NAT情況,可依據源IP+目的IP地址對匹配雙向流量;在做NAT的情況下,通過域內域外不同算法的方式來實現同源同宿。會話在所有成員之間進行備份,當有成員設備故障時,業務流量能夠快速切換到其他成員設備處理。
框式設備VSM虛擬化時,L4~7層業務流量通過“流定義”技術實現在VSM組內的調度。首先按端口、IP地址、VLAN等多種參數定義數據流,然後將流量逐跳匹配到預定義的物理或虛擬業務模塊上,同時WEB配置界面預設“在線部署”、“透明部署”等多種“流定義”模式,實現數據流定義和調度的圖形化操作。VSM組內的業務板可以配置成兩種模式。一種是主備模式,不同成員設備的同類型業務板可以配置為主備業務板,報文默認流定義到主業務板,只有當主業務板故障後,流量才會切換到備業務板。另一種是雲板卡模式,不同成員設備的同類型業務板可以配置為虛擬雲,報文根據雲調度算法上送到某個業務板完成業務處理。和盒式的L4~7層轉發一樣,VSM會保證報文的同源同宿,即保證同一會話的報文去同一塊業務板處理。
2.5.4 優先本框轉發原理
報文進入VSM成員設備後查找轉發表項,出口如果是聚合口,報文將按照負載分擔的算法來找物理端口,那麽報文就有可能總是要通過級聯通道轉發出去。為了減少設備間級聯通道的帶寬使用,VSM可以配置為優先本框轉發模式,即報文從哪個設備進入優先從哪個設備的物理口轉發出去,僅當本設備的物理端口down或者故障,才會從VSM組內其他成員轉發出去。
3 VSM 狀態備份
3.1 會話備份
VSM環境中,各個成員設備的會話要保持一致,如果有成員設備故障,原本由它處理的業務可以安全切換到其他成員設備上去。在成員設備會話新建和變動時,將會話實時備份給其他設備,確保當流量切換到其他設備時該設備已擁該會話,實現業務流量的無中斷切換。另外,其它與現場流量相關的信息,例如健康檢查的狀態信息、動態路由表等也需要同步到其它設備。
3.2 策略備份
在流量轉發路徑上對流量的去向起控製作用的策略表項,如流定義、包過濾和ACL等,需要在各成員設備上保持有相同的配置。各成員設備上除了有屬於本機的策略配置外,還保存着其它各成員設備上的配置,這樣,當進行主備切換後,新Master上的策略配置與原Master的配置一致,VSM組的流量策略不受主備切換的影響。
3.3 各種協議狀態備份
VSM組中,由Master管理各成員設備上的所有槽位、接口和資源,各數據鏈路層及上層協議狀態機也由Master維護。當Master和Slave間進行切換時,為了使新的Master能無縫接收各協議運行狀態,保持協議狀態機運行的連續性,Master會將協議狀態機實時的同步到各Slave上,確保一旦發生切換時,新的Master立即接管槽位、接口和在運行的協議計算。
4 VSM組網應用
如圖7和圖8所示,DPX板卡混插VSM組網和傳統網絡、安全和應用交付組網方式相比有以下幾個優勢:
■ 簡化組網
傳統組網實現雙機熱備功能需要使用VRRP冗余網關協議或者通過路由選路方式實現,VSM組網能夠對數據包進行負載分擔處理,因此無需VRRP等技術就能夠實現雙機協同工作並且簡化組網。
■ 彈性擴展
VSM組網能夠通過增加同類業務板卡彈性擴展性能,增加不同業務板卡擴展系統業務功能。
■ 提高防護能力
例如網絡中獨立的兩臺IPS由於流量的選路問題,可能會導致入侵檢測設備不能對一整條完整的流量進行檢測,使得帶有攻擊的網絡流量進入內部網絡。VSM組網環境下可以對完整的數據流量進行檢測防護,阻斷攻擊流量。
■ 簡化設備管理
傳統部署方案中,各個設備獨立管理,維護成本高。VSM組網方式下,所有機框和業務板卡提供統一管理IP和管理界面,所有配置和管理工作一站完成。