云數(shù)據(jù)中心流量類型

云數(shù)據(jù)中心的流量可以簡(jiǎn)單分為以下幾個(gè)大類：

管理網(wǎng)絡(luò)（API網(wǎng)絡(luò)）：用于云數(shù)據(jù)中心內(nèi)部的管理流量，包括對(duì)內(nèi)部虛擬化組件之間的、SDN控制組件之間、消息隊(duì)列、以及各種HA的檢測(cè)信號(hào)等。管理流量一般不對(duì)外，并且需要連接云數(shù)據(jù)中心中的每一個(gè)服務(wù)器節(jié)點(diǎn)，并只在數(shù)據(jù)中心內(nèi)部傳輸。

租戶網(wǎng)絡(luò)：用于數(shù)據(jù)中心的各個(gè)租戶之間流量，提供云計(jì)算服務(wù)，保證用戶內(nèi)部vm之間能夠通信同時(shí)隔離不同用戶之間的流量是最基本的要求。租戶之間隔離的方式包括了vlan、vxlan、gre、stt、nvgre等等，后續(xù)我們?cè)僭敿?xì)介紹。

外聯(lián)網(wǎng)絡(luò)（外部網(wǎng)絡(luò)）：外部網(wǎng)絡(luò)的名稱是站在租戶角度進(jìn)行描述的，即租戶網(wǎng)絡(luò)只能用戶業(yè)務(wù)虛擬機(jī)之間的通信，與其余設(shè)備的通訊則都要通過(guò)外部網(wǎng)絡(luò)的轉(zhuǎn)發(fā)。除了路由以外，外部網(wǎng)路往往還兼具VPN、NAT、LB、FW等職能。此處往往需要將租戶網(wǎng)絡(luò)中為了隔離而修改過(guò)的數(shù)據(jù)包轉(zhuǎn)封包成常見(jiàn)的二層幀，以及與外界網(wǎng)絡(luò)的路由

存儲(chǔ)網(wǎng)絡(luò)：用于連接計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)，主要是為計(jì)算節(jié)點(diǎn)中的主機(jī)和虛擬機(jī)提供存儲(chǔ)服務(wù)。存儲(chǔ)網(wǎng)絡(luò)也不對(duì)外，盡在數(shù)據(jù)中心內(nèi)部傳輸。

NSX整體網(wǎng)絡(luò)結(jié)構(gòu)

我們先看一下NSX定義的整體網(wǎng)絡(luò)結(jié)構(gòu)：

在nsx的架構(gòu)中，左側(cè)區(qū)域?qū)��?yīng)的是計(jì)算節(jié)點(diǎn)集群，其上以運(yùn)行租戶的業(yè)務(wù)為主。包括用戶部署的各類的虛擬機(jī)、虛擬網(wǎng)絡(luò)、分布式網(wǎng)關(guān)、安全策略等等。是數(shù)據(jù)中心服務(wù)的核心。該區(qū)域的流量類型包括：租戶網(wǎng)絡(luò)、存儲(chǔ)網(wǎng)絡(luò)、管理網(wǎng)絡(luò)。（也意味著服務(wù)器至少需要三塊網(wǎng)卡）

中間區(qū)域?qū)��?yīng)是的基礎(chǔ)架構(gòu)集群，包括云計(jì)算數(shù)據(jù)中心的管理節(jié)點(diǎn)和IP SAN 共享存儲(chǔ)。管理節(jié)點(diǎn)包括： vCenter Server、NSX Manager、NSX Controller、CMP 。IP SAN共享存儲(chǔ)節(jié)點(diǎn)則主要是向計(jì)算節(jié)點(diǎn)集群中的主機(jī)或用戶的虛擬機(jī)提供基于IP網(wǎng)絡(luò)的iSCSI或者是NAS存儲(chǔ)。流量類型包括：存儲(chǔ)流量、管理流量。

右側(cè)的邊緣節(jié)點(diǎn)則用來(lái)為租戶網(wǎng)絡(luò)提供互聯(lián)網(wǎng)訪問(wèn)服務(wù)。因此需要連接租戶網(wǎng)絡(luò)和外部網(wǎng)絡(luò)，并為租戶提供路由、NAT、防火墻、公網(wǎng)IP等服務(wù)。其中以NSX的EDGE虛擬網(wǎng)關(guān)為主。也可以有硬件路由器、防火墻等設(shè)備。流量類型以：外部網(wǎng)絡(luò)、租戶網(wǎng)絡(luò)、管理網(wǎng)絡(luò)為主。

管理網(wǎng)絡(luò)（API網(wǎng)絡(luò)）

管理網(wǎng)絡(luò)需要連接云環(huán)境中的每一個(gè)節(jié)點(diǎn)，上面?zhèn)鬏數(shù)臄?shù)據(jù)包括虛擬化中心vcenter對(duì)host的管理流量、HA心跳、SDN控制器（nsx controller、nsmanager）、云管理平臺(tái)API、云監(jiān)控運(yùn)營(yíng)平臺(tái)等多種云計(jì)算數(shù)據(jù)中心管理運(yùn)營(yíng)組件的管理流量，屬于數(shù)據(jù)中心的神經(jīng)網(wǎng)絡(luò)。

在vmware的設(shè)計(jì)中，管理控制的節(jié)點(diǎn)部署在一個(gè)物理主機(jī)集群，集群開(kāi)啟HA、DRS等服務(wù)，保障數(shù)據(jù)中心整個(gè)控制平面的可靠和穩(wěn)定。此外IP共享存儲(chǔ)也被放置在該區(qū)域中。

vmware特意將vmotion的流量也單獨(dú)列出來(lái)成為一類流量。除此之外共享存儲(chǔ)也需要單獨(dú)進(jìn)行傳輸。管理節(jié)點(diǎn)上存儲(chǔ)、vmotion、租戶網(wǎng)絡(luò)、管理網(wǎng)絡(luò)、外部網(wǎng)絡(luò)，一般通過(guò)物理交換機(jī)上的VLAN進(jìn)行隔離的，并連接物理服務(wù)器上的不同物理網(wǎng)卡。管理網(wǎng)絡(luò)對(duì)于帶寬的要求并不高，千兆、萬(wàn)兆都可以。但是管理網(wǎng)絡(luò)的IP共享存儲(chǔ)對(duì)帶寬的要求較高，至少需要部署萬(wàn)兆的網(wǎng)絡(luò)。

總結(jié)：

管理網(wǎng)絡(luò)連接數(shù)據(jù)中心所有的節(jié)點(diǎn)，主要用于對(duì)底層資源的控制，和API調(diào)用，對(duì)網(wǎng)絡(luò)的要求不高。一般通過(guò)服務(wù)器的管理網(wǎng)卡 1 x 1 GbE 或者1 x 10 GbE 交換機(jī)網(wǎng)絡(luò)互聯(lián)，一般采用單獨(dú)的接入交換機(jī)。

對(duì)于vmware的環(huán)境來(lái)說(shuō)，vmotion的流量可以走單獨(dú)的網(wǎng)卡和也可以和萬(wàn)兆管理網(wǎng)絡(luò)互聯(lián)

租戶網(wǎng)絡(luò)

租戶網(wǎng)絡(luò)對(duì)應(yīng)的是云數(shù)據(jù)中心的租戶之間的虛擬機(jī)用來(lái)通信的網(wǎng)絡(luò)。一般連接所有提供計(jì)算服務(wù)的計(jì)算節(jié)點(diǎn)。租戶網(wǎng)絡(luò)的數(shù)據(jù)都被封裝到指定的VLAN中，在外部看來(lái)就是VLAN內(nèi)主機(jī)之間的通信，內(nèi)部流量不可見(jiàn)。

租戶網(wǎng)絡(luò)涉及到NSX、openstack neutron 這類解決方案中一個(gè)核心的理念，那就是二層的overlay。

嚴(yán)格來(lái)說(shuō)二層的overlay技術(shù)并不算sdn技術(shù)中的一部分。在數(shù)據(jù)中心的環(huán)境中，為了保障數(shù)據(jù)的安全，需要在網(wǎng)絡(luò)層面上隔離各個(gè)租住的虛擬主機(jī)，根據(jù)業(yè)務(wù)的特點(diǎn)，一個(gè)租戶可能使用到多個(gè)vlan，例如一個(gè)典型的三層架構(gòu)的應(yīng)用中，界面、中間件、數(shù)據(jù)庫(kù)分屬于不同vlan，并通過(guò)安全策略控制之間的訪問(wèn)。這種情況下一個(gè)租戶就占用了3個(gè)vlan，而vlan的總數(shù)才4096個(gè)，還要扣除各個(gè)設(shè)備廠家的保留vlan和用作管理的vlan等。這樣一個(gè)數(shù)據(jù)中心能夠承載的用戶數(shù)就被極大的限制住了。

云數(shù)據(jù)中心用戶的虛擬網(wǎng)絡(luò)通過(guò)不同的VNI號(hào)(Vxlan Network identifier）來(lái)區(qū)分，24bit的VNI包含2^24 = 16 777 216個(gè)網(wǎng)段，按照一個(gè)用戶創(chuàng)建10個(gè)私有的網(wǎng)段來(lái)計(jì)算，一個(gè)機(jī)房可以滿足上百萬(wàn)用戶的使用需求。實(shí)際上即使是國(guó)內(nèi)的阿里云的總的用戶數(shù)加起來(lái)也才幾十萬(wàn)。這還是由分布在全國(guó)和海外的多個(gè)機(jī)房共同承當(dāng)。所以通過(guò)二層的overlay技術(shù)，租戶網(wǎng)絡(luò)僅需設(shè)計(jì)少量vlan即可滿足海量用戶的使用要求。甚至可以將所有租戶的流量全部封裝在一個(gè)vlan內(nèi)，但是過(guò)多的廣播包會(huì)影響網(wǎng)絡(luò)的性能，vmware有針對(duì)廣播、多播流量的解決方案。詳細(xì)情況放到下一節(jié)。

因?yàn)閱蝹�(gè)主機(jī)上承載的虛擬機(jī)數(shù)量較多，為了保障虛擬設(shè)備之間有足夠的帶寬，租戶網(wǎng)絡(luò)至少應(yīng)該采用萬(wàn)兆的網(wǎng)絡(luò)，且因?yàn)槎�層�?shù)據(jù)層有額外的封裝開(kāi)銷，所有需要將租戶網(wǎng)絡(luò)MTU設(shè)置成1600.

總結(jié)：

租戶網(wǎng)絡(luò)連接計(jì)算節(jié)點(diǎn)和云數(shù)據(jù)中心的出口區(qū)域，其上是通過(guò)overlay技術(shù)標(biāo)記的租戶的虛機(jī)之間的數(shù)據(jù)。租戶網(wǎng)絡(luò)一般會(huì)規(guī)劃多個(gè)vlan來(lái)減輕廣播流量的影響。物理機(jī)主機(jī)上虛擬機(jī)數(shù)量比較多，要保證比較良好的網(wǎng)絡(luò)質(zhì)量，則服務(wù)器的租戶一般網(wǎng)卡通過(guò)1 x 10 GbE 或者1 x 40 GbE交換機(jī)網(wǎng)絡(luò)互聯(lián)。

外聯(lián)網(wǎng)絡(luò)

外聯(lián)網(wǎng)絡(luò)是相對(duì)用戶來(lái)說(shuō)，用戶虛擬機(jī)之間的流量完全可以通過(guò)用戶網(wǎng)絡(luò)完成傳輸，但與外界（通常是是互聯(lián)網(wǎng)，也包括數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)）通信，則需要解除原本overlay的封裝，并映射公網(wǎng)IP。除此之外還包括一起其他網(wǎng)絡(luò)服務(wù)，如：NAT、VPN、防火墻、LB等。

所以外聯(lián)網(wǎng)絡(luò)內(nèi)的流量包括：用戶網(wǎng)絡(luò)流量、管理流量、外網(wǎng)流量。

Vmware Edge 機(jī)架中主要運(yùn)行的是NSX的edge設(shè)備。edge設(shè)備一邊連接租戶網(wǎng)絡(luò)的分布式路由一邊連接外網(wǎng)（WAN）。它代表是傳統(tǒng)數(shù)據(jù)中心的南北向的流量，在網(wǎng)絡(luò)的邊緣提供NAT、VPN、LB、FW等服務(wù)。edge組件本身是一臺(tái)虛擬設(shè)備，通過(guò)vmware nsx的管理頁(yè)面來(lái)統(tǒng)一管理，但是控制層面和轉(zhuǎn)發(fā)層面還是集中在設(shè)備上。它的實(shí)現(xiàn)方式更像NFV。

總結(jié)：

NSX采用軟件路由器連接租戶網(wǎng)絡(luò)和外部網(wǎng)絡(luò)。每個(gè)租戶都能創(chuàng)建自己專屬的軟件路由器，并自定義出口的策略。外部網(wǎng)絡(luò)一般通過(guò)1 x 10 GbE 或者1 x 40 GbE交換機(jī)網(wǎng)絡(luò)互聯(lián)。外部網(wǎng)絡(luò)北向一般是數(shù)據(jù)中心的傳統(tǒng)交換機(jī)和路由器。

存儲(chǔ)網(wǎng)絡(luò)

存儲(chǔ)網(wǎng)絡(luò)主要是用于連接存儲(chǔ)節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)。在云計(jì)算數(shù)據(jù)中心中，存儲(chǔ)以分布式的存儲(chǔ)為主。

VMware推薦直接在計(jì)算節(jié)點(diǎn)使用VSAN來(lái)直接為租戶業(yè)務(wù)提供持續(xù)化存儲(chǔ)，也就是說(shuō)計(jì)算節(jié)點(diǎn)也同時(shí)作為存儲(chǔ)節(jié)點(diǎn)來(lái)使用。那就意味著存儲(chǔ)網(wǎng)絡(luò)是計(jì)算節(jié)點(diǎn)服務(wù)器之間互聯(lián)的網(wǎng)絡(luò)，VSAN的最佳實(shí)踐，推薦主機(jī)采用相同或者類似的磁盤配置。并使用單獨(dú)的網(wǎng)卡用作主機(jī)之間的存儲(chǔ)流量。

VSAN支持通過(guò)千兆網(wǎng)絡(luò)部署，前提是該網(wǎng)卡僅傳輸VSAN流量，但是實(shí)際使用中極度不推薦。且純SSD架構(gòu)中，不支持使用千兆網(wǎng)絡(luò)。VSAN是以物理主機(jī)集群為單位組建的，每個(gè)集群有且僅有一個(gè)vsan存儲(chǔ)集群。且所有需要使用到該存儲(chǔ)的主機(jī)，必須都處于同一個(gè)集群內(nèi)。即便該主機(jī)不提供vsan磁盤組。

所以存儲(chǔ)網(wǎng)絡(luò)至少應(yīng)該使用使用萬(wàn)兆交換機(jī)，服務(wù)器通過(guò)單個(gè)萬(wàn)兆網(wǎng)卡互聯(lián)（VSAN暫不支持網(wǎng)卡聚合），組建VSAN內(nèi)部網(wǎng)絡(luò)。同時(shí)VSAN需要通過(guò)組播來(lái)獲取集群變化信息，所以組播也必須支持。

配置重點(diǎn)

存儲(chǔ)網(wǎng)絡(luò)以集群為單位，連接集群內(nèi)的所有物理主機(jī)，存儲(chǔ)網(wǎng)絡(luò)至少需要1 x 10 GbE 或者1 x 40 GbE交換機(jī)網(wǎng)絡(luò)，并且需要組播支持。

openstack整體網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)上流傳的各種opnstack的架構(gòu)圖都是組件模塊之間的架構(gòu)圖，基本上會(huì)讓剛開(kāi)始了解openstack的人看得一頭霧水。Mastering openstack書(shū)中有一張物理拓?fù)�，架�?gòu)非常清晰，如下：

（Mastering Openstack）

通過(guò)這個(gè)架構(gòu)圖很容易發(fā)現(xiàn)，其實(shí)兩者openstack的物理網(wǎng)絡(luò)架構(gòu)和vmware NS的架構(gòu)非常的類似。同樣將流量分為管理網(wǎng)絡(luò)、外部網(wǎng)絡(luò)、存儲(chǔ)網(wǎng)絡(luò)、租戶網(wǎng)絡(luò)。（同中將租戶網(wǎng)絡(luò)和存儲(chǔ)網(wǎng)絡(luò)都用紅色表示，但實(shí)際上是兩張網(wǎng)的）。但是細(xì)細(xì)探究會(huì)發(fā)現(xiàn)兩者還是有較大的差異。

管理網(wǎng)絡(luò)：（上圖中藍(lán)線）

openstack的管理網(wǎng)絡(luò)流量，同樣需要連接所有的主機(jī)，其上傳輸?shù)牧髁堪�括：horizon、nova、cinder、keystone、glance、neutron等組件的管理服務(wù)。并通過(guò)管理網(wǎng)絡(luò)與計(jì)算節(jié)點(diǎn)、網(wǎng)絡(luò)節(jié)點(diǎn)上的agent、client通信。

值得一提的是，與vmware不同的是，openstack沒(méi)有將虛擬機(jī)遷移（vmotion）的流量單獨(dú)出來(lái)，而是直接走的管理網(wǎng)絡(luò)。所以此處會(huì)比vmware官方建議的少一類網(wǎng)絡(luò)，計(jì)算節(jié)點(diǎn)上也會(huì)少一塊網(wǎng)卡。

所以管理網(wǎng)絡(luò)的帶寬也會(huì)建議上到萬(wàn)兆。

外部網(wǎng)絡(luò)：（上圖中黑線）

同樣是用來(lái)為租戶的私有網(wǎng)絡(luò)和我們常用的互聯(lián)網(wǎng)。其上主要運(yùn)行的是neutron的各種插件，包括L2 agent、L3 agent、DHCP agent、VPN agent、FW agent，以及配套各種軟件（或者linux的network namespace網(wǎng)絡(luò)命名空間，負(fù)責(zé)具體實(shí)現(xiàn)路由、防火墻、VPN等功能）。為租戶提供各種諸如NAT、router之類的出口服務(wù)。

存儲(chǔ)網(wǎng)絡(luò)：（圖中紅線）

與VSAN計(jì)算和存儲(chǔ)節(jié)點(diǎn)融合在一起有所不同，openstack架構(gòu)中，普遍采用單獨(dú)的存儲(chǔ)服務(wù)器集群向計(jì)算節(jié)點(diǎn)服務(wù)器提供存儲(chǔ)服務(wù)，且支持塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)多種類型。

在網(wǎng)絡(luò)設(shè)計(jì)上也會(huì)有較大的差異，存儲(chǔ)服務(wù)器集群內(nèi)部需要通過(guò)高性能網(wǎng)絡(luò)連接。同時(shí)存儲(chǔ)服務(wù)器與計(jì)算節(jié)點(diǎn)服務(wù)器之間也要通過(guò)高帶寬網(wǎng)絡(luò)連接。

實(shí)際上，vmware vsan 同樣允許計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)處于不同的物理服務(wù)器上，但是要求使用vsan存儲(chǔ)的主機(jī)和提供vsan存儲(chǔ)的主機(jī)處于同一個(gè)集群。但是vsan集群中對(duì)于主機(jī)數(shù)有限制（6.0版本中已經(jīng)升級(jí)到64臺(tái)），每個(gè)集群只能有一個(gè)VSAN，且集群中所有的主機(jī)都會(huì)消耗vsan的license數(shù)量。所以在這種特殊的收費(fèi)方式下，vsan的實(shí)際部署都是采用融合方式也就是存儲(chǔ)節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)結(jié)合在一起。

租戶網(wǎng)絡(luò)：（圖中紅線）

neutron的租戶網(wǎng)絡(luò)結(jié)構(gòu)與vmware的類似，同樣通過(guò)二層的overlay技術(shù)來(lái)對(duì)租戶的流量進(jìn)行標(biāo)記，實(shí)現(xiàn)隔離。但是相比vmware必須采用自家的vDS或有限的幾家合作伙伴（cisco、ibm、brocade）以外。Openstack neutron支持的二層設(shè)備包括一大票的開(kāi)源虛擬交換機(jī)和商用虛擬交換機(jī)的插件，并且不同的二層設(shè)備支持的協(xié)議和功能的實(shí)現(xiàn)都有不同。

Open vSwitch Plugin最開(kāi)始nicira主導(dǎo)的開(kāi)源標(biāo)準(zhǔn)openflow交換機(jī)

Cisco UCS/Nexus Plugin

Cisco Nexus1000v Plugin較早商用的虛擬交換機(jī)，支持包括openstack、vmware在內(nèi)的多個(gè)平臺(tái)

Linux Bridge Plugin            老牌linux 網(wǎng)橋技術(shù)，很早就已經(jīng)集成到linux內(nèi)核

Modular Layer 2 Plugin

Nicira Network Virtualization Platform (NVP) Plugin          也就是NSX的插件

除此之外還有Big switch 、brocade、IBM、MidoNet等等非常多的二層插件。不用的插件在二層租戶網(wǎng)絡(luò)的實(shí)現(xiàn)上都有非常大的差異。而且也大量使用著各種私有協(xié)議。早期openstack版本中，因?yàn)椴煌�的插件控制器不同，而控制器只能使用一種。導(dǎo)致網(wǎng)絡(luò)使用的二層agent也必須為同一種。這一問(wèn)題在后來(lái)版本中加入ML2層后得到了很好的解決。ML2屏蔽了不同插件的不同，而統(tǒng)一對(duì)外提供neutron網(wǎng)絡(luò)功能的API，兼容不同的二層實(shí)現(xiàn)方式只需將不同廠家的插件加入到ML2中。ML2中間層能夠很好地在一個(gè)網(wǎng)絡(luò)中兼容多種二層的插件。

所以，neutron server成了SDN的控制器，通過(guò)openflow、OVS DB的協(xié)議兼容了多種二層軟硬件設(shè)備。

后面的中心也會(huì)放在Open vSwitch和Linux Bridge上。

最后，這僅僅是openstack和nsx的標(biāo)準(zhǔn)范例，實(shí)際上不同的環(huán)境下，所采用的技術(shù)有非常大的差異，比如專用的高安全性的機(jī)房、物理的overlay實(shí)現(xiàn)等。不過(guò)總的來(lái)說(shuō)，流量的類型還是逃不出這幾大類。