通信世界网消息（CWW）随着云计算的发展，云网融合、算网融合已经成为近一时期网络发展的主要议题，不论是数据中心内还是DCI广域网，网络虚拟化、网随云动都是业内关注的重要方向。业界对Overlay技术和方案的关注程度远超Underlay，但是永远不能忽略的是Underlay组网才是网络的根基，没有强大而稳定的Underlay网络，Overlay能力无从谈起。
本文围绕云计算数据中心Underlay组网，对其中最重要的核心交换机的高可靠技术要求与实现方案进行论述。
核心交换机设备高可靠技术要求核心交换机硬件可靠性要求核心交换机设备对硬件有以下要求：设备主控板卡1+1备份；交换矩阵板卡N+M备份（M≥1）；电源模块N+M备份（M≥1）；风扇框N+1备份；设备监控板卡1+1备份。
核心交换机设备应支持1:8以上的虚拟化能力。为提高设备的可靠性，同时增加通风散热能力，建议核心交换机采用全正交架构，即设备交换矩阵板卡和线路板卡正交互联。
堆叠和跨机箱链路捆绑核心交换机设备应支持堆叠和跨机箱链路捆绑。在业务或组网有特殊要求时，可以采用堆叠技术实现管理面和转发面均合一部署，以简化逻辑组网和设备管理。堆叠方式部署应支持控制、转发、检测三通道独立部署，其中控制通道应为专用接口。
MC-LAG跨机箱链路捆绑技术转发面合一，管理面独立。捆绑的两台核心交换机间管理控制面独立运行，互不影响，可靠性更高，尤其在设备版本升级时，可以分设备独立升级版本，避免设备版本加载重启时的业务中断。同时，相比堆叠，跨机箱链路捆绑核心交换机间同步信息少，CPU负载低，因此可靠性更高。
三层路由转发及快速收敛功能要求核心交换机应支持三层组网功能，以及OSPF、ISIS和BGP路由协议。在标准规模云计算数据中心组网中，推荐使用OSPF和ISIS路由协议组网，超大规模云计算数据中心可以采用EBGP路由协议组网。
同时，核心交换机要求设备支持基于BFD监测，以加快网络的收敛速度，同时应支持BFD的多Session部署。纯三层组网基于ECMP实现链路的负载均衡，其中ECMP应支持BFD监测，能实现100ms内的快速收敛。
核心交换机OSPF和ISIS路由协议应支持ISPF（Incremental SPF，增强SPF算法）和PRC（Partial Route Calculate，部分路由计算算法）等路由快速收敛技术，ISPF主要用于部分拓扑发生变化的情况，在这种情况下不需要重新计算整个网络拓扑，而只是将变化了的少量拓扑进行修正，从而大大节约拓扑计算时间。PRC直接利用ISPF计算出的最短路径树来计算路由，当有路由信息改变时，PRC直接判断出哪条路由发生了变化，之后直接基于现有ISPF的计算结果进行路由的选择与更新，从而大大节约路由计算时间。
核心交换机OSPF和ISIS路由协议，应支持基于BFD方式的快速收敛；应支持BFD叠加ISPF和PRC的快速收敛技术，BFD用于实现链路故障的快速感知，ISPF和PRC用于故障感知后的路由快速收敛计算。
在使用EBGP协议作为底层路由协议的场景下，为加快路由收敛速度，不建议采用Loopback地址来建立EBGP邻居，而是采用接口地址作为EBGP的邻居地址来配置部署EBGP协议。同时建议BGP协议支持接口状态的快速感知功能，在发现接口状态异常时，迅速发起BGP路由Update以触发收敛，建议支持BGP-PIC（Prefix Independent Convergence）功能。核心交换机要求支持BGP平滑退出，增强网络割接和设备升级时的可靠性和稳定性。
在采用EVPN作为转发控制面协议的场景下，所有硬件接入Leaf交换机和SDN-GW都要运行IBGP协议，为减少Leaf和SDN-GW上的BGP配置，建议选择核心交换机中的两台作为BGP-RR，因此核心交换机需要支持BGP-RR功能。
核心交换机设备高可靠部署与规划大规模云计算数据中心的三层到边缘组网部署云计算数据中心组网一般规模较大，推荐采用三层到边缘的Spine-Leaf架构组网部署。纯三层组网方式的核心交换机设备之间独立部署，不进行堆叠，不运行MC-LAG。核心与核心之间、接入与核心之间，均为三层接口互联，且运行动态路由协议（OSFP、ISIS或者EBGP）。在单一的链路或者设备故障时，基于路由协议的动态收敛来实现高可靠的冗余保护，没有类似堆叠技术的控制面主备切换过程，因此可靠性更高，稳定性也更好。
云计算数据中心纯三层组网的核心交换机部署如图1所示，接入和核心交换机之间三层互联，每台Leaf均与4台Spine全互联，多条链路间依靠ECMP实现负载均衡。单一链路或者单一核心设备故障，均不影响业务流量的转发。在极限情况下，3台核心交换机故障、只有一台核心交换机正常工作时，业务流量也能实现正常转发，相比传统的堆叠或者MC-LAG的核心部署方式，实现了更大的网络规模支持和更高层级的设备冗余可靠性。
图1 云计算数据中心纯三层组网核心交换机部署
在三层到边缘的组网方式中，核心交换机数量更多。不同于MC-LAG和堆叠对核心交换机只能为2台的数量限制，采用三层到边缘组网方式可以扩展到多台核心设备组网。比如在Leaf交换机为48万兆接入、6个40G上连的场景下，支持6个核心交换机的组网。
云计算数据中心三层到边缘的组网方式，路由协议的成熟度和标准化程度高，便于实现异厂家的Underlay混合组网。在纯三层组网时，使用VXLAN隧道技术实现跨越Leaf交换机的灵活Overlay二层通信。核心交换机只作为Underlay设备来实现底层转发，基于ECMP实现负载均衡，相比MC-LAG等部署方式，配置简单，可以灵活扩容。
小规模云计算数据中心的二层组网部署在云计算数据中心规模较小的场景下，核心交换机不超过两台，Underlay层面如仍需采用二层组网时，建议核心交换机优选MC-LAG方式组网。MC-LAG方式能提供更好的稳定性，实现不中断业务升级。接入交换机端口聚合上连两台核心交换机，实现链路的负载均衡。接入交换机和核心间二层接口互联，接入交换机工作在二层模式，二层终结在核心交换机。云计算数据中心二层组网部署如图2所示。
需要注意的是在较小规模的云计算数据中心场景下，核心交换机数量不超过两台，因此可以将SDN-GW和核心交换机合设。在SDN-GW和核心交换机合设场景下，核心交换机可以采用堆叠方式部署，堆叠的管理面合一有利于SDN控制器的统一管理。
图2 云计算数据中心二层组网部署
高可靠测试验证与倒换演练三层到边缘云计算数据中心核心交换机可靠性测试验证、倒换演练采用三层到边缘的Spine-Leaf架构云计算数据中心，核心交换机设备间相互独立部署。因此，在设备上线后的测试验证时，不用验证设备之间的主备切换等功能，直接验证链路中断、设备故障时的业务流量承载情况即可。
在设备安装网络工程施工完毕、核心交换机上线后，建议根据实际的业务需求和规划方案，检查设备部署模式和配置，检查设备状态和运行情况，并进行业务上线前高可靠性测试，测试步骤如下。
（1）检查核心交换机所有端口和链路状态，检验到所有接入交换机的联通性。
（2）查看各台核心交换机路由协议的配置和邻居状态，查看路由表。
（3）选取分布在机房不同机架且位置较远的接入交换机作为测试点。两台堆叠的接入交换机为一组，选取两组，分别标识为组1和组2。
（4）在接入交换机组1和组2下，分别部署测试服务器1和服务器2，进行业务流量的互访测试。
（5）拔出一台核心交换机的主引擎，查看服务器1和服务器2的互访流量的中断情况。恢复此台核心交换机的主引擎，查看互访流量的中断情况。针对每台核心交换机，逐一进行拔插主引擎测试，要求测试流量不能中断。以此确认核心交换机设备的引擎能实现正常主备切换。
（6）拔出一台核心交换机的一块电源模块，查看设备状态和服务器1、服务器2的互访流量的中断情况。恢复此台核心交换机的电源模块，查看互访流量的中断情况。针对每台核心交换机，逐一进行拔插电源模块测试，要求测试流量不能中断。以此确认核心交换机设备的电源模块能实现N+1备份。
（7）拔出一台核心交换机的一块风扇模块，查看设备状态和服务器1、服务器2的互访流量的中断情况。等待一小时，持续观察设备状态和互访流量中断情况。针对每台核心交换机，逐一进行拔插电源模块测试，要求测试流量不能中断。以此确认核心交换机设备的风扇模块能实现N+1备份，且在一个电源模块拔出后，在一小时内设备无温度过高告警，设备工作状态不发生异常。（为加快测试速度，此步骤可以将所有核心交换机均拔出一块风扇模块，然后等待一小时，观察设备状态和互访流量中断情况）
（8）接入到核心链路冗余测试。中断接入交换机组1到核心交换机的链路，逐条中断，在有M台核心的场景下，最多中断M-1条链路。观察服务器1和服务器2的互访流量中断情况，要求流量可个别丢包（正好中断当前流量承载的链路时）但能迅速恢复，或者不丢包。
（9）核心交换机设备冗余测试对核心交换机设备逐一断电，在有M台核心设备的场景下，最多中断M-1台设备的电源。观察服务器1和服务器2的互访流量中断情况，要求流量可个别丢包但能迅速恢复，或者不丢包。
MC-LAG或者堆叠部署的核心交换机可靠性测试验证、倒换演练核心交换机采用MC-LAG或者堆叠部署时，测试步骤如下。
（1）检查核心交换机所有端口和链路状态，检验到所有接入交换机的联通性。查看各台核心交换机的堆叠或者MC-LAG状态。
（2）选取分布在机房不同机架且位置较远的接入交换机作为测试点。两台堆叠的接入交换机为一组，选取两组，分别标识为组1和组2。
（3）在接入交换机组1和组2下，分别部署测试服务器1和服务器2。进行业务流量的互访测试。
（4）拔出一台核心交换机的主引擎，查看服务器1和服务器2的互访流量的中断情况。恢复此台核心交换机的主引擎，查看互访流量的中断情况。对另一台核心交换机，进行拔插主引擎测试，要求测试流量不能中断。以此确认核心交换机设备的引擎能实现正常主备切换。
（5）拔出一台核心交换机的一块电源模块，查看设备状态和服务器1、服务器2的互访流量的中断情况。恢复此台核心交换机的电源模块，查看互访流量的中断情况。对另一台核心交换机进行拔插电源模块测试，要求测试流量不能中断。以此确认核心交换机设备的电源模块能实现N+1备份。
（7）拔出一台核心交换机的一块风扇模块，查看设备状态和服务器1、服务器2的互访流量的中断情况。等待一小时，持续观察设备状态和互访流量中断情况。对另一台核心交换机进行拔插电源模块测试，要求测试流量不能中断。以此确认核心交换机设备的风扇模块能实现N+1备份，且在一个电源模块拔出后，在一小时内设备无温度过高告警，设备工作状态不发生异常。（为加快测试速度，此步骤可以将两台核心交换机均拔出一块风扇模块，然后等待一小时，观察设备状态和互访流量中断情况）
（8）中断接入交换机1到一台核心交换机的链路，观察服务器1和服务器2的互访流量中断情况。恢复此条链路，中断接入交换机1到另一台核心交换机的链路，观察服务器1和服务器2的互访流量中断情况，要求流量可个别丢包（正好中断当前流量承载的链路时）但能迅速恢复，或者不丢包。
（9）核心交换机设备冗余测试。
堆叠方式部署：将Master核心交换机断电，观察服务器1和服务器2的互访流量中断情况。以此确认原有Slave核心交换机单机工作时已变更为Master状态。将下电核心交换机重新上电，观察服务器1和服务器2的互访流量中断情况，要求流量可个别丢包但能迅速恢复，或者不丢包。对Slave交换机同样进行断电上电操作，观察服务器1和服务器2的互访流量中断情况，要求流量可个别丢包但能迅速恢复，或者不丢包。
MC-LAG方式部署：将一台核心交换机断电，观察服务器1和服务器2的互访流量中断情况。将下电核心交换机重新上电，观察服务器1和服务器2的互访流量中断情况。要求流量可个别丢包但能迅速恢复，或者不丢包。对另一台核心交换机同样进行断电上电操作，观察服务器1和服务器2的互访流量中断情况，要求流量可个别丢包但能迅速恢复，或者不丢包。
