通信世界网消息(CWW) 目前，运营商IP城域网的网络结构分为核心层、业务控制层和接入层。核心层负责高速转发城域网各类流量；业务控制层分为二平面、多边缘、综合承载三类，设备形态有BRAS、SR、MSE等；城域网整体上联到ChinaNet和CN2。
尽管近几年浙江电信通过汇接路由器成组、BRAS双挂汇接路由器组、BRAS两两成组、汇聚交换机双挂BRAS等方式提升网络健壮性，通过汇聚交换机拆分及汇聚交换机直挂BRAS和SR等方式推进二层网络扁平化，但随着业务综合化承载、高带宽业务规模开放，现网架构层面还存在一些影响业务承载的问题，面临着调整的压力。
目前，瓶颈出现在控制平面整机利用率低，主要体现于BRAS设备。BRAS设备根据地域进行分散部署，BRAS部署场景有接入单边缘、接入双边缘、BRAS侧挂和BRAS双臂侧挂四种，而且设备运行和维护往往独立进行，因此存在网络可靠性差、设备资源利用率低且不均衡、运维成本高和网络建设成本高等一系列问题。
同时，现网中网络设备数量庞大且不断增加，流量也在迅速增长，但收入增长却明显滞后，业务成本与收益之间的“剪刀差”日益成为运营商关注的焦点之一。
网络架构不堪多业务重负
1. 三网融合背景下，IPTV业务的长时间连接、高带宽占用特性以及对丢包、时延、业务中断的高敏感性，都对网络承载提出了更高的要求；
2. 整体网络并没有实现控制和转发的分离，特别在业务控制层基本还是控制与转发融合的设备，城域网目前的架构虽然存在AAA、DHCP、DNS、综合网管、ITMS等单纯的控制设备，但却存在着控制能力单一、实现接口特殊，没有面向业务的北向接口等问题，无法满足城域网业务端到端控制能力的需要；
3. 部分BRAS设备存在业务负荷较重的问题，主要表现在IP业务发展所具有的不均衡及突发特性，使城域网内某些节点BRAS负荷过大，板卡及设备故障偏高，导致用户对宽带投诉增多、满意度下降；
4. 部分BRAS设备存在控制资源和转发资源不匹配的问题，业务控制层的BRAS设备是典型的控制和转发融合的设备，较交换机及核心路由器相比，其存在更多的控制元素，但此类设备的控制资源和转发能力基本都是设备商出厂设置，不能灵活地进行增减，由于设备的转发能力在近几年得到较大提升，在没有现网流量模型验证的情况下，厂家定制的设备经常会出现控制能力和转发能力不匹配的问题，有时候控制资源到极限了，可转发性能还未发挥至50%。
5. 交换机级联数量较多，此种架构已不能适应业务发展，需要基于本地光纤资源的情况考虑二层进一步扁平化。
网络设备亟待彻底革新
在设备自身方面，随着各类新业务在IP城域网的综合承载，网络运行中出现了部分设备特性不完善、不成熟而影响网络和业务实现的问题，如BRAS下行10GE对于并发用户支持、QoS policy等还存在一些缺陷、BRAS之间热切换、汇聚交换机链路快速切换、VRRP实现网关级保护等，解决这些问题只有通过更换设备来实现。
在设备对业务支持能力方面，由于网络设备是一个封闭系统的形态，无法感知应用层的需求变化，导致目前的网络设备尤其是业务控制层设备对业务的实现极不灵活，一个业务的实现少则需要全网的配置修改、网络部署的调整，多则需要网络设备的版本升级甚至硬件的更换，所以一个新业务的部署至少需要半年甚至更长的时间；目前的硬件形态只能适应前几年运营商业务形态单一，粗放型、长生命周期业务产品的承载需求，不能满足互联网化的需求，不能满足业务形态多样，短生命周期业务产品的需求；随着运营商互联网化进程的深入，这个矛盾必将越发尖锐。
在对业务保护层面，随着业务综合化承载、高带宽业务规模开放，各类业务对网络的业务保护能力（如QoS、链路快速切换、板卡级及设备级热备等）都提出了更多、更高的要求。现网各层面业务保护受限于设备特性、技术成熟度、投资收益等方面，存在下列问题。
1. 核心路由层：目前城域网核心路由层主要通过路由快速收敛来实现业务保护，但限于运行路由协议的业务控制点设备放置层面较高，保护范围相对有限。
2. 业务控制层：首先SR之间受限于性能等方面并未启用VRRP，发生故障时还是需要手工切换至另一台设备；其次BRAS之间受限于设备热切换实现支持程度等，目前还是通过VLAN固定配置模式配合手工切换的方式来实现业务保护。
3. 二层汇聚层：目前通过链路聚合和链路快速侦测及切换技术对AG 等关键业务进行保护，对于PPPOE等公众业务不进行保护；二层汇聚平面（尤其是一级汇聚交换机以下）还存在交换机级联，级联一般采用单链路，存在一定的故障隐患。
小结城域网现阶段问题
业务控制层瓶颈：现网SR/BAS设备控制资源（并发连接数，CPU利用率，QoS策略及队列数等）存在瓶颈，而转发能力却还有很大余量（10G线速接口能力只用到4G）。
网络延续成本巨大：现有SR/BAS设备为软硬件一体的封闭系统，设备能力的提升一般通过硬件的更新换代实现，扩展性的提升需要通过大量投资进行交换，未能做到物尽其用。
运维复杂：每台设备独立配置和控制，无集中统一控制平面。
现有网络设备形态对业务产品支持能力有限：无法支撑有创意和短周期的业务产品；业务产品的实现需要网络设备的长周期调整，甚至需要硬件的更替。
城域网SDN化改造思考
改造总体思路
在核心层，城域网RR反射器进行虚拟化及SDN改造，增强RR对整体路由信息的控制能力和流量智能调度能力，可解决城域网核心路由器层的流量优化问题。
在业务控制层，引入NFV技术，实现SR/BRAS设备的软件化和虚拟化，并实施POP点的收缩归并，达到一个城域网2~4个DC中心的目标架构，实现业务控制层软硬件解耦；在目标架构基础上引入SDN技术，实现控制和转发分离，强化控制能力，提升转发效率，解决AAA等控制瓶颈问题以及流量经营、业务产品快速支撑、流量收入剪刀差等问题，增强网络对业务应用层的感知能力。其中，作为业务控制层改造关键，应关注如下问题。
1. 利用原有的SR/BRAS设备，通过网络部署的调整，实现设备集中化、虚拟化和池化，最大程度保护投资；
2. 引入x86架构体系，在公共硬件基础上部署vBAS等产品；
3. 利用NFV虚拟层的能力统筹调度SR/BRAS池和X86设备池；
4. 新建SDN控制器和业务编排器，实现网络设备的端到端控制和业务灵活编排引入。
在宽带接入网层，引入VxLAN技术，以现有虚拟交换机为边界，构建QinQ域和VxLAN域，实现二层资源的极大扩展，用户位置信息从原来的三层域+QinQ转变为VxLAN+QinQ，实现城域大二层架构，彻底解决目前城域网二层资源告罄的问题，为业务控制层高度收缩的前提。
改造目标架构
1. 在城域网构建2~4个DC机房，每个机房配置两台虚拟化交换机，虚拟交换机构建N*100G虚拟环，并采用100G接口上联CR；
2. 采用传统BRAS池或x86形态vBAS取代物理BAS方式，传统BRAS集群或x86服务器分布在两个DC里，双机房双活负载分担；
3. 汇聚层虚拟交换机按原POP点就近上联DC；
4. 目标架构虚拟层能够对传统BRAS池和x86设备池进行统筹调度 (具体如图1所示) 。
城域网具体改造流程
vBRAS技术（目标架构如图2所示）
硬件层：整合BRAS/SR设备池和x86服务器群，在保护既有投资基础上，逐步向x86公共硬件架构演进。
虚拟层：统筹调度硬件层资源，为VBAS提供操作系统平台。
应用层：实例化vBRAS，实现软硬件解耦。
vBRAS的动态资源扩展及SDN资源整合如图3所示。
城域网用户拨号到负载均衡设备，由负载均衡设备把用户拨号请求均分到vBRAS集群。vBRAS动态扩展技术根据负载情况动态扩展资源，创建或回收vBRAS。
vBRAS资源的动态扩展能力较原来传统BRAS软硬件一体的方式，能够最大限度地提升硬件资源的利用效率，降低单位流量的投入成本，抑制流量收入“剪刀差”效应。
在vBRAS基础上提取控制信息，并和传统的控制平台进行整合，形成SDN控制单元，主要负责AAA、DNS、IPPool、用户速率流量控制等传统控制功能以及新业务新产品管理功能等，形成网络对用户需求、用户应用的感知能力。SDN控制平台+vBRAS平台，形成对新产品的快速响应，网络资源的快速部署，进一步抑制流量收入“剪刀差”效应。
VxLAN技术
针对城域网QinQ的局限性进行分析，VLANID在报文中占12bit，第一个不足就是它最多只支持4096个VLAN（当然还要除去几个预留的），对于大型数据中心来说，这个数量是远远不够的；第二个不足就是VLAN的Tunnel基于L2，所以很难跨越L2的边界，在很大程度上限制了网络的灵活性；多业务承载网也出现使用VLAN构建不同业务虚拟网的技术趋势。同时VLAN操作需手工介入较多，这对于管理成千上万台机器的管理员来说难以接受。受限于VLAN资源，不断地分域使得设备利用率进一步降低，维护配置复杂。
现有城域网采用QinQ技术解决4kVLAN资源不足的问题，分为外层CVLAN和内层PVLAN，但是CVLAN可用的数量仍然有限。目前是按照POP局点划分不同的域进行隔离，部分大的POP局点甚至需要划分多个域，管理和配置的难度大。
更关键的问题是，这么多独立的VLAN域无法把城域网控制层BRAS资源进行跨多个POP局点，甚至整个城域范围内的整合，无法资源池化。Overlay VxLAN技术在城域网的应用如图4所示。Overlay VxLAN技术具备16M的Tenant ID，采用L2overUDP技术实现二层网络的大规模扩展，所有用户可直接使用Tenant ID作为自己的惟一标识。
在与现网QinQ及普通VLAN兼容方面，现网QinQ可把POP虚拟交换机作为VxLAN隧道的起点，直接把QinQ报文封装后上传vBRAS集群。三层域+QinQ模式转变为VxLAN+QinQ模式，降低运维难度，提升网络的灵活性和集约度。
技术对比分析
vBRAS与BRAS的对比分析见表1。SDN/NFV化城域网和传统城域网对比分析见表2。
传统BRAS与vBRAS基于现网对比分析，见表3。
三年规划投资对比 vBRAS新建及扩容3年累计统计比传统城域网BRAS层面累计投资节约2817万元。每vBRAS宽带性能按照10Gbit/s计算，实际vBRAS需求数量按照宽带用户性能要求测算，因为视频大包对性能消耗不大。每vBRAS成本按照10万总体成本计算。
城域网SDN化总结 电信业城域网IT化，是利用NFV和云计算方式构建的统一硬件资源平台，利用SDN和网络虚拟化构建统一的网络资源平台，并且从少量特种应用领域逐步转向用于关键网元领域；网络设备硬件统一标准化采购，另外采购软件及其必要的服务，用户自己掌握SDN控制器和灵活定制的业务逻辑。
网络流量和联网设备多样化，存储边缘化和云端化 l 未来新业务的不断涌现（大数据、云计算、移动即时消息、移动视频、物联网、网上购物等）将对网络性能提出更高的要求，网络数据流量时间、特征等网络特性差异大，网络承载效率进一步降低；
云计算、物联网等新业务要求网络能够快速灵活部署、弹性可伸缩；
M2M（海量连接、低流量）挑战流量经营模式；
数据存储将向网络边缘（家庭智能路由器，改变流量时间模型）和云端（云存储、数据同步和云内分享，改变网络流量流向）；
网络虚拟化技术使得硬件抽象化，网络具备弹性、可扩展性、自动化特征；
网络管理自动化，自动管理互联网的技术将更注重，如网络故障自动诊断、网络事件自动跟踪。
ICT发展趋势带动网络设备IT化、软件化和开放化 1. 网络设备硬件标准化/虚拟化带动网络设备通用化
（1） 虚拟化技术的成熟和规模化应用，服务器CPU性能进一步提升，I/O技术提升（VT-d、DDIO、DPDK、SR-IOV等）带动网络功能虚拟化承载的发展；同时网络虚拟化技术使得硬件抽象化，网络具备弹性、可扩展性、自动化特征。
（2） 网络设备控制与转发分离，转发功能可采用通用化硬件承载。
2. 网络控制和承载解耦带来网络架构的变革
（1） 网络硬件设备控制和转发分离，控制逻辑集中、可通过软件实现；
（2） 网络通过标准接口（OpenFlow/I2RS)可统一；
（3） 网络互联网化（北向REST API）可开放；
（4） 网络通过模板可自动化部署，大大提高了业务的快速部署应用。
3. 大数据发展带动网络的智能化实现
（1） DPI NFV化可灵活部署，网络数据收集可集中，借助大数据技术实现更加的智能化。
4. 开源技术带动网络产业的更加开放
（1） OpenDayLight开源社区
（2） OpenStack、Hadoop/Spark
城域网SDN化带来的挑战 在通用硬件上实现电信级性能，融合NFV、云、网络虚拟化、SDN等技术、建立统一管理、灵活、稳定、可扩展的构架。
封闭复杂、成本高、灵活性低
适应性差：设备众多、协议复杂多样、厂商设备实现封闭，升级周期长，缺乏业务适应性、灵活性和弹性；
演进性差：网络分层分区、各自演进、割裂发展，网络重构、规划扩容难度非常大；
智能性差：无全局视图，难全局智能控制，难适应流量变化，难以有效提升网络效率；
成本高：网络设备昂贵，建设、运维管理成本高，资源利用率低、不均衡。
新技术、新协议、新业务引入困难
为了解决各类新出现的需求，出现各种Overlay解决方案；为了引入新技术，现网不仅需要高难度的网络升级，而且还要建设多张网络，投资加倍，运维管理成本剧增；新技术和新协议引入网络中往往面临全网设备更新或升级，周期长，成本高；新业务因端到端的支持不足而难以开展。
SDN技术何时成熟
集中控制的算法：大规模网络节点的集中控制算法、拓扑信息和资源状态采集方法；如何优化SDN控制器与现有控制系统间的协同。
混合网络演进：分区域、分步骤引入时，与传统的网络设备、网络管理系统之间的协同问题；在混合网络中，与传统的物理网络并存或互通的需求如何解决。
组网性能：如何选择适合的虚拟技术、软件技术提高SDN控制器的运算效率和处理能力；如何优化转发面的统一硬件系统，在支持NFV虚拟化的同时提升能力开放的灵活性，也不降低转发性能。
SDN标准化何时完成
SDN的标准化尚在进行中，开源系统目前成为推动技术成熟的主要方式，需基于开源系统考虑中国电信构建自有知识产权的控制器系统和标准的能力开放接口。
SDN转发设备将逐步成为简单的流转发设备，网络智能和业务支持能力都体现在SDN控制器中，目前主流设备厂家、互联网企业都在研发自己的控制器，运营商必须在此领域占据主导权，否则不仅失去与应用合作的能力，也会失去对网络技术的主导力
SDN何时大规模部署
在SDN技术发展和完善到一定程度后，可首先部署在大型云数据中心内部网络和城域网边缘节点中。
从产业链角度，数据中心是IT和CT的交集，可作为SDN技术应用突破点；
在城域网可按需点状引入SDN/NFV，如城域边缘业务智能；
从技术适用性看，可在接入、无线等规模引入SDN；
SDN在未来的网络发展中对全网的总体影响有待观察。
总之，SDN作为一种新兴的潜在技术和网络架构，在未来的网络发展中到底能产生多大的影响，我们将拭目以待。
谢磊
CCIE，毕业于南京邮电大学，现就职于浙江电信网络发展部，从事浙江电信数据通信网络的规划建设工作，曾经承担杭州电信IP城域网的建设维护工作、浙江电信IP城域网及下一代互联网的建设工作，目前主要从事浙江电信IP城域网规划建设及城域网NFV化的研究。
赵晖
高级工程师，毕业于南京邮电大学，现就职于浙江电信网络运营部，从事浙江电信数据网络的运行维护及管理工作，目前从事浙江电信固定宽带互联网、移动互联网、IP承载网络的运行维护管理工作。
丁江峰
JNCIE，CCIE，毕业于浙江大学计算机系，现就职于浙江电信省NOC，从事浙江电信数据网络维护工作。曾经承担杭州电信数据网络维护工作，目前主要从事浙江电信IP城域网、移动承载网维护和网络优化工作以及城域网NFV化的研究。
俞伟
毕业于浙江大学信电系，现就职于杭州电信规划建设部，负责杭州电信IP数据城域网的规划和建设工作，曾经从事9年的杭州电信IP城域网网络设备运行维护和IP业务客户支撑工作，目前主要从事于杭州电信的IP城域网规划建设及城域网下一代互联网改造工作。
