通信世界网消息（CWW）为满足用户新型的多样化业务需求，在市场和技术的双重驱动下，中国联通总部以产业互联网为依托，推出了可为用户提供即时开通、弹性带宽、自助服务的“云网一体化”产品，产品以本地IPRAN+产业互联网进行承载。
浙江中小企业居多，且政府高度重视“企业上云”，对于云网一体化业务需求相应较多。通过产业互联网承载，一方面需要占用骨干网络资源，另一方面IPRAN终端费用偏高也制约业务的推广。而IP城域网的网络资源相对空闲、终端成本低廉、覆盖广泛，成为更有效的接入手段。与此同时，浙江各地市建有IDC专有域，各地市也建有IDC网络，IDC用户的东西向流量无效占用骨干资源。
基于此现状，为更好地支撑DC业务发展，同时作为总部“云网一体化”产品在浙江本地落地的有效补充，浙江联通构建了基于DC的云网一体化承载网络。该网络依托浙江联通IDC专有域进行DC间互联，以城域网为主、IP RAN为辅的接入方式覆盖用户末端接入，通过DCI控制器实现自动开通，在全省构建一套云网一体化承载网。网络建成后，一方面实现DC东西向流量的疏导，实现DC间资源复用；另一方面通过对接自营行业云、沃云、第三方云（主要为阿里云）引入云端资源，实现省内云联网（DCI）、云组网、云专线等云网一体化产品需求。
面向未来的网络演进需求
浙江省内11个地市都建有规模不同的IDC机房，而同一客户在不同地市IDC机房的情况也较为普遍，因而DC的东西流量的互通及客户异地互连都有较大的需求，实现DC间的互联势在必行。
与此同时，公有云以其安全、便捷、数据共享等优势，越来越受到用户的青睐。企业客户根据自己的业务需求，将部分或全部业务部署于公有云或私有云，有的采用将核心系统保留在本地，其他系统部署在云端；有的则只在本地保留终端，将业务系统全部部署于云端。这种业务模式下就产生了用户与云端及云端之间的互联需求，同时还需要为用户提供最为便捷的DC迁移。要满足此类业务需求，目前使用比较多的模式是采用传统专线电路或者租用互联网电路在用户端以VPN的方式实现，前者一来费用较高，二来不够灵活，而后者则在网络保障性上较差，同时客户端也相对复杂。建设一个一点接入、就近入云的网络将是一种更为有效的实现方式。
浙江联通建有一个IDC专有域，主要覆盖杭州、宁波的IDC业务，其余地市的IDC业务通过城域网接入,具体如图1所示。
图1 省内IDC网络现状
在当前组网模式下，各DC间东西向互联需通过城域网及骨干网，受OTT公司、大数据业务等驱动，IDC业务带宽越来越大，在IDC出口上行链路上的带宽增长迅速，对骨干和城域网的带宽造成巨大冲击。同时多段路由迂回难以满足VM迁移、协同计算（并行计算、3D渲染、搜索等业务）等业务对低延迟、高带宽的需求。为此，需要将省内各DC进行互联，以实现DC间东西向流量穿越及用户VM迁移等需求。
对于省内跨域专线，除传统传输电路外，目前接入段主要有IP RAN网络和城域网两种方式，借助全省性的网络做跨域MPLS-VPN。网络成本及费用均相对较高，且无任何云资源池接入。两种方式均不能有效满足就近入云的业务需求。
传统网络下，运营商和服务供应商面对的问题和痛点越来越多，如：端到端连接部署和变更太慢，配置工作量大，而且需要多部门和厂商配合；网络利用率低，无法对网络流量进行全局性调整；传统业务发放方式无法满足新型业务的快速上线等。网络的高稳定与高性能目前已经不足以满足业务需求，灵活性和敏捷性反而更为关键，因此SDN解决方案应运而生。
网络部署方案
根据业务需求，针对现网网络资源情况做深入分析，本项目需要借助拥有大量云端资源的网络作为骨干承载网络，且项目的实施要充分利用现网资源，以达到节约成本的目的。而城域网具备带宽充足、广泛覆盖的优势，应作为末端接入的首选，IP RAN作为传统电路接入手段可为有效补充。快速的业务开通需要配备部分自动的手段，政企的云末端延伸只需要将政企云作为云专线接入即可实现。
基于上述分析，确定的总体技术方案如下。
以现有DC网络为基础，各地市新建一对PE设备，实现DC互联，同时PE设备与城域网及IPRAN互联，用户可通过PON+城域网或IP RAN网络接入DC骨干网，通过DC骨干网打通跨地市云专线接入，这样就实现了用户的最广覆盖。
而对于云间互联需求，则依托DC网络形成省内骨干云互联网络。各骨干节点汇聚各本地网IDC出口，实现联通自营行业云、沃云、第三方云（目前主要是阿里云）等多云互联。具体如图2所示。
图2 总体技术方案
在图2中，①表示通过IP RAN接入跨地市云；②表示通过IP RAN接入本地云；③表示通过城域接入本地云； ④表示通过城域接入跨地市云；⑤表示DC间互联。该方案共涉及5种应用场景，对比传统网络解决方案，本方案有如下优势。
立足现网实现用户广覆盖、快接入
各本地网末端接入采用城域网/IP RAN接入，在覆盖范围上城域网和IP RAN互为补充，利用现有IP RAN与城域网丰富的末梢接入资源，实现企业入云专线的快速接入，最大程度提升现网资源利用率，减少干线OTN网络的投资成本。
针对不同价值的用户提供差异化服务
不同价值定位的云专线接入可以采用不同的接入方式。例如，针对高价值高安全等级专线（如党政军、金融）采用OTN方式接入，提供硬隔离高可靠的安全保障；针对价格敏感的普通中小企业等，可采用PON+城域网/IP RAN方式接入，提供价格上更具备竞争力的专线方案。
构建全连接，“一点接入，就近入云”
新建/整合云骨干网络，各地市部署骨干网接入点，与城域网/IP RAN背靠背对接；云骨干网络通过IDC专有域核心路由器实现逻辑全互联。企业分支通过本地城域网/IP RAN网络接入云骨干，实现“一点接入，就近入云”的业务诉求。
疏导东西向流量，缓解骨干带宽压力，实现VM跨DC迁移
云骨干网络同时可以承载DC间东西向流量，减少DC带宽增长对城域网和骨干网的冲击，同时为企业实现业务流量疏导及DC间虚机迁移的高可靠要求提供了基础网络和可行的技术实现方案。
专线网络复用，“一线入多云”
建立云骨干网络，也让企业具备了一条云专线接入多个云池的扩展能力：云骨干网络通过L3VPN承载专线业务，分别引入不同云池的路由，企业分支通过一个接入点接入云骨干即可实现多云访问，避免为不同的云池分别开通专线接入业务，节省了网络资源，同时也可在商务上具备更大的灵活性。
引入SDN控制器提升运维效率
传统网络下E2E连接部署和变更太慢，配置工作量大，而且需要多部门和厂商配合；网络利用率低，无法对网络流量进行全局性调整，而且对调优结果不能清晰的感知；传统的业务发放方式无法满足新型业务的快速上线等。网络的高稳定与高性能目前已经不足以满足业务需求，灵活性和敏捷性反而更为关键，因此采用SDN控制实现业务的自动下发，可避免人工开通时可能出现的配置下发错误，提高业务敏捷性；同时在运维管理上也能提供更直观的界面进行业务的诊断及监控，提高运维效率。
与传统专线相比，大幅减少末端接入成本，同时提升城域网络资源利用率
传统专线普遍采用SDN光端机等传输设备接入，终端成本造价高（每台终端5000~7000元），接入段线路投资大。而采用城域网方式接入，用户端只需采用现网ONT设备，价格不足传输设备的1/10。同时，公众宽带用户增长缓慢，云专线业务的发展使相对轻载的城域网利用率有所提升。
根据上述业务需求，结合浙江联通网络现状，在杭州等7个本地网各新增一对PE路由器设备，通过口字型组网下挂现网杭州IDC专有域核心路由器。同时PE节点与城域网ASBR、IP RAN的ASBR节点、本地的IDC出口互联。PE设备一方面实现DCI互联，另一方面兼做专线VPN GW，用于终结城域专线和IP RAN专线的VPN。具体如图3所示。
图3 具体实施方案
在具体实施方案中，云骨干网上云资源池接入云网关有两种方案：云网关（DAP）直连PE，用于大型云资源池，如政企云、阿里云等；小型的云资源池通过SR汇聚后，再接入PE，主要是接入三方的IDC。
为实现DCI网络的全生命周期管理，完成设备即插即用、敏捷的业务发放、网络流量监控、全局的网络优化等功能，新增一套DCI控制器，纳管杭州IDC专有域核心路由器以及7个地市的PE设备，实现业务自动发放、流量智能调优、智能运维，同时提供北向接口支持后续联通自有或第三方编排器，打通OSS/BSS，实现业务自动开通。为确保业务的快速上线，初期采用局部自动化模式，后续逐步打通相关接口，推进自动化水平。
业务应用实例PON+城域云专线承载方案
此方案下，用户侧采用原有的ONT接入即可，不需要增加额外的设备投入。城域接入可以采用L2VPN或L3VPN, OLT以下通过VLAN标识，城域网络及云骨干侧均通过L2VPN（VLL/VPLS）或L3VPN（MPLS-L3VPN）承载。下面以城域网L2、云骨干L3模式为例，具体如图4所示。
图4 PON+城域云专线承载方案
用户侧部署CE路由器。PON网络侧，OLT以下通过VLAN标识企业专线业务，OLT以上通过QINQ标识企业专线业务。城域网层面采用L2VPN（VLL/VPLS）承载，城域ASBR和PE之间通过VLAN对接，通过不同VLAN ID区分用户。云骨干层面，在接入本地云数据中心时，PE同时作业云、网PE，部署本地VRF，作为用户CE三层网关，终结ASBR侧VLAN，封装VRF；终结VRF，封装VLAN与云DAP对接；接入异地云数据中心时，云骨干PE间通过L3VPN承载租户专线业务，域内通过LDP承载，网PE作为用户CE三层网关，终结VLAN，封装VRF，云PE终结VRF，封装VLAN与云DAP对接。
IPRAN云专线承载方案
此方案下，用户侧需要增配CPE设备。相比较城域网接入方案成本较高。采用IPRAN方案时，IPRAN只负责二层接入。云骨干网做三层承载。以接入异地DC为例，具体如图5所示。
图5 IP RAN云专线承载方案
企业CE侧通过物理端口/VLAN子接口接入CPE，CPE通过静态PW接入CSG；CSG组成接入环，ASG和ASBR/RSG组成汇聚环，IP RAN内建立动态PW业务，CSG上进行静态PW与动态PW交换；云骨干网PE节点建立L3VPN业务，本地网PE通过VLAN与IP RAN对接，云PE通过VLAN/QINQ与云网关对接；DAP配置到企业Site侧子网的路由，下一跳为PE互联地址。
云联网方案
该业务场景下，云数据中心之间通过云骨干网络打通，云骨干PE节点建立L3VPN业务，云PE通过VLAN与云网关对接；云数据中心DAP配置到对端云数据中心DAP的子网路由，下一条为云PE互连地址。具体如图6所示。
图6 云联网方案
该方案下无云和网的协同，只有骨干网业务发放，即该平台上只提供给企业租户网络管道业务。
虚机（VM）牵移方案
该业务场景下，云数据中心之间建立VxLAN，打通二层网络，云骨干网络作为管道，通过L3VPN为两端DAP打通路由：云PE节点建立L3VPN业务，云PE通过VLAN与云网关对接；云数据中心DAP配置到对端云数据中心DAP的子网路由，下一跳为云PE互连地址。
DAP之间IP打通后，在DAP上建立到对端云数据中心DAP的BGP PEER，协商控制面，建立VxLAN隧道，使DAP之间可以通过VxLAN打通二层网络，实现VM迁移。如图7所示。
图7 虚机（VM）牵移方案
方案中BGP PEER以及VxLAN的建立均在云数据中心DAP建立，需要DAP控制器在迁移VM的云数据中心之间进行统一协同管理；云骨干网络为VxLAN提供传输管道。
云商对接实例
云商可直接接入PE，也可以通过DC路由器汇聚接入，对于大型云商（如阿里云）采用直接接入PE的方式，可采用二层或三层方案。具体如图8所示。同时在云商平台侧需用合作方身份为最终客户创建VBR相关信息。
图8 云商对接实例
合作方登录阿里云控制台创建“边界路由器（VBR）”，分配资源（vlan id、接入设备）并关联客户账户（uid）；客户登录控制台确认并完善VBR信息。包括：VBR名称、互连IP地址（阿里云侧、客户侧）；如果采用冗余线路接入，重复步骤1、步骤2。不同VBR的互连IP地址段不能相同；客户在CE设备和VBR、VPC中配置静态路由。对于有冗余线路需求的，还需要配置ECMP的健康检查地址；VPC添加客户私网路由，选择等价路由。
上述应用实例为目前现网常用应用场景，根据用户业务需求的变化，前文提及的业务模型均可灵活满足。并可通过部署设备、链路、路由、隧道等多级的网络检测和保护来确保业务的安全性，满足用户对可靠性的要求。
结论
本项目方案采用传统网络技术与新技术有效结合的方式，依托浙江联通现有网络，以最小的网络改造满足了DC间互访及客户基于云网一体化的多种网络需求。方案充分利用现网资源，快速投产，且有效节约投资成本。采用城域网PON为主、IP RAN为辅的接入方式，在实现最广泛覆盖的基础上有效减少客户接入初期建设成本，随着业务规模的不断发展，成本效益优势将愈加明显。方案实施后，使得传统网络具备云专线、云组网、云联网等云网一体化产品能力，同时具备DC间虚机迁移功能，网络的业务支撑能力显著提升。方案兼顾网络演进方向，根据业务需求分阶段推进，避免投资浪费，且具有良好的扩展性，为后续网络的优化完善奠定基础。
与此同时，由于本方案的广覆盖和低成本，降低了最终客户的接入门槛；而“一点接入”的模式极大地方便客户，对推动中小企业利用云计算加快数字化、网络化、智能化转型具有积极作用，为推进互联网、大数据、人工智能与实体经济深度融合，建设“数字浙江”提供必要的网络基础，具有一定的社会效益。
