高性能、高可靠:中兴超融合架构关键技术解析

作者:中兴通讯 屠要峰 责任编辑:耿鹏飞 2017.04.01 08:51 来源:通信世界网

通信世界网消息(CWW)在传统IT架构向云计算迁移过程中,服务器虚拟化是的第一步,但仅有服务器虚拟化绝对不能算是云计算。另外,即使一个中小企业的数据中心,也有不同厂家的虚拟化软件、服务器和存储产品,用户渴望更专业的服务来“拼积木”,在服务器上实现全部融合虚拟化计算及存储,减少采购成本和能耗开销,降低安装、管理和运维的难度。

超融合架构的关键技术                           

超融合架构(Hyper-Converged Infrastructure)是指在同一套单元设备(x86服务器)中不仅具备计算、网络、存储和服务器虚拟化等资源和技术,而且还包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素,而多节点可以通过网络聚合起来,实现模块化的无缝横向扩展(scale-out),形成统一的资源池。

软件定义的分布式存储层和虚拟化计算是超融合架构的最小集。软件定义分布式存储是超融合的核心。分布式存储解决了集中式共享存储应用在虚拟化场景里遇到的问题。

中兴通讯依托在云计算领域多年的技术积累和产品经验,研发了超融合架构解决方案ZXCCP EBS(Elastic Block Storage),在架构、技术和功能等多个方面进行了诸多创新,具有较强的竞争优势,广泛应用在CDN、云桌面VDI、虚拟数据中心VDC等业务场景。

中兴EBS基于通用X86系统,遵循开放架构的标准,适配多种硬件,支持多种虚拟化平台,实现了计算、存储、网络等资源的预集成和架构优化设计,通过软件定义分布式存储和Hypervisor紧密结合,将集群资源进行了统一的抽象,高性能、高可靠、数据一致,支持在线水平扩展。

如图1所示,中兴EBS采用无中心的分布式架构,由元数据服务、存储管理服务、客户端(驱动)、操作维护等核心模块组成。元数据服务保存虚拟存储池及相应数据块的位置信息,并负责集群负载均衡、数据块健康检查以及垃圾回收等集群层面的协作任务。存储管理服务接管存储服务器上的磁盘,并将数据以Chunk(数据片)为单位进行实际存储,存储管理服务不依赖于任何Linux文件系统,在裸盘上直接实现了一层为虚拟化负载定制的高性能分层文件系统。客户端提供块存储的访问接口。操作维护提供自动化管理运维,支持CLI/Web方式管理,可开放API,提供丰富的多维度、多指标监控,以及强大的性能和日志分析工具。

图1.jpg

图1 EBS架构及核心组件

每个存储服务器节点可部署一个或多个上述模块,构成分布式集群。每个存储服务器节点上都装载存储管理服务,接管节点上的若干磁盘,并且通过客户端驱动向上层提供数据读写服务。元数据服务通常部署于少部分节点上(与存储管理服务合设),保存着集群的各种配置信息和元数据信息,通过Paxos算法保证多个元数据服务中的数据完整性及一致性。

EBS的存储容量和性能都可以弹性水平扩展。无需暂停业务,只需将部署了EBS的新节点接入集群网络,新节点自动向集群注册服务,集群的整体容量和性能随之线性扩展,数据自动迁移到新节点并达到整个系统的负载均衡。

EBS架构实现数据高可靠、高可用

在中兴EBS中,用户可以将集群中所有存储资源作为一个大的存储池(Pool)进行使用,也可以根据一定策略划分为若干个独立的存储池。在存储池上,用户可以创建虚拟卷(Volume),并且通过客户端驱动将虚拟卷挂载到主机上,供用户作为标准SCSI块设备使用。超融合存储将离散在不同存储服务器上的存储资源进行统一抽象,灵活地按用户所需提供虚拟存储能力。

每个虚拟卷的数据在实际存储时,被条带化(Strip)为若干定长的数据片(Chunk)。同时根据一定规则,使一组Chunk归属于一个Chunk Group,并根据算法随机而均匀地以Chunk Group为单位分布到其存储池对应的服务器节点上,如图2所示。

图2.jpg

图2 存储资源的抽象

用户创建虚拟卷时可以设置1~5个复本,保持用户数据的冗余可靠。即同一份数据可以根据业务需求灵活地设置副本数,副本分布到不同的物理节点,即便一个节点损坏也不会影响数据的可用性和可靠性。并且采用强一致性的数据同步策略,保证数据的绝对正确。提供工具可进行周期性的扫描并自动恢复损坏的数据,并可将数据备份到外部的存储。

另外,在随机I/O场景下, SSD性能比机械硬盘高2~3个数量级。EBS充分挖掘SSD的高性能实现了智能的分层存储,将热数据缓存到快速的SSD中,以应对随机I/O读写。当数据读取时,通过基于LRFU(Least Recently/Frequently Used)的智能算法识别冷热数据,将热点数据调度到SSD中,并保持SSD的高命中率和数据热度。当数据写入时,数据首先以日志序列的形式在SSD上临时存储,随后以异步方式搬移到SATA盘进行持久化存储,在数据搬移过程中将地址相邻的I/O进行合并,在一定程度上降低随机性,减少耗时的硬盘寻道。

EBS在软件层面对I/O性能进行了针对性优化。使用异步I/O机制和非阻塞(Non-blocking)模型,提升系统的整体处理效率和并发度。尽可能地降低内存拷贝次数,减少对CPU的消耗。在客户端驱动程序方面,提供用户态和内核态两种方式,紧密配合Hypervisor层使用,避免数据在用户态和内核态间传递造成的性能损失。

EBS还针对虚拟化环境做了优化,采用智能算法调度数据块到离VM最近的节点,减少远程I/O的访问,并可以支持虚拟机热迁移,提升虚拟机的高可用性。此外,还实现了精简配置、快照、克隆等针对性的高级特性。

传统的云桌面VDI(Virtual Desktop Infrastructure)是计算存储分离的体系架构,虚拟机在计算服务器上被创建,其后端存储通常采用SAN/NAS。这种架构的缺点非常明显。首先是可靠性欠佳,只能磁阵内做RAID保障数据冗余,没有进一步的单点故障(SPOF,Single Point of Failure)容错机制。其次是扩展困难,传统存储是为静态负载场景设计的,不支持弹性扩展,其Scale Up方式的扩容升级并不能带来同倍的性能提升。用户的虚拟桌面只能运行在挂载了特定磁阵的计算节点上,在云桌面集群整体的负荷均匀性、集群的扩展性方面都存在缺陷。再次是硬件专有化导致成本高,磁阵是一种体系封闭的专用硬件,即使是中低端磁阵价格也较为昂贵。此外,管理复杂,管理员要同时管理计算和存储两套系统,存储独立于虚拟化应用则难以为其做性能优化并确保虚拟磁盘QoS。

采用中兴EBS后,计算和存储一体化,桌面应用像访问本地资源一样使用分布式计算存储资源,系统可以很容易地水平扩展,在I/O性能、数据可靠性、易维护等方面具有较大优势,显著提升用户体验。在同等容量和服务等级下,云桌面业务中使用EBS后能够节约15%~30%的成本。

中兴通讯超融合架构基于通用X86系统,将计算资源与存储资源一体化,提高了系统的使用效率和灵活性,具有高性能、高可靠、易维护、支持在线水平扩展等优点,解决了传统IT架构无力支撑新一代互联网应用的难题,在CDN、云桌面VDI、数据中心VDC等业务中得到广泛应用。


通信世界网版权及免责声明:
1、凡本网注明“来源:通信世界全媒体”及标有原创的所有作品,版权均属于通信世界网。未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载我方内容的单位,也必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和本站来源。
2、凡本网注明“来源:XXX(非通信世界网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其它问题需要同本网联系的,请在相关作品刊发之日起30日内进行。
发表评论请先登录
...
热点文章
    暂无内容