通信世界网消息(CWW)近日,由人民邮电出版社主办的“2017第四届中国国际大数据大会”在北京新世纪日航酒店举办,本届大会以“数据驱动,智能引领——共享数字经济新机遇”为主题,聚焦大数据全产业链创新与发展。同期举办了运营商大数据分论坛,中兴大数据规划总工、资深架构师郭洋做了重磅演讲。
演讲实录
郭洋:大家下午好,我今天的主题是“立足数据、构筑未来”,额大家介绍一下中兴uSmartlnsight大数据与人工智能的融合平台。
大家可能有这样的体会,随着移动互联、万物互通,数据量呈爆炸式的增长,什么是爆炸式的增长呢?网上有这样一个统计,人类有史以来产生的所有数据大概有95%都是最近这两年产生的,这确实是一个非常夸张的统计。大家都知道,海量的数据下面一定含着巨大的价值,因此一个企业建立一套先进的大数据平台是在未来保持竞争优势的必由之路。怎么样搜集和深入分析这些数据?怎么样深入的挖掘数据背后隐藏的价值?为了帮助用户解决这些问题,我们提出了uSmartlnsight大数据与人工智能的融合平台。
首先我们来简要介绍一下这个平台,在此之前我介绍一下中兴通讯,大家对中兴通讯都应该比较了解了,但是大家对我们在研发这块的投入可能没有概念,我简单说一下。中兴通讯今年上半年实现营收540元,实现净利润人民币22.9亿元,中兴通讯每年在研发方面的投入占到10%以上,超过了百亿元。整个中兴通讯有超过8万名员工,其中研发人员超过3万名。根据2017年世界知识产权组织发布的全球国际专利的申请情况,中兴通讯是排名全球第一的。
我们在全球有19个研发中心进行协同创新,除了国内还包括美国、瑞典、日本、加拿大,持续的加强5G、大数据、人工智能、物联网这些新技术的布局,不断加强产品的竞争力。
中兴通讯在大数据领域的研究很早就开始了,我们做这个平台是在2012年的时候,当时投入了大概几百人的研发团队开发平台,现在有超过几千人的团队持续的进行研发,包括平台,包括基于平台的创新应用,各种大数据的应用,我们这些应用在各个领域得到广泛的实用。在电信领域有VMAX,是基于移动网络数据洞察的高效的工具,有BigDNA这是进行网络运维的优秀的工具,我们有VINSIGHT,基于视频业务的工具。在其他领域我们都有广泛的应用,目前在金融领域和智慧城市有最为广泛的部署,在金融领域有GoldenDB,这是关系型数据库。智库城市有Goldnedata,在其他领域也有成熟的应用。
到目前为止,全球有超过100家客户选择了uSmartlnsight平台,或者是基于平台的应用。就像我刚才所说的,我们的应用不光是通讯行业,也包括智慧城市、公共安全、教育、金融这些领域。我们最看重部署最为广泛的市场是在国内,作为全球一流的通讯设备提供商,国内的三大运营商都选择中兴通讯作为自己的合作伙伴,在几乎所有的省份建设了大数据平台以及基于平台的应用,我们在金融领域和中信银行也有合作,我们帮他搭建了大数据平台,帮他进行了再造网上银行的项目。另外我们和农业银行也有合作,帮农业银行建设的大数据平台应该算是金融行业规模最大的大数据平台,超过500个节点,依托中兴通讯在智慧城市,以及公共安全领域广泛的部署,我们这个平台和平台的应用在全国方位也有广泛的的应用。
下面介绍一下我们的平台架构,中兴通讯uSmartlnsight平台经过多年的在各行各业的应用部署,已经成为一套成熟、稳定、高效的大数据的商用平台我们分为六层,最下面的是基础设施层,大数据平台可以跑在CPU之上,或者是容器之上。上面这层是数据采集层,依托于太元技术,进行了优化和完善,并且有自研的高效的数据采集的组建来通过不同的渠道收集异构的数据收集汇总转换。在存储计算层有完备的组建,当然也有自研的计算框架。我们这个平台是一个大数据人工智能融合平台,我们很好的支持了深度学习的算法,组建计算框架,可以直接运营在容器之上。服务开放层,开发了很多基于数据管理的组建,比如有可视化的开发环境,数据治理是基于原数据的一整套的数据全生命周期的资产管理的工具。数据开放可以很方便的将数据对外开放,另外我们大数据挖掘和建模的工具。在应用支撑层,我们开发了不同的组建模块和算法,对于上层应用进行很好的支撑。上面的是数据应用层,针对不同的领域有大数据应用。比如针对运营商的智能运维运营,针对金融行业的智能金融等等。另外还有开发的一整套的综合大数据管理系统,可以一站式的为客户提供大数据系统的部署和维护、管理。
uSmartlnsight有五大亮点,首先有二三十个组件,80%是基于开源技术,同时也有自研的组件,提升了系统的性能,我们有一整套的大数据全流程的安全架构,有完备的大数据治理,还有大数据的分析挖掘建模平台,最后有一整套的大数据管理系统,有全面丰富管理运维能力。
我们80%的开源技术,通过对开源组件进行很多功能优化和完善,包括我们可以对EMS功能进行优化,我们支持访问的流量方式,我们对YARN五进行优化,还有高效的对数据导入导出进行优化。
这张是YITA的计算引擎,传统的计算引擎是基于计算机架构体系下面的基于控制理论的计算引擎,他们在处理大型计算的时候,传统方法遇到了一些问题,而YITA是基于数据流全新的执行模型,可以很好的处理大型计算中的数据协调,可以有一个很好的性能表现。大家可以看右边这张图,是在相同的环境下面,YITA同STOORM的比较,性能表现非常优秀。
YITA部署也很灵活,既可以作为流计算引擎,也可以独立部署,承担批处理、流处理多种计算任务。
我们提供一站式安全解决方案,大家都知道大数据计算比较繁杂,有一些开源技术,但是各系统比较独立,安装比较困难。中兴通讯通过多年跟运营商的项目经验,对客户的安全需求感同身受,率先在我们平台建设了4A的安全,帮助客户解决了安全之忧,提供一站式的大数据安全解决方案。
刚刚我们说了,我们遵守开源社区的规章制度,这个是社区贡献度情况,绿色这个是2015-2017年的贡献情况。在2017年我们的社区贡献度排名第一,大家可以看下面,2017年排名第一和第三的都是来自于中兴通讯。
我们有一个完备的数据治理方案,主要是基于原数据构建数据资产的管理模型,通过可视化的管理和监控实现数据治理,包括六大功能。
另外刚才提到我们有一套可视化的挖掘建模工具,AI explorer,提供标准的算法子模块和可视化界面,隐藏了HADOOP系统的复杂性,可以让用户聚焦在数据挖掘分析的工作之上。并且支持基于硬件加速的深度学习算法。
这张是操作界面,大家可以看一下,比较简洁,可以进行参数调整,搭建自己的模型,不需要编程。
最后是统一的大数据管理系统,ZDH Manager,可以一站式帮客户解决大数据系统和安装部署管理。
我们具体看一下大数据平台的应用实践,这个是我们在四川电信搭建的大数据的分析平台,在此之前主要是分布在各个不同省市的不同系统里面,缺乏统一的管理,我们也不能做大规模的分析。我们通过部署大数据的分析平台,集中部署的服务器超过60台,集中了全省的网络数据,我们可以做到端到端的质量分析、网络优化分析等等。另外通过开放API接口,实现商铺选址、户外活动等等。
这个是在河北电信的实践,我们通过帮助河北电信构建这样的大数据平台,帮他实现了全业务客户感知体系提升,之前他们用户感知体验管理只能在不同的业务领域进行,包括分布在移动网络、固网宽带,我们这套系统可以直观的展示三个重点业务,综合展示网络性能、综合质量。另外一方面,他们有很多的用户痛点,我们通过三个维度量化客户体验,支持关注点,以及内化问题的分析。
我们很早以前就开始帮客户提供大数据系统,基础架构的服务,我们是2013年中标的中国移动北方集团大数据平台的项目,超过130个节点,主要帮助用户对日志留存、查询与分析、为用户画像、精准营销提供支撑。大家知道数据量非常大,随着时间的推移,原先他的系统越来越难以支撑这么大的数据量,另外成本也相当高。
我们在金融行业有一个案例,就是帮中国农业银行建立了这套大数据平台,包括超过500个节点支持16个增强组件,我们在这里最值得一提的是基于原有的IBH平台,原先的数据分布在不同的系统不同的平台之上,通过建设我们这样一套大数据系统,形成了大数据基础平台,除了实现查询管理类业务,还帮他实现很多分析类业务,包括反洗钱,实时风险预警等等。
我们帮沈阳政府建设了国家级的大数据综合示范区,沈阳政府之前的数据很大,但也是分布在不同的部门之内,我们帮他建设了一套大数据系统超过300个节点,超过4.3亿条数据录入,完成了27个委办局的编目,建设了四大门户,超过30个分析专题的展示,通过建设这样的项目,沈阳市民可以很方便的对他们的信息进行查询。
最后是南京公安青奥会的护城河项目,当时人力物力有限,又要实现在公共场所以及会所进行把控,对人流进行实时的监控,这是一个很大的挑战。中兴通讯承建南京公安大数据平台,我们可以对银行、高铁、宾馆这些人流进行监控,可以对车辆进行监控,并且可以对重点的车辆人员进行轨迹查询和回放,结合定位技术,我们可以对场馆周边进行监控。这么一套平台系统对人流、车流实时的掌握信息提供了保障手段。
这就是中兴通讯uSmartlnsight大数据与人工智能融合平台,经过多年在各个领域的实践,我们已经成为一整套成熟、高效、稳定的大数据的商用平台,并且在此基础上,借助人工智能完美进化,在今后也希望有机会和大家一起携手共进,立足数据,构筑未来,谢谢大家!