首页 >> >> 滚动 >> 正文
思特奇助广东联通最佳大数据应用实践
通信世界网
作者:       2016年5月25日 15:21
思特奇 广东联通 大数据

通信世界网消息(CWW)联通慧眼”通过对海量实时位置数据和用户上网日志数据进行整合,利用国内领先具有自主知识产权的目标样本用户获取算法和基于基站扇区网格化的决策树位置推荐算法,集成地图服务平台将位置域数据和指标标签数据进行底层跨域融合,形成集实时客流人流量、网络行为特征分析、特殊区域人群细分、标签指标反向推荐选址、位置价值评估报告、实时位置感知和数据能力开放为一体的应用服务体系。

“联通慧眼”旨在打造一个开放、融合、创新的基于位置域数据的大数据共享应用和数据开发生态圈。

“联通慧眼”首次实现海量明细数据的跨域融合和数据实时处理功能。采用“Flume+Storm+Kafka”流数据处理架构对信令数据进行实时分析与处理,同时运用hive仓库对不同业务维度进行分类,关联大数据平台指标标签数据将数据汇总到分布式数据库HBase中实现跨域数据的融合应用和高效查询统计分析。

“联通慧眼”采取高精度基站扇区交叉定位算法,实现地图不规则多边形的监控区域和多基站扇区交互精准定位,使得利用矩形、圆形、不规则多边形等图形划定监控区域成为可能。算法增加基站挂靠的扇区与圈定区域交互的校验方法,大大提高“联通慧眼”提取目标用户的准确性和完整性。将基站小区网格化后,采取机器学习算法-决策树创新型模型对网格进行标签与权重计算,运用营业厅的真实数据训练数据模型,提高营业厅选址的精准度,将营业厅选址调研从线下选址调研转向线上位置推荐,使得营业厅选址具有准确的数据支撑,使得决策过程更具科学性。

“联通慧眼”通过指数形式定量分析监控区域的位置价值,首次构建位置价值指数行业评分模型,并将该模型应用在沃指数-户外媒体价值指数中。户外媒体价值指数可直观定量比较相同行业在监控区域内的业务价值。

该项目从2014年10月上线以来,已推广到广东省21个地市联通分公司,开立各类功能权限账户2631个,累计为营业厅等部门分析生成评估类、推荐类数据报告10338份。与广东新视界传媒有限公司签订35块户外LED屏数据咨询报告商务合同,合同额300万。与广州市政府、惠州旅游局、广发银行基金、万达广场等政企事业单位达成深度合作意向,并成功参展首届中国(广东)互联网+博览大会,获得与会领导、企业相关人员的高度关注与好评。

项目建设总体架构

依托大数据平台,整合全网用户的B域(业务域)、O域(网络资源域)、E域(互联网域)等系统域数据,运用大数据工具在分布式环境中构建用户基础信息宽表、位置、人流量、互联网行为偏好标签、圈子等模型数据仓库,通过专业的流程作业工具进行数据分析处理,并向前端应用数据库导入模型的结果数据。前端web应用通过简洁的人机界面交互,依托强大的地图开发服务接口,授权用户可自助准确定位并划定监测区域,分析指定时间周期内该分析区域人流量、人口属性、人流偏好和驻留地等报表数据,同时提供汇总数据和明细数据的分页查询或下载(如图)。

图 “联通慧眼”总体架构

“联通慧眼”总体架构共分七部分:数据源、采集、处理、服务、产品和服务、管理监控。

各层的功能分别如下:

数据源:存储全域用户数据。

数据采集层:支持实时流flume、集群工具(如hadoop dfs工具,datastage抽取工具)、sql接口和ftp等数据采集协议,全面汇集全省B域、M域、O域、E域数据。

处理层:数据分析中心主要对详单、上网日志、位置数据进行融合建模处理,算法模型服务中心主要构建用户O域、E域特征指标,如身份识别,交往圈,特征位置化,位置推荐决策树模型等模型的分析处理,智能推荐引擎负责分析各行业选址模型的数据计算。

功能层:利用基于统一OpenAPI对外提供接口调用、地图能力集成服务,扩大全域数据的应用广度和深度。高效的、可扩充、多并发的位置数据封装服务平台,为引入更多外部合作以大数据平台为能力输出中心进行数据变现应用、数据开发探索提供便利。

应用层:基于“联通慧眼”系列产品如慧眼地产、慧眼传媒、慧眼交通、慧眼餐饮等,为企业内部和对外合作客户在消费者研究、企业推广、产品研发、门店选址、物流货运、网络营销、舆情监控、媒体投放、效果监测等多种应用场景下提供数据决策支持。

门户层:将产品的功能介绍、数据服务方案、业务解决方案、应用案例、市场竞争分析以及联系注册试用等功能整合到统一的门户中,对外展现变现能力和应用场景。

管理监控层:主要构建集成、调度和运营管理平台,实现门户用户统一注册路径,实现业务功能的计量计费计价以及用户鉴权授权管理的功能。

、项目主要发现及创新点

1) 实时位置数据高效处理,满足实时位置营销业务场景

“联通慧眼”利用Spark、Impala等内存计算工具替代hive分析工具,同时采用“Flume+Storm+Kafka”框架实现信令数据实时处理,有效提升广东联通大数据平台的数据实时处理能力,为实时营销系统等平台提供用户实时感知能力。

2) 海量明细数据存储,实现底层数据跨域关联建模

“联通慧眼”将位置数据分别依照用户、基站、地市三个主轴进行梳理整合,将单个用户的通信行为数据、上网行为数据、位置标签、标签指标数据等统一汇总之后,存储于NoSQL类型的HBase数据库当中,提高明细数据汇总扩维建模后应用价值,明细宽表克服以往单个用户特征行为无法全面展现的问题。

3) 数据服务准化组件化,构建OpenAPI能力开放平台

通过Rest架构轻量化位置服务能力组件,替换以往重量级的webServcie服务,形成OpenAPI接口服务平台,实现跨语言跨平台访问特点,OpenAPI平台方便外部系统接口或应用开发厂商服务调用,形成位置域大数据开发应用生态圈基础能力框架。

4) 通过不规则多边形与基站覆盖区域的精准校验算法,实现受众用户的精准提取

本项目申请“一种基于基站小区的目标客户样本选取方法”【专利申请号:CN201610031656.9】,通过专利中多扇区与不规则多边形交叉算法准确计算出目标用户附着过的基站小区集合,继而通过关联信令中的基站扇区字段,实现监控分析区域的样本客流精准定位。

5) 通过将基站扇区覆盖的位置网格化,提高选址业务中位置推荐精细化程度

本项目申请“一种基于位置人群特征的位置推荐方法”【专利申请号:CN201610030493.2】,通过专利算法用5米*5米,10米*10米等精度网格化所有基站扇区,计算每个网格接受周边覆盖到基站信号的概率,根据信号辐射强度构建多颗决策树计算各类标签指标在不同网格上体现出来的用户数量权重,极大提高标签反向推荐选址应用的精准度,可实现道路路段级别的位置推荐。

[1]  [2]  
相关阅读
热门文章
蓝戈沙龙