网优大数据共享平台
网优大数据共享平台1.背景与需求
当前的网络分析工作需要极强的扩展性，所以需要很多跨系统的大数据关联查询与分析，而目前的数据系统面对这么大量的数据关联处理无法提供及时高效的服务，所以导致目前众多的系统面临查询响应慢、数据缺乏关联、历史数据保存周期短、应用扩展困难、数据安全无法保障、升级困难等问题。
2.产品概述
基于Hadoop、MPP等分布式处理技术平台将移动运营商BOSS、经营分析、资源管理、网管、信令监测等多种数据源进行统一存储与管理，面向未来基于多种数据源的大数据挖掘与应用分析，满足运营商集中化与未来数据运营的建设目标。同时，共享平台满足海量数据高性能挖掘分析需求，为运营商经营分析、市场营销、网络维护优化、生产管理等应用需求提供数据支撑。
旗讯提供整体的网优共享数据仓库解决方案，整体上分为三层架构：
第一层为数据采集与预处理层，实现网优分析各类数据，如CS域信令数据（A/IuCS/Mc/ABIS）CDR与MR，PS域信令数据（Gb/Gn/IuPS)CDR与DPI，网管数据、基础配置数据等数据的分布式采集和预处理。实现各种维度的汇总计算，数据清洗，入库与关联
第二层为统一数据共享层，完成入库后数据的分层分级存储，并对上层应用提供数据共享通道，数据集中存储。共享接口包括FTP/Webservice/数据库视图模块，面对针对流量分析的诸多应用，能迅速满足上层应用的数据需求，满足多应用的调度与策略控制
第三层为上层应用层，主要以数据提取与展现、共享接口调用、数据挖掘分析为主，需遵循标准的接口规范、集成规范和数据使用规范。
3.系统主要功能
3.1 数据预处理
集成基于C/C++的高性能分布式预处理引擎，支持各类异构数据源（主要指结构化数据）如经分系统、路测、扫频、信令系统等进行支持过滤、分发、清洗、加载、转换、关联、计算（SUM，AVG，COUNT）等操作，支持后关联及汇总报表的自定义配置，面向应用场景、全面支撑各类型上层应用的数据需求。引入流计算、实时计算、内存计算等关键技术，处理性能可达到8Gbps，领先业界通用的ETL工具
3.2 数据并行加载
支持数据并行加载与分布式存储，提高数据处理及时性
3.3 分布式存储与并行计算
集成Hadoop、MPP等业界成熟的大数据处理技术方案，具备边加载变查询、列式存储、数据压缩、并行计算、数据备份与恢复、实时在线扩容等功能
3.4 数据共享
支持以数据库视图、应用服务、文件传输等方式实现数据共享，给运营商应用分析系统提供数据支撑
3.5 数据挖掘
系统支持内嵌9大类数据挖掘算法，包括关联分析、聚类分析、神经网络、决策树、逻辑回归、线性回归、NaiveBayes、时序算法、顺序分析。利用数据挖掘技术可完成运营商关注的用户画像和终端画像分析，指导业务推广和精准营销。
3.6 BI报表
集成行业优秀BI工具，支持数据实时关联分析和展示方式
4.系统性能参数
4.1 数据预处理性能8Gbps
4.2 单机平均数据加载速率大于50MBps
4.3 500TB数据存储环境下，实时统计结果呈现时延小于15秒
5.成功案例
山西移动数据共享平台
