亚洲城官方唯一网站|ca88亚洲城官方网站|亚洲城ca888官方网站

大数据调度平台助力数据运营降本增效

2017-12-06 11:19:48  来源:中国网  编辑:

        【亚洲城官方唯一网站】

   随着移动互联网技术的高速发展,运营商的数据量呈指数级增长。如何利用海量数据资源进行价值和商业变现,成为运营商提高核心竞争力、抢占市场先机的关键。ETL(数据仓库技术)作为数据信息转换的一种主要技术手段,是将业务系统的数据经过抽取、清洗转换之后加载到数据中心的重要工具。随着数据量的增长及业务场景的变化,取数和计算范围不断扩充,整个ETL过程的调度也日益复杂,这不仅带来运维成本的增加,也让数据生产质量难于保障。为此,运营商迫切需要寻求新的技术手段。

  中兴软创结合多年的项目运营服务支撑经验,提出构建全程调度平台解决方案。方案包含进度自动预测、异常监控告警、数据血缘分析等功能,实现从数据汇聚、数据处理到数据服务的全流程调度能力,有效协助运营商提升数据处理效率,满足其处理海量数据和复杂业务场景的需求。

1512522933591562.jpg

  图1 全程调度平台架构图

1512522953691412.jpg

  图2 全程调度平台功能图

  全程调度平台解决方案构建了三层立体式调度体系:

  第一层端到端调度,从业务角度出发,提供松耦合、端到端的调度和监控功能。以数据为中心,通过数据节点组织数据、数据依赖关系、生产流程任务,实现调度信息一点化管理。通过构建360度调度运行视图,洞悉整个数据中心的调度运行情况,提供可视化实时监控。

  第二层流程级调度,通过流程引擎控制任务之间的依赖关系,允许任务并行或串行执行。支持任务同步或异步执行,缩短整个流程执行时间,提升运行效率。

  第三层任务调度,通过正式发布的任务,进行任务执行策略和调度策略,实现任务程序的周期性、临时性或实时不间断运行。任务调度实现数据中心多计算集群任务的统一配置和协同运行,优化系统资源调配。

  2017年,中兴软创全程调度平台在湖南电信率先上线。目前已承接了湖南电信数据中心的10000+数据加工处理任务,问题查证率提高50%。同时数据质量覆盖度提升至98%,人员培训周期由1个月缩短到7天,节省了60%的人力成本。该平台逐步成为湖南电信数据中心的连接器,以高质量、高效、敏捷、安全的手段支撑湖南电信内外数据需求。

免责声明:本文仅代表作者个人观点,与亚洲城官方唯一网站无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

图片中心