云技术平台 大数据处理系统 分布式指挥调度系统 视音频处理与传输
大数据处理系统

“大数据”是继“云计算”之后,在信息科技领域出现的一个研究焦点。随着现代社会的不断发展,各种信息数据都呈现出爆炸式的增长。每天,遍布世界各个角落的传感器、移动设备、在线交易和社交网络生成上百万兆字节的数据;每个月,全球发布10亿条Twitter信息和300亿条Facebook信息。可以说,世界已经进入到以数据为中心的时代——“大数据”时代。为了应对数据大爆炸的挑战,AG视讯融合传统方法与新技术推出针对大数据的解决方案。

1.1产品概述

ag视讯 www.broadwon.com  AG视讯大数据处理系统,针对用户数据逐步呈现的海量、异构、实时和高并发的特点,以数据为核心,建立标准规范、安全可靠、高效稳定的海量数据处理及传输中心,将各类结构化、半结构化和非结构化的海量数据进行清洗、转换、关联、比对和标识,并以高速传输的方式对外发布数据服务,建立横向集成、纵向贯通、全局共享的数据服务模式,实现海量数据的高效存储、加工、访问和管理。

同时利用面向业务的综合数据分析处理技术,对海量数据进行深度挖掘分析,改变单个系统处理有限信息的价值局限性,整体发掘提升数据价值。在此基础上,采用数据可视化技术,以趋势分析、数据关系图谱、主题分析、图形分析等生动直观的形式进行综合展现,逐步为业务的需求测算、经营方案评估、经营数据综合查询、决策支持以及信息智能搜索提供云应用数据服务支持。

1.2系统架构

面对海量的大数据,如何有效进行数据处理是需要解决的迫切问题,分布式并行处理是有效手段。传统关系型数据库多采用共享磁盘(Sharing-disk)架构,当数据量达到一定程度,将面临处理的“瓶颈”以及扩展的困难,同时成本也偏高。当前有效的做法是采用分布式文件系统/分布式数据库结合做分布并行处理。目前基于Hadoop平台是业界采用较广泛的一个实现方案。

针对大数据中大量的半结构化或者非结构数据,NoSQL 数据库应运而生。NoSQL 数据库放弃关系模型,弱化事务,支持海量存储、高可扩展性、高可用及高并发需求。NoSQL 数据库在特定应用场景下有很高的优势,是传统数据库的有效补充。按照数据模型,NoSQL 主要有四大类:键-值(Key-Value)型、列存储型、文档型、图型,它们对应不同的应用场景。比如Key-Value 型适合简单键-值对的高效查询,而图型适合社交关系的存储和高效查询。

针对大数据挖掘分析、搜索以及机器自适应学习等技术在企业系统中逐步应用。相关的算法种类很多,当前需求较多的是分布式挖掘和分布式搜索。

由于数据类型以及数据处理方式的改变,传统ETL 已经不适用。因此需要根据客户应用场景做不同的规划。目前来说,由于不用的业务应用系统差别较大,尚未有一种统一的处理模式。比较可行的一种方法是依据数据的功用以及特性做分层处理,比如大量的数据源首先做初筛,初筛完之后有部分数据进入数据仓库或者RDBMS 或者其他应用。初筛可以使用Hadoop 或者CEP 或者定制的方式来完成。

 

针对客户的不同应用场景,需要采用不同的技术或者技术组合。比如运营商实时详单查询,数据量巨大,但是它的数据类型简单,数据以读为主,不需要复杂的Join 操作,数据的分布性好。相比传统的RDBMS,使用Hadoop 可以大大提升查询性能,降低处理成本。更多的应用可能需要多种技术的组合。在当前阶段,不同的技术成熟度不一,由于业界大数据应用进展较快,我们认为当前针对不同应用的精简方案是合适的,也就是依据应用场景,挑选合适的组件做组合,摒弃通用化的大平台。

    我公司大数据处理系统采用四层结构,系统架构详见下图:

1.  数据采集层: 从多源异构的数据应用中,抽取收据;

2.  平台层:大数据平台,包括数据存储、数据处理、数据迁移、集群管理等功能,同时为上层应用提供接口。大数据平台地位类似于数据库,但是它比数据库的处理能力要强大很多,可以对海量数据进行处理。

3.  服务层: 对外提供统一接口层,外部可以通过API访问内部数据;

4.  应用层:基于大数据平台提供的高效数据处理服务,行业应用平台能够为用户提供海量数据的高效存储、检索、分析和统计等功能。可以更具不同的场景进行设计不同的模型,从而催生不同的应用平台。

 

bigdate01.png

 

1.1大数据处理系统的优势

使用NoSQL实时处理框架,结合传统数据库存储优势,可以实现如下目的:

高并发

通过读写分离和分布式运算,使TPS大于5000;

高数据量

通过NoSQL技术,使数量级突破P级并对系统不会造成负担;

高可扩展性

根据其需求弹性增加或减少其分配的硬件资源,提高资源配置的灵活性。无需修改软件架构和应用程序; 

 高性能

使用异步分布式模型,提高用户体验,使10T的数据量的用户操作(查询和运算)秒级完成;

1.2案例分析

1.2.1互联网热门应用分析

bigdate02.png

 

1.2.2人口趋势分析

 

bigdate03.png

 

bmlg.png

地址:北京市海淀区闵庄路清琴麓院东院1号楼
咨询:400-777-8874 传真:82662277
网站:ag视讯 www.broadwon.com
Email:yunwei@www.broadwon.com