大数据平台 | 青云QingCloud

产品优势

开源稳定

提供高性能、高稳定性的 Hadoop、Hive、Spark、Flink、HBase、Kafka、ELK、RabbitMQ、ZooKeeper 等开源大数据组件，客户可根据场景灵活搭配使用。

存算分离

与 QingStor 对象存储无缝集成，高效地进行海量数据的低成本存储。计算资源按需扩缩容，极致性价比。

安全可靠

VPC 网络隔离和安全组保证网络安全可信，Ranger 对数据进行访问控制，资源层多副本保证数据可靠，滚动补丁更新保证服务稳定。

弹性伸缩

可根据业务场景灵活调整集群资源，数分钟内完成集群创建，按量付费，节约成本。

高效运维

提供丰富的可视化运维操作、资源级和服务级监控指标、灵活的告警规则、多样化的通知方式，大幅提升运维效率。

部署简单快捷

2-3 分钟内可完成一个集群部署，一键操作，简单快捷；控制台提供提供近 60 个配置参数，通过控制台的 UI 操作即可完成集群部署及服务的个性化定制。

服务内容

大数据引擎 QingMR

QingMR 集成 Flink、Spark 和 MapReduce 三数据处理引擎，Apache Kylin 极速海量数据 OLAP 分析引擎以及 Hive 数据仓库工具，通过统一的 HDFS 分布式存储引擎、YARN 资源管理框架以及 Ranger 集中式安全管理，提供灵活、高效、安全、多模式的一站式云端大数据服务。

HBase 服务

QingCloud HBase 服务是基于开源 HBase 数据库，整合 HDFS 分布式文件系统、Phoenix 查询引擎等多种功能组件于一体的面向大规模数据处理场景的云端数据库集群服务，支持 GZIP、BZIP2、LZO、SNAPPY 压缩格式，轻松支持 PB 级大数据存储及千万级 QPS 高吞吐随机读写场景。

ZooKeeper 服务

QingCloud ZooKeeper 服务是一个基于原生 Apache ZooKeeper 发行版，构建于 QingCloud 云主机之上的高可用分布式数据管理与系统协调的集群服务。可以为分布式应用提供状态同步、配置管理、名称服务、群组服务、分布式锁及队列、以及 Leader 选举等服务。

ELK 服务

QingCloud ELK 服务是集成 Elasticsearch、Logstash 及 Kibana 于一体的日志分析及全文搜索解决方案，被广泛应用于实时日志处理、文档索引和搜索、以及数据的多维查询和统计分析等领域。

Kafka 服务

QingCloud Kafka 是 QingCloud 基于原生 Apache Kafka 构建的一个分布式、可分区、多副本的消息队列集群服务，具有高吞吐量、低延迟等优点，同时提供灵活的网络配置、在线伸缩、监控和告警等功能助您更好地管理集群。

RabbitMQ 服务

QingCloud RabbitMQ 是一个基于 AMQP 协议，构建于 QingCloud 云主机之上的分布式消息队列系统，具有灵活路由、事务、高可用队列、消息排序、可视化管理工具等功能。服务器端用 Erlang 语言编写，天生具备高可用和高并发的特性。

RocketMQ 服务

QingCloud RocketMQ 基于 Apache 2.0 协议开源的分布式消息和流数据平台，具有低延时、高吞吐、可审计、可几乎无限水平扩展等优点。可一键部署的 RocketMQ 集群服务，集群支持横向与纵向在线伸缩，还提供了监控告警等功能，使得管理集群非常方便。

业务服务器上产生的海量日志数据、埋点数据以及应用数据，同步到 QingMR 的 HDFS 或 QingStor 对象存储后，您可以使用 QingMR 产品中的 Hive、Spark、MapReduce 等计算框架对数据进行批量处理，将处理结果写入存储引擎中，提供给上层数据应用使用。

业务服务实时产生的日志数据、埋点数据以及应用数据，实时推送到消息中间件 Kafka 之后，您可以在 QingMR 产品中选择 Flink 或 Spark Streaming流式数据处理引擎来分析和处理数据，以实现对数据的实时计算及决策。

数据分析师需要对各种用户行为数据，进行查询分析，快速决策。利用 QingMR 提供的丰富的 SQL 计算引擎，存储与计算分离架构，支撑海量数据的查询分析。

业务系统运行后台的服务，依赖的数据库服务，缓存和消息队列服务等都会产生大量日志和监控数据，存储分散、种类繁多、规模庞大，检索和分析困难。利用 Kafka 或者 Logstash 作为实时传输管道，将日志存储到 ElasticSearch 中，对日志进行统一管理和查询，帮助用户快速定位问题，提升运维效率。

帮助与文档

大数据引擎 QingMR

QingMR 是青云QingCloud 新一代云端大数据服务，是 SparkMR 的全新升级，能够提供计算、存储、分析、查询一站式全方位的大数据服务。所谓一站式大数据服务，是指 QingMR 能够提供对数据的批量计算、流式计算与实时计算，并实现对计算结果的极速分析查询。

HBase 服务

HBase 是一个开源的、分布式的、数据多版本的，列式存储的 NoSQL 数据库。依托 Hadoop 的分布式文件系统 HDFS 作为底层存储, 能够为数十亿行数百万列的海量数据表提供随机、实时的读写访问。

ZooKeeper服务

ZooKeeper 是一个高可用的分布式数据管理与系统协调软件服务，它可以为分布式应用提供状态同步、配置管理、名称服务、群组服务、分布式锁及队列、以及 Leader 选举等服务。

ELK 服务

ELK 是 Elasticsearch、 Kibana 和 Logstash 这三个软件集合的简称。

Kafka 服务

Kafka 是一种高吞吐量、低延迟、高可靠的分布式发布订阅消息系统。被广泛应用于网站活动追踪、日志监控、流式计算、事件采集、数据存储等应用场景。

RabbitMQ 服务

RabbitMQ 是青云基于 AMQP 标准协议研发的高吞吐、低延迟、高可扩展的消息队列服务，并以云应用的形式在 QingCloud AppCenter 中部署，具备可靠性、灵活的路由、事务、高可用的队列、消息排序、可视化管理等功能，服务器端用 Erlang 语言编写，天生具备高可用和高并发的特性。

RocketMQ 服务

Apache RocketMQ是一个基于Apache 2.0 协议开源的分布式消息和流数据平台，具有低延时、高吞吐、可审计、可几乎无限水平扩展等优点。