SparkMR
QingCloud SparkMR 集成 Spark 及 Hadoop MapReduce 双计算引擎,通过统一的 HDFS 数据存储引擎及 YARN 调度系统,提供灵活、高效、支持多模式切换的云端大数据处理服务。

产品优势

安全可靠

运行于私有网络内,三重安全保障,确保数据安全。

灵活弹性
  • 支持按需横向调整集群节点规模,且业务不中断;
  • 支持纵向调整集群单节点计算和存储能力,包括节点的CPU、内存和硬盘。
简单易用
  • 2-3分钟内可完成一个集群部署,一键操作,简单快捷;
  • 控制台提供提供近 60 个配置参数,通过控制台的 UI 操作即可完成集群部署及服务的个性化定制。

产品功能

灵活的计算模式选择

提供三种不同的计算模式:Spark Standalone 、 Spark on YARN 和 MapReduce on YARN。

强大的AI及数据科学计算能力

提供 Python 及 R 两种语言的运行环境,支持 Python 2 和 Python 3 互相切换。

方便与其他大数据及存储组件集成

通过 AppCenter 2.0 实现与其他大数据组件的无缝集成,如 Spark 、Hadoop 和 HBase,与 QingStor™ 对象存储预集成。

自定义调度器、代理用户等多租户功能的支持

SparkMR 提供了 Spark 及 YARN 的自定义调度器的功能,开放了自定义 Hadoop 代理用户功能。

完善的服务级别监控

可视化展现整体服务的运行情况,提供监控告警、健康检查和服务自动恢复等功能。

应用场景

流式数据处理

借助 QingCloud Spark 流数据处理能力,处理企业实时数据流,生成高价值的处理结果,适用于实时监控、报警分析分析、信用欺诈检测等场景。

离线批量数据处理

QingCloud Spark 提供强大的批量数据离线处理能力,可以帮助企业解决海量文件的分析处理问题。

机器学习

基于 Spark 内存计算模型框架,利用 Mlib 提供的机器学习算法,实现个性化推荐、流失预测、精确营销、客户细分、客户研究、市场细分、价值评估等应用场景。

产品定价