大数据解决方案

QingCloud 大数据解决方案提供主流的大数据组件,与云平台 IaaS 层无缝融合,结合 AppCenter 框架和大数据管理平台,可灵活选择、集成、编排、管理多种大数据的应用和组件,提供大数据采集、存储、处理分析、展示等各环节完整的功能和服务。

方案特性

根据业务压力的需要进行灵活的在线横向增加节点和纵向资源配置扩充以提升处理量。
实现同一平台,多种数据类型、数据结构、数据模式的接收、存储和相互转换,解决数据复杂性问题。
完备的数据并行处理、增量处理、流式计算技术和工具,完成离线计算,准实时计算,实时计算任务。
基于 Linux 容器技术(LXC) 提供大数据云服务,规避 KVM 虚拟化在 IO 上的损耗,性能接近于物理服务器。
平台极具开放性,提供第三方的机器学习、算法建模工具,根据业务需求选择最合适的大数据挖掘和大数据实践。
大数据产品源于开源社区版本,系统迁移平滑。同时对云平台集群供应进行深度优化,提供直观易用的一键式操作,数分钟就可以完成一个大数据集群的部署。

部署架构

应用场景

商业客户分析
挖掘潜在目标客户,实时分析客户信息,帮助提升用户价值。
  • 制定标签分层体系,整合用户相关数据,结合业务经验进行建模。
  • 分析客户的产品偏好、渠道偏好、风险偏好和经济实力。
  • 利用实时统计分析寻找潜在产品目标用户,输出潜在目标用户清单。
  • 对潜在目标用户进行营销评估,优化算法,固化推荐算法到推荐系统。
舆情分析
提供网络数据收集,智能语义分析,定制个性化舆情系统,深度挖掘舆情背后的机会与挑战。
  • 互联网或客户信息平台搜索,信息过滤,有效信息保存,信息去重。
  • 分词、分类、关键字抽取、文章摘要、文本相似度分析。
  • 影响力评估,信息统计分析。
  • 归档存储有效信息和分析结果,趋势预测和应对建议。
日志分析
通过日志的大数据分析深入了解系统的运行状况、安全状况,以及运营状况。
  • 海量日志聚合:全量、全平台、无丢失的日志采集,提供丰富的解析方法,完成数据的清理。
  • 智能分析:基于整个环境中的所有过程数据,以业务场景为中心,将不同维度的线索串联起来,答疑历史事件发生的原因,基于历史规律进行未来预测。
商业数据分析
帮助业务分析人员灵活高效的进行数据探索,并在组织内部分享数据成果。
  • 连接一切:大数据平台,NoSQL,SaaS API,数据库,文件。
  • 注入智能:识别数据类型,推理发现规律,自动生成报表。
  • 高级分析:大数据量上的建模预测,数据科学家的新型工作台。
  • 协作分享:围绕工具行成协作发布的数据氛围,打造企业的数据驱动引擎。