Inference Engine
Inference Engine 推理引擎基于强劲的GPU 与 CPU 计算资源,为用户提供一站式 AI 模型部署与模型推理服务。

产品优势

一键部署 灵活易用

Inference Engine 推理引擎通过 AppCenter 交付,可一键完成云端部署,并提供应用全生命周期管理能力(创建、扩容、监控、健康监测等),开发者仅需上传模型即可快速拥有生产环境可用的 AI 推理引擎。

支持主流推理框架

集成针对 Intel CPU 优化的 CPU版 Tensorflow Serving ,未来还将陆续支持 ONNX Runtime / OpenVINO 等主流推理框架,助力用户快速部署机器/深度学习推理环境。

支持 CPU、GPU 多种加速模式

支持使用 GPU 或仅使用 CPU 进行机器/深度学习推理,同时可根据自身需求选择单节点或分布式部署模式。

Inference Engine 推理引擎 CPU 版基于第二代 Intel 至强可扩展处理器 ( 代号CascadeLake ) ,其采用了 Intel DeepLearning Boost VNNI 技术,AI 推理性能与上一代型号 CPU 相⽐提升高达 100% 。不同于训练阶段,配合针对 CPU 优化的推理框架,CPU 可以在推理环节发挥更重要作用,与 GPU 相比可以为用户提供更低成本选择。

模型支持多种存储方式

支持本地磁盘存储、对象存储以及兼容 S3 协议的 MinIO 私有对象存储等多种存储方式存储模型。集成对象存储命令行工具,通过配置对象存储相关参数,可便捷地从对象存储中获取模型,完成推理。

支持多种部署方式

支持单模型服务节点+本地模型存储、多模型服务节点+私有对象存储模型库 ( MinIO 对象存储 )、多模型服务节点+公有云对象存储模型库 ( QingCloud 对象存储或其他兼容 S3 协议的公有云对象存储) 等多种部署方式。

按需计费 灵活掌握开发成本

支持按需付费、包月、包年计费模式,为用户提供更加全面和灵活的成本管理支持。

应用场景

  • 图像识别
  • 图像分类
  • 语音识别
  • 实时翻译

产品定价

Inference Engine 支持按需付费、包月、包年计费模式,为用户提供更加全面和灵活的成本管理支持。