亚马逊推出Inferentia芯片 提升AWS推理计算效益

（图自：AWS）

AWS 首席执行官 Andy Jassy 指出：许多企业都在模型训练的定制芯片上投入了大量精力，尽管常规 CPU 上已经能够较好地执行推理运算，但定制芯片的效率明显更高。

与 EC4 上的常规 G4 实例相比，Inferentia 能够让 AWS 带来更低的延时、三倍的吞吐量、且降低 40% 单次的成本。

（截图 via AWS）

新的 Inf1 实例，可实现高达 2000 TOPS 的特性、与 TensorFlow、PyTorch 和 MXNet 集成、且支持可在框架之间迁移的 ONNX 模型格式。

目前其仅可在 EC2 计算服务中使用，但 AWS 将很快为其引入对 SageMaker 机器学习和其它容器服务的支持。

本文素材来自互联网