Azure 上的 AI 推理解决方案

Ampere ^® Altra^®处理器专为云原生应用(如AI 推理)提供卓越的性能。Ampere Altra的创新架构可提供可预测的高性能、线性扩展和高能效，使工作负载在不断增加的负载下以可预测的方式运行，且波动方差很小。实现行业领先的性能/瓦和更小的碳足迹。您现在可以运行AI推理工作负载，收获行业领先的性能和能源效率。

微软提供了非常全面的Azure虚拟机系列产品，借助Ampere Altra 云原生处理器的特点，可以运行各种各样的、广泛的、向外扩展的工作负载，如web服务器、开源数据库、内存应用程序、大数据分析、游戏、媒体等。Dpsv5虚拟机是通用虚拟机，每个vCPU提供2gb的内存，vCPU、内存和本地存储的组合，经济有效地运行用户工作负载，不需要每个vCPU分配更多的RAM。Epsv5虚拟机为内存优化型虚拟机，每个vCPU提供4gb的内存，适用于内存密集型工作负载，包括开源数据库、内存缓存应用、游戏和数据分析引擎。

MLPerf™Inference是一个基准套件，由精心挑选的AI架构组成，代表了当今人工智能的前沿技术。它是对既定系统在各种代表性的机器学习任务上的表现进行综合测试，包括自然语言处理、计算机视觉、推荐引擎等。它是由体系结构、系统和机器学习领域的专家基于最佳基准测试技术形成的共识。

Ampere Altra 虚拟机产品在各种AI工作负载上提供了出色的性能，包括MLPerf Inference基准测试中的模型。ResNet-50 v1.5是一种流行的神经网络架构，主要应用于计算机视觉领域。该模型经过训练，可以很好地执行ImageNet类预测任务，是MLPerf Inference套件的一部分。我们正在运行一个类似mlperf的基准测试脚本，该脚本在没有经过任何内部转换到专有格式的情况下，来度量模型推理的性能。这样在运行相同的神经网络时，提供了跨体系结构的较为公正的性能比较。

基于Ampere Altra的Dpsv5虚拟机是Azure上唯一原生支持FP16向量化计算的云CPU实例。在不牺牲模型精度的情况下，FP16可以提供比FP32最高2倍的性能增益。Ampere优化的TensorFlow充分利用了FP16的优势，提供了优于传统x86 虚拟机的最佳性能和性价比。

在单流场景中(处理单个输入图像时99%的延迟标准)，Dps5 VM的性能比基于Intel Ice lake的Dsv5 VM好36%，比基于AMD米兰的Dps5 VM好2.6倍

Dasv5虚拟机，如图1所示。在性价比方面，图2显示-基于Ampere Altra的Dpsv5虚拟机比Dsv5和Dasv5虚拟机有68%和2.9倍的优势。

离线场景中—在没有延迟限制的情况下测量系统的最大吞吐量(即固定单位时间内所处理的输入数量)—基于Ampere Altra的Dpsv5 虚拟机的表现位居首位—性能比Dsv5 VM高出11%，比Dasv5 VM高出2.1倍，如图3所示。

在性价比方面，如图4所示，基于Ampere Altra的Dpsv5虚拟机的性价比比Dsv5虚拟机高39%，比Dasv5虚拟机高2.3倍。

本工作负载概要中的结果使用Ampere模型库(AML)对D16ps v5、D16s v5和D16as v5 vm的进行测试。

• D16ps v5的结果是使用了Ampere优化的TensorFlow 2.7.1在这里，运行在Linux内核5.15.0-0.bpo.3-cloud-arm64上。
• D16s v5的结果是使用了Intel优化的TensorFlow 2.7(在这里)(https://hub.docker.com/r/intel/intel-optimized-tensorflow)，运行在Linux内核4.19.0-19-cloud-amd64的Ubuntu 20.04上。
• D16as v5的结果是使用了AMD ZenDNN TensorFlow 2.7进行测试的在这里，运行在Ubuntu 20.04和Linux内核4.19.0-19-cloud-amd64上。

性价比数据基于Azure在爱荷华州地区截至2022年7月12日的按需定价。

AI Inference作为云中的工作负载正在迅速增长。Ampere优化的框架(TensorFlow、PyTorch和ONNX Runtime)为各种AI模型(如计算机视觉、自然语言处理和推荐引擎)提供了最佳的推理性能。一些流行的计算机视觉模型，例如ResNet-50，已经在一些Azure 虚拟机上进行了研究。在我们的测试中，由Ampere Altra 云原生处理器和Ampere优化的TensorFlow助力的微软Azure Dpsv5 虚拟机比传统的x86 虚拟机提供了更好的推理性能和性价比。总的来说，卓越的性能和令人信服的性价比，同时减少您的碳足迹。有关使用基于Ampere Altra 处理器的Azure虚拟机的更多信息，请访问Azure博客。

此处包含的所有数据和信息仅供参考，Ampere 保留更改它的权利，恕不另行通知。本文档可能包含技术错误、遗漏和印刷错误，Ampere 没有义务更新或更正此信息。 Ampere 不作任何形式的陈述或保证，包括但不限于对不侵权、适销性或适用于特定目的的明示或暗示保证，并且不承担任何形式的责任。所有信息均“按原样”提供。本文件不是 Ampere 的要约或具有约束力的承诺。使用此处设想的产品需要随后的谈判和最终协议的执行，或者受 Ampere 的商品销售条款和条件的约束。

与 Ampere 测试中使用的不同的系统配置、组件、软件版本和测试环境可能会导致与 Ampere 获得的测量结果不同。

©2022 Ampere Computing 版权所有。Ampere、Ampere Computing、Altra 和“A”标志都是 Ampere Computing 的注册商标或商标。 Arm 是 Arm Limited（或其子公司）的注册商标。本出版物中使用的所有其他产品名称仅用于识别目的，可能是其各自公司的商标。

Ampere Computing® / 4655 Great America Parkway, Suite 601 / Santa Clara, CA 95054 / amperecomputing.com