Ampere AI
Ampere 的优化框架
Ampere 的模型库 (AML)
AI 解决方案
基于Ampere Altra的AI解决方案
Ampere AI 提供世界一流的 AI 推理解决方案！ 经过Ampere 的优化，在我们所支持的开箱即用框架上运行任何现有模型都可以提供显著的推理性能优势。Ampere AI 目前支持以下框架，可在这里或在我们的一些支持合作伙伴处免费下载：
- TensorFlow
- PyTorch
- ONNX
Ampere 硬件支持原生 FP16 数据格式，提供比 FP32 近 2 倍的加速，并且对于大多数 AI 模型几乎没有精度损失。
Ampere 提供易于使用的 Docker 容器，其中包括计算机视觉和自然语言处理模型示例和基准测试套件，使开发人员能够快速入门。立即下载我们的 Docker 容器，体验我们一流性能的优势。有关我们解决方案的更多信息请阅读以下信息。
关键收益
Ampere AI 优化框架 + Ampere Altra Max 为 MLPerf 等应用提供颠覆性的价值：
- 可预测性能：使用 FP16 的吞吐量比 AWS Graviton 高 5 倍！
- 可预测性能：使用 FP16 的吞吐量比 x86 的竞品高 2 倍以上！
使用与 Ampere 测试中不同的系统配置、组件、软件版本和测试环境可能会导致与 Ampere 获得的测量结果不同。 我们测试中使用的系统配置和组件在[这里]进行了详细说明 这里
下载
Ampere 优化的 AI 软件
Ampere Altra 和 Ampere Altra Max 采用高性能 Ampere 优化框架，为包括 Tensorflow、PyTorch 和 ONNX Runtime 在内的框架提供一流的人工智能推理性能。 Ampere 的模型库 (AML) 提供预训练模型，可以为加速 AI 开发提供帮助。
工作原理
Ampere 优化的框架组件
借助推理引擎，Ampere 优化框架可提供的优势。 [点击这里查看演示](https://solutions-portal-cms-prod-bucket.s3.us-east-1.amazonaws.com/Ampere_AI_1080p_FIXED_84db6ccf34.mp4?updated_at=2022-04-21T16:43: 36.387Z)。
Ampere 通过将优化的推理层集成到通用 AI 框架中，帮助客户实现 AI 工作负载的卓越性能。
这种与任何 AI 框架的无缝集成可加速推理的同事，而不会造成任何准确性损失、也无需转换或模型重新训练。 架构如上图所示。 主要组件如下：
- 框架集成层 与开发人员最常用框架完全兼容。 软件“按原样”与经过训练的推理网络一起工作。 不需要任何转换或做近似值。
- 模型优化层 采用了诸如结构网络增强、处理顺序更改以提高效率，数据流优化等技术，而不会降低准确性。
- 硬件加速层 包括一个“即时”优化编译器，它利用了为Ampere 处理器专门优化的少量微内核，这种方法可以让推理引擎提供高性能并支持多个框架。
支持所有类别的模型
- 对象识别
- 图像分类
- 推荐引擎
- 自然语言处理
关键收益
- 多达5倍的性能加速
- 多框架支持
- 无缝的“开箱即用”部署体验
- FP16格式的原生支持
- 精度无损耗
AML 是在标准数据集上预训练的优化 AI 模型的集合，包含运行最常见 AI 任务的脚本。这些模型可供 Ampere 客户快速无缝地构建到他们的应用程序中。
AML 的收益包括：
-
可以使用不同框架对 AI 架构进行基准测试
-
针对特定应用数据进行 AI 模型的准确性测试
-
AI架构之间的比较
-
对 AI 架构进行测试
常见问题
Ampere AI 的常见问题
测试和回归
解决方案和回归测试
