Ampere Computing Logo
Contact Sales
Ampere Computing Logo

AI 推理和现代云工作负载在AmpereOne® 上的性能

image
产品营销高级负责人Seema Mehta
2024年8月5日

科技领域正在经历翻天覆地的变化, AI 成为我们这个时代的决定性技术。随着这场 AI 革命的展开,计算基础设施需要卓越的性能、更好的可扩展性及能源效率,以应对云原生工作负载与日俱增的巨大计算需求。

Oracle 公司刚刚发布了基于 AmpereOne® 处理器的全新 OCI Ampere A2 计算实例。

Ampere 也推出了下一代 AmpereOne® 处理器,该处理器拥有定制设计的内核,能够助力云服务提供商、企业和边缘计算应用程序充分发挥云原生和 AI 推理工作负载的优势和潜力。

对于云开发人员来说,运行应用程序比综合基准测试更为重要。为此,我们对云中最常用的各种应用程序包括网络托管、媒体编码、AI 推理、存储和数据库的性能进行了基准测试和分析。下面是部分工作负载的性能和性价比结果。

llama-8b-model.png Llama3 8B – 大型语言模型推理

Meta 的 Llama 3 是迄今为止最受欢迎的开源大型语言模型 (LLM),融合了开源 LLM 的最新技术,现在针对 Oracle 云基础设施 (OCI) 上基于 AmpereOne® 的 A2 实例进行了优化,提供前所未有的性能和灵活性。

mysql-model.png MySQL – Relational database management system
MySQL是世界上最受欢迎的开源数据库。根据 DB-Engines 的数据,MySQL 仅次于 Oracle Database 排名第二,为包括 Facebook、Twitter、Netflix、Uber、Airbnb、Shopify 和 Booking.com等广受欢迎的应用程序提供支持。


在类似的延迟下,基于AmpereOne®的A2 OCPU的性能比AMD EPYC E5 OCPU高40%,性价比高2倍。
有关 MySQL-A2 的更多信息

nginx-graph-model.png NGINX-Web 服务

NGINX 是一种流行的 Web 服务器,也可用于其他功能,例如负载均衡和反向代理。据统计,目前近三分之一的网站由 NGINX 提供支持。


我们的测试结果显示,与 AMD EPYC E5 实例相比,基于 AmpereOne® 的 A2 实例的吞吐量提高了 20%,性价比提高了 80%,p99 延迟为 1ms。
有关 NGINX 的更多信息


postgres2.png Postgres
Postgres 是一种流行的开源对象关系数据库管理系统 (RDBMS),它使用并扩展了 SQL 语言,结合了许多功能,可以安全地存储和扩展最复杂的数据工作负载。
有关Postgres的更多信息


如图所示,AmpereOne A2 VM的性价比是AMD E5 VM的1.6倍。


AmpereOne® ,专为满足现代云和 AI 的需求而设计。云开发人员和云服务提供商所重视的指标与其他细分市场中的指标不同 —— 可预测、低功耗、高性能、高密度的高核数,是为云原生软件从头开始构建的设计。


基于 AmpereOne® 的 A2 实例在现代云工作负载中的性能和性价比优势使其成为更具竞争力和吸引力的产品。


在Ampere Computing,我们专注于创新。我们将继续为满足现代云计算和 AI 的需求而设计高性能、可扩展、可持续的处理器。


更多资源::


Disclaimer
All data and information contained herein is for informational purposes only and Ampere reserves the right to change it without notice. This document may contain technical inaccuracies, omissions and typographical errors, and Ampere is under no obligation to update or correct this information. Ampere makes no representations or warranties of any kind, including express or implied guarantees of noninfringement, merchantability, or fitness for a particular purpose, and assumes no liability of any kind. All information is provided “AS IS.” This document is not an offer or a binding commitment by Ampere.


System configurations, components, software versions, and testing environments that differ from those used in Ampere’s tests may result in different measurements than those obtained by Ampere.


©2024 Ampere Computing LLC. All Rights Reserved. Ampere, Ampere Computing, AmpereOne and the Ampere logo are all registered trademarks or trademarks of Ampere Computing LLC or its affiliates. All other product names used in this publication are for identification purposes only and may be trademarks of their respective companies.

Created At : August 5th 2024, 3:43:39 pm
Last Updated At : September 25th 2024, 6:53:08 pm
Ampere Logo

Ampere Computing

4655 Great America Parkway

Suite 601 Santa Clara, CA 95054

image
image
 |  |  |  |  | 
© 2022 Ampere Computing LLC. All rights reserved. Ampere, Altra and the A and Ampere logos are registered trademarks or trademarks of Ampere Computing.
This site runs on Ampere Processors.