Big Data on Ampere Processors

Ampere^® Altra^® Ampere Altra，专为云原生而设计的处理器，为大数据解决方案提供一致且可预测的性能。其高核心数、极其出色的单线程性能和一致的频率使大数据工作负载可以非常有效地向外扩展。与传统 x86 处理器相比，Ampere 处理器的功耗要低得多。每个机架的低功耗和高核心密度可以直接转化为资本支出和运营支出的节省。

Relative Hadoop TPCx-HS Linear Scalability (Ampere Altra processors)

关键收益

扩展性

可以非常可靠地进行规模化扩展！在我们的 Hadoop TPCx-HS 测试（图 1）中，我们通集群中的 9 个节点观察到接近线性的扩展。该数据是在基于 Amper Altra 的 Hammerhead 裸金属服务器集群上获得的。如果您希望在高性能集群上运行横向扩展工作负载，您可以访问我们的 Hammerhead 集群

云原生的高性能

Ampere Altra 处理器是为云原生应用构建的完整片上系统 (SOC) 解决方案。图 2 到 4 描述了云虚拟机上的 Spark 和 Hadoop、TPC-DS 和 Terasort 工作负载测试数据。 Ampere VM 的表现远高于产品。Spark Terasort 的性能比英特尔 Skylake 高 73%，比 AMD Milan 高 13%（图 4）。

一致性和可预测性

Ampere 处理器为大数据解决方案和突发工作负载提供一致且可预测的性能。

高能效

Ampere 处理器具有行业领先的能效，比竞品消耗的电力低得多。

使用与 Ampere 测试中不同的系统配置、组件、软件版本和测试环境可能会导致与 Ampere 获得的测量结果不同。我们测试中使用的系统配置和组件在这里

架构

大数据架构旨在处理大型复杂数据的摄取、处理和分析。大数据工作负载管理大量数据，出于业务目的对其进行分析，根据数据分析操作以实现商业智能，并协调大数据分析工具，更有效地从超大型数据池中提取重要的业务信息。

大数据解决方案包括以下类型的工作负载：

-静态大数据源的批处理。

实时处理大量动态数据。
大数据集的交互式探索。
预测分析和机器学习。

数据源包括

静态文件，如应用程序日志文件
应用数据
结构化和非结构化数据集
实时数据源，比如IoT数据

分布式数据存储是解决方案的重要组成部分。数据存储的大小范围从 GB 到 PB 不等，具有多种不同格式。大数据应用程序使用长时间运行的批处理作业来处理这些文件，以过滤、聚合和格式化数据，供以后数据分析使用。

组件

BigData Eco System.png

HDFS(Hadoop Distributed File System)

Hadoop分布式文件系统（HDFS）是大数据存储层的一个组件。 HDFS 中的文件被分成块大小的块，称为数据块，这些块在集群内进行复制，实现存储弹性。

YARN(Yet Another Resource Negotiator)

YARN 管理应用程序的资源。 YARN 将 MapReduce 的管理和调度功能解耦。 YARN 有多个节点可以在第一个节点发生故障的情况下恢复执行。

MapReduce

MapReduce 的算法分配作业并在集群中运行他们，单个任务分为多个任务，在不同的机器上运行。

Hadoop

Hadoop 是一个开源软件框架，用于在商业硬件集群上存储数据和运行应用程序。

Spark

Apache Spark 用于在单节点机器或集群上执行数据工程、数据科学和机器学习。它利用内存缓存和优化的查询执行，对任何大小的数据进行快速分析查询。它在 Java、Scala、Python 中提供 API，并支持实时分析、批处理、交互式查询和机器学习中的多种工作负载。Spark 通过在内存中处理和跨多个并行操作重用数据来解决 MapReduce 的局限性。Spark 依赖于其他存储系统，如 HDFS、Couchbase、Cassandra 等