OCI 上的 SPARK 工作负载简介
六月 2022 在甲骨文云 Ampere A1实例上的大数据 Spark
AMPERE—赋能未来
Oracle Cloud Infrastructure (OCI)在新的Ampere A1 云原生平台上提供了基于Ampere® Altra®的计算实例。Ampere A1平台可以部署为裸金属服务器或灵活的VM形状，使客户能够完全控制他们的整个云堆栈。Ampere A1 虚拟机形态提供了从1个到80个内核，每核1-64 GB内存的灵活配置，并具多个关键优点，如确定性性能、线性可伸缩性和具有市场上最佳性价比的安全架构。
Apache Spark是一个用于大数据工作负载的开源分布式处理系统。它利用内存缓存，并优化了查询执行，以便对任何大小的数据进行快速分析查询。它提供了Java、Scala和Python中的api。Spark支持实时分析、批处理、交互式查询和机器学习中的多种操作。Spark通过使用RDD(弹性分布式数据集)进行内存处理和跨多个并行操作重用数据来解决Hadoop的局限性。Spark可用于许多存储系统，如HDFS、Couchbase、Cassandra等。
Spark可以在独立集群模式下运行，也可以在Yarn、Kubernetes和Docker等集群管理系统上运行。
Spark架构由Spark驱动程序、执行器和集群管理器组成。驱动程序是Spark执行引擎的控制器，负责维护集群的状态。它与集群管理器交互以获得vCPU和内存等物理资源。驱动程序还启动执行程序。实际任务由驱动程序分配的Spark执行器处理。执行程序运行任务并向驱动程序报告其结果和状态。集群管理器负责维护运行Spark应用程序的节点集群。
在 OCI AMPERE A1 虚拟机上评测 SPARK
与x86同类产品相比，OCI的A1计算机为大数据应用提供了卓越的性价比。基于Ampere Ampere Altra 处理器的A1虚拟机提供可预测性性能和高度的可扩展性，是Spark应用程序的推荐选择。
Oracle云基础设施使用业界领先的Ampere Altra 处理器，每个CPU 80个内核，所有内核都能够持续运行在3.0 Ghz的最高频率。利用Ampere Altra的低功耗设计和OCI的高性能基础设施，Ampere A1虚拟机在云中提供最佳的性价比。
在这个解决方案简介中，OCI Ampere A1 虚拟机的性能与OCI的S3 Standard (Intel iceland)， E3 (AMD Rome)和E4 (AMD Milan) flex 虚拟机的性能进行了比较。在Spark上运行的基准测试如下：
- Spark TeraSort
- Join operations
- Word count
- TPC-DS
关键收益
一致性和可预测性：Ampere Altra 处理器专为云原生应用而设计，可为 Hadoop 解决方案和激增的工作负载提供一致且可预测的性能。
可扩展性：凭借创新的可横向扩展架构，Ampere Altra 处理器具有更高核心数和极具竞争力的单线程性能。结合所有内核的一致频率特性，OCI Ampere AI 虚拟机的性能优势可达到21%，是大数据工作负载的理想平台。
高能效：行业领先的能效使 Ampere Altra 处理器的性能在达到极具竞争力水平的同时，消耗比竞争对手低得多的电力，即更少的碳足迹。
Ampere Altra 处理器
- 80个 64-bit内核，最大主频3.0 GHZ
- 单核 64 KiB i-Cache, 64 KiB d-Cache
- 单核 1MiB L2 Cache
- 32MB SLC （System Level Cache）
- 2x 全宽 (128b) SIMD
- 一致性网格互联架构
内存
- 8x72 bit DDR4-3200 channels
- 支持ECC & RAS
- 最大可配 16x DIMMS (2 DPC) 和 4TB 内存容量
连接
- 128 lanes of PCIe Gen4
- 一致性多路互联
- 4 x16 CCIX lanes
技术特性
- Armv8.2 指令集，SBSA Level 4认证
- 高级电源管理模块
性能
- SPECrate®2017 Integer Estimated: 300
OCI Spark 架构
基准测试配置
如上所述，虚拟机是在专用网络空间中提供的。测试台上安装了Hadoop 3.3.1 (aarch64 binaries)和Spark 3.1.2。
在测试架构上的每个节点使用了表中列出配置的单个VM。
所有虚拟机都具有相同的CPU内核/线程、内存和存储配置。
所有虚拟机的存储带宽限制为1000 MB/s。8个 cpu的x86虚拟机OCI最大带宽为8gb /s。一个具有16个OCPU的A1实例接收的最大带宽为16gb /s。在我们的基准测试中，A1实例被限制为8gb /s，以保持与x86 VM相同的速度。
在客户（Guest）操作系统上，只有很少的改动，比如禁用了透明的大页面，减少虚拟机切换等。
Spark中的一些配置参数做了调优，以最大限度地利用CPU、内存和存储。
虚拟机和Spark在Yarn上的配置
| S3Flex | E3Flex | E4Flex | A1Flex | |
|---|---|---|---|---|
| OCPU | 8 | 8 | 8 | 16 |
| Cores/Threads | 8/16 | 8/16 | 8/16 | 16/16 |
| Mem | 96G | 96G | 96G | 96G |
| Arch | x86_64 | x86_64 | x86_64 | aarch64 |
| Kernel | Oracle Linux 8.5 | |||
| Storage | iSCSi 2 x 500G luns, VPU 50, 2 x 480 MBPS | |||
| JDK | JDK11 |
Spark 和 Yarn 的配置
dfs.block.size - 512M
yarn.scheduler.minimum-allocation-mb - 1024
yarn.scheduler.maximum-allocation-mb - 65536
yarn.scheduler.minimum-allocation-vcores - 1
yarn.scheduler.maximum-allocation-vcores - 15
yarn.nodemanager.resource.cpu-vcores - 16
yarn.nodemanager.resource.memory-mb - 94208
mapreduce.map.memory.mb - 1024
mapreduce.reduce.memory.mb - 3072
mapred.reduce.parallel.copies - 14
mapreduce.reduce.shuffle.parallelcopies - 12
mapreduce.map.java.opts - 2048M
spark master - yarn
spark executor memory - 12G
spark default parallelism - 30
基准测试的执行
Spark TeraSort
TeraSort工作负载对Hadoop发行版中包含的TeraGen程序生成的100字节记录进行排序。在每个虚拟机上使用Intel HiBench基准测试工具来生成250GB的数据集。在这些虚拟机上运行Spark TeraSort基准测试，获取以MB/s为单位的TeraSort输出数据。
Join Operations
下面的scala查询在Spark shell中执行了多次，以获取完成连接查询所花费的时间。
val df = sc.makeRDD(1 to 10000000, 6).toDF
val df2 = sc.makeRDD(1 to 10000000, 6).toDF
df.select( $"value" as "a").join(df2.select($"value" as "b"), $"a" === $"b").count
Word Count
Word Count程序代表了现实世界MapReduce作业的一个大子集，一个将数据从一种表示转换为另一种表示，另一个从大数据集中提取少量有趣的数据。上传10GB文本文件到HDFS，然后尝试计算文件中的字数。
TPC-DS
TPC-DS是一个决策支持基准，它对决策支持系统的几个方面进行建模。tpcds-kit克隆自databricks github网站。Spark 3.2以纱线模式运行，比例因子为250，并以拼花格式（parquet）运行。获取执行TPC-DS所花费的时间。
性能数据
使用Spark Yarn在OCI试验台上获得的相对性能数据如下所示。
Spark TeraSort捕获的单位性能数据的相对价格如下所示。其他基准测试(如TPC-DS、Wordcount和Join操作)的类似图表通过采用16个核心虚拟机的当前按需定价价格而形成。
数据分析
- 在优化参数之后，CPU被充分利用，并且在85-90%左右徘徊，在这种高负载条件下的对比是比较公平的。
- A1 虚拟机的表现比x86的同类产品要好，其性能对比图是将s3flex作为基准参考点绘制的。
- Ampere A1实例的价格性能比Intel好60%，比AMD好15-18%。
结论
基于 Ampere Altra处理器的Oracle OCI A1实例为Spark等大数据解决方案提供了高性能。在使用OCI Ampere A1实例进行Spark TeraSort工作负载时，Ampere实例的性能优势与价格优势相结合，提供了高达58%的性价比优势，在本报告中测试的其他一些操作中，性价比甚至更高。
更多信息
脚注
此处包含的所有数据和信息仅供参考，Ampere 保留更改它的权利，恕不另行通知。本文档可能包含技术错误、遗漏和印刷错误，Ampere 没有义务更新或更正此信息。 Ampere 不作任何形式的陈述或保证，包括但不限于对不侵权、适销性或适用于特定目的的明示或暗示保证，并且不承担任何形式的责任。所有信息均“按原样”提供。本文件不是 Ampere 的要约或具有约束力的承诺。使用此处设想的产品需要随后的谈判和最终协议的执行，或者受 Ampere 的商品销售条款和条件的约束。
与 Ampere 测试中使用的不同的系统配置、组件、软件版本和测试环境可能会导致与 Ampere 获得的测量结果不同。
性价比根据OCI计算价目表计算，适用于16个核心虚拟机(2022年6月)。从16核的价目表中获取每核的价格。所有虚拟机的内存和存储是相同的，因此不考虑。
©2022 Ampere Computing 版权所有。Ampere、Ampere Computing、Altra 和“A”标志都是 Ampere Computing 的注册商标或商标。 Arm 是 Arm Limited（或其子公司）的注册商标。本出版物中使用的所有其他产品名称仅用于识别目的，可能是其各自公司的商标。
Ampere Computing® / 4655 Great America Parkway, Suite 601 / Santa Clara, CA 95054 / amperecomputing.com
Ampere Computing
4655 Great America Parkway
Suite 601 Santa Clara, CA 95054
