Ampere Computing Logo
Contact Sales
Ampere Computing Logo
大数据工作负载测试说明

可扩展性测试是在一个9节点的裸机节点集群上进行的。

  • CPU - 每台服务器为单路,配备80核,主频3.0GHz 的 Ampere Altra 处理器
  • 内存 - 三星 DDR4 512GB DRAM 3200 MHz
  • 存储 - 4 个 Micron 7300 NVME 驱动器,每个驱动器具有 3.5 TB 存储空间
  • 网卡 - Mellanox CX-6,2 x 100Gb/s,带绑定配置

Terasort Hadoop 和 Spark 测试是在具有以下配置的 Ampere Altra 和 x86 VM 上完成的。
  • Intel - Skylake 2000 MHz
  • AMD - Rome 2249 MHz
  • AMD - Milan 2449 MHz
  • Ampere - Altra 处理器 3000 MHz
  • vCPU - 16 个 ARM 内核或 16 个 x86 线程。
  • 内存 - 64 GB
  • 存储 - 1TB 存储,1000 MB/秒读/写性能

注意:TPC-DS 测试是在 Intel Ice Lake 处理器上完成的(图 2)。

下面列出了一些在 VM 上使用的 yarn 和 spark 配置细节:

yarn/spark propertyvalue
dfs.block.size512M
yarn.scheduler.maximum-allocation-mb40g
yarn.scheduler.maximum-allocation-vcores15
yarn.nodemanager.resource.cpu-vcores16
yarn.nodemanager.resource.memory-mb64g
mapreduce.map.memory.mb1024
mapreduce.reduce.memory.mb3072
mapred.reduce.parallel.copies16
mapreduce.reduce.shuffle.parallelcopies14
mapreduce.map.java.optsXmx2048m
spark.masteryarn
spark.executor.cores5
spark.executor.memory18g
spark.executor.instances3
Created At : August 16th 2022, 10:47:05 am
Last Updated At : April 25th 2023, 5:04:17 pm
Ampere Logo

Ampere Computing

4655 Great America Parkway

Suite 601 Santa Clara, CA 95054

image
image
 |  |  |  |  |  | 
© 2022 Ampere Computing LLC. All rights reserved. Ampere, Altra and the A and Ampere logos are registered trademarks or trademarks of Ampere Computing.
This site is running on Ampere Altra Processors.