可扩展性测试是在一个9节点的裸机节点集群上进行的。
注意:TPC-DS 测试是在 Intel Ice Lake 处理器上完成的(图 2)。
下面列出了一些在 VM 上使用的 yarn 和 spark 配置细节:
dfs.block.size | 512M |
yarn.scheduler.maximum-allocation-mb | 40g |
yarn.scheduler.maximum-allocation-vcores | 15 |
yarn.nodemanager.resource.cpu-vcores | 16 |
yarn.nodemanager.resource.memory-mb | 64g |
mapreduce.map.memory.mb | 1024 |
mapreduce.reduce.memory.mb | 3072 |
mapred.reduce.parallel.copies | 16 |
mapreduce.reduce.shuffle.parallelcopies | 14 |
mapreduce.map.java.opts | Xmx2048m |
spark.master | yarn |
spark.executor.cores | 5 |
spark.executor.memory | 18g |
spark.executor.instances | 3 |