我们的测试方法本着生成的结果稳定一致、可验证和可重复,并且容易理解的原则。 我们的核心测试执行工具是一个很棒的开源技术,叫做 Phoronix Test Suite。 Phoronix 附带了许多“预制”测试,可以在 Open Benchmarking 网站上找到这些测试。鉴于我们 CIDR 基础架构的需求,我们经常构建自己的 Phoronix 兼容测试。虽然开放基准测试套件是全面的,但我们调整我们的测试套件以便测量或强调工作负载的一些非常具体的元素 - 这对于“现成”版本的基准测试通常是不可能的。 通过使用开源和标准化的测试工具,我们能够更有效地共享我们的工作负载库。Phoronix 基本上可以在任何地方运行,并且包含了很多功能,因此我们重现测试运行的路径就像在已经安装了 Phoronix 的系统上本地安装Phoronix 兼容测试套件(称为 Phoronix 测试扩展)一样简单。
除了灵活的测试库外,我们还专注于系统配置细节。对于每次测试运行,我们都会捕获被测系统的 15,000 多个数据点的有关快照。该数据集包括:
通过捕获系统状态的完整快照以及易于识别和唯一版本化的测试,我们确保了将来测试的可重复性和可比性。