我们正在使用VMWare和NUnit开发自动回归测试。我们将测试分为几个步骤，现在我希望查看每个步骤的性能回归。像NUnit一样，简单地安排测试时间似乎并不可靠。我认为接受系数约为15％，但有时我们的步骤可能会超过35％。在这种依赖资源的测试环境中，是否有一致的测试性能方法？ "智能"计时系统是我唯一的选择吗？

解决方案

回答

我们可能会研究Ants Profiler之类的工具提供的功能，因为它确实提供了方法的执行/运行时间，但是我不确定在重复测试方面会提供什么功能。

回答

关于性能测试，我一直对使用vmware或者其他虚拟化过程持怀疑态度。我们过去处理此问题的方法是让构建的一部分在静态计算机上安装最新版本并运行测试。我们应该在虚拟化之外看到更一致的结果。

回答

对于这种性能测试，没有一种系统可以为我们提供简单的通过/失败结果。在现实生活中，更改系统可能会使某些事情变快，而另一些事情变慢，因此通常不是在"更好"和"不好"之间进行选择，而是在各种更好之间进行选择。 (当然，我们要避免出现情况更糟的情况。)

我过去为此所做的只是随时间推移保持统计信息。每次运行测试时，请将结果放入修订版本号和测试时间的SQL数据库中。然后，我们可以根据需要随时随地绘制它们的图表(最好是在一个小的Web小程序中，以便团队中的每个人都可以查看它们)，并查看性能是否呈上升或者下降趋势，或者自特定版本以来性能是否一直处于下降状态。

但是，这里的关键是它必须是一个图形。这样，人的眼睛就可以看到并找到趋势。我们可能花了整整一周的时间尝试提出AI算法来对数据进行数值分析，但它永远不会超越人类的模式识别能力。