我正在寻找一种工具/框架来进行自动验收测试。创建新测试的界面应该非常简单，以使非程序员(客户，老板)可以添加将自动测试的规范。

应该采用某种方式从命令行执行测试，以将测试运行包含在自动构建中。

我更喜欢Java和开放源代码，但是我的问题并不仅限于此。

我们可以推荐什么，并请解释为什么工具/框架是世界上最好的。

解决方案

http://fitnesse.org/似乎符合我们想要的所有资格。这是我成功使用的一种。

我们所要求的似乎是一个定义明确的系统，该系统具有非常特定的输入集以及系统内置或者针对系统开发的高度自动化。

诸如HP Quick Test Pro之类的商业应用程序还不够技术性，需要另外的框架(例如Sonnet的框架)，这是朝正确方向迈出的一步，但都不是开源或者基于Java的。

即使有了适当的框架，以自动化方式进行这项工作也需要大量工作。我希望我们考虑开发框架所需的时间与手动运行这些测试所需的时间，并验证我们是否在利用自己的时间。

我找到了一个名为Concordion的框架，可以满足我的需求。

我们可能要看的另一个框架是Robot Framework。要查看测试用例的外观，请参阅《快速入门指南》。

黄瓜怎么样：

Feature: Acceptance testing framework

  Scenario: an example speaks volumes
    Given a text example
    When it is read
    Then the simplicity will be appreciated

我们将需要开发人员与老板讨论每行的真正含义，并实施步骤定义来驱动它：

Given /^a text example$/ do
  file.open("example.txt", "w") { |file| file.write "text example" }
end

When /^it is read$/ do
  SystemUnderTest.read("example.txt")
end

Then /^the simplicity will be appreciated$/ do
  SystemUnderTest.simplicity.should be_appreciated
end