对于电子商务网站，我们如何衡量网站更改是否真正提高了可用性？我们应该收集什么样的度量值，以及如何建立框架以使该测试成为开发的一部分？

解决方案

多元测试和报告是一种实际衡量这类事情的好方法。

它使我们能够测试哪种页面元素组合具有最高的转换率，从而不断改善网站设计和可用性。

Google Web Optimiser支持此功能。

我们用来确定可用性问题的相似方法，从可用性测试开始。通常，我们先确定用例，然后进行实验室研究，评估用户如何实现某些目标。实验室测试通常适合8-10人。

我们用来了解用户的更多信息方法是进行匿名数据收集(我们可能需要用户许可，明确隐私政策等)。这只是在评估用户单击的按钮/导航菜单，用户如何删除某些内容。 (即更改数量是更多用户输入0并更新数量还是点击X)？设置起来有点复杂。我们必须开发一个基础结构来保存此数据(实际上只是计数器，即"单击的时间x：138838383，输入的时间0：390393")，并允许根据需要创建数据点以插入设计中。

第一种方法可以完全主观或者部分量化：用户投诉和正面反馈。这样做的问题是，在过滤这些反馈时，我们可能会有一些强烈的偏见，因此我们最好尽可能地量化。有一些票务系统可以归档用户的每个报告，并收集有关该接口的每个版本的统计信息。只是正确地获取统计信息即可。

第二种方法是衡量最终用户在有关界面的问卷中的差异。对每个问题的答案应该是一组离散值，然后我们可以再次收集接口每个版本的统计信息。

后一种方法可能很难设置(设计调查表以及可能的受控环境以及解释结果的准则本身就是一种技巧)，但是前一种方法使它们很容易弄乱测量结果。例如，我们必须考虑以下事实：每个版本获得的票证数量取决于使用它的时间，并且所有时间范围都不相等(例如，在使用第三周或者第四周，否则用户可能会在使用的第一天就不提交票证，即使他们发现问题等)。

为了推动对UI改进的评估，从最终用户(数据收集可能要花一些时间)到设计或者实现的整个过程，可以使用一些简单的启发式方法：

• 执行场景所需的操作数量是否更少？ (如果是，则情况有所改善)。测量：减少/增加的步骤数。
• 更改是否减少了要使用的输入设备的种类数量(即使步骤数相同)？通过这种方式，我的意思是，如果我们选择了一些既依赖于鼠标又依赖于键盘的东西，并且将其更改为仅依赖于鼠标或者仅依赖于键盘，那么使用性就得到了改善。测量：使用的设备数量发生变化。
• 更改是否会使网站的不同部分保持一致？例如。如果我们未登录时电子商务网站的一部分丢失了所做的更改，而另一部分没有这样做，那么这是不一致的。对其进行更改以使其具有相同的行为可以提高可用性(最好是具有更高的容错性！)。度量：制作一个图表(实际上是流程图)，以映射完成特定动作的方式。改进是减少了图形上的边数。
• 依此类推...找到一些通用的UI技巧，找出上述类似的指标，然后我们就可以估算出可用性的提高。

一旦有了用户改善的这些设计近似值，然后收集了长期数据，我们就可以查看对最终用户反应的设计级可用性改善是否具有任何预测能力(例如：在最近的10个项目中，我们我们发现，每项删除的操作平均场景速度提高了1％，范围为0.25％，标准开发速度为0.32％)。

托里亚尔偷了我的答案。尽管可以衡量执行某项任务需要多长时间。如果减少时间并且任务仍然完成，那就太好了。

同样，如果有一种方法可以记录取消的次数，那么它也可以工作。