如果我们运行的新闻网站创建了10个热门新闻报道的列表，并且我们想对算法进行调整，看看人们是否更喜欢新的热门新闻报道，我们将如何处理？

在与该帖子条目关联的数据库中进行简单单击登录？

在A / B测试中，我们将在哪里显示算法的一个版本来对A组进行分组，而要显示另一版本的算法来对B组进行分组并测量点击次数？

关于更改是否更好，我们将基于哪种特征做出决定？

解决方案

回答

A / B测试似乎是一个不错的开始，并且可以随机分配参与者。我们必须记住它们，这样他们才能永远都看不到它们。

我们可以将其视为行为心理学实验，进行T检验等。

回答

除了监视点击次数之外，监视他们查看所单击故事的时间也可能会有所帮助。它是更复杂的数据，但提供了另一层信息。然后，我们不仅会看到我们选择的故事是否吸引了用户的注意，而且这些故事能够保留住它。

我们可以进行统计分析(例如，Tim建议进行T检验)，但是我们在两种方法上都无法获得足够低的标准偏差来证明其重要性。虽然，这并不重要：我们所需要的只是其中一种算法具有更高的平均点击次数和/或者花费的时间。希望不必假装进行假设检验。

当然，总是可以选择简单地询问用户建议是否相关，但这可能对情况不可行。