如何为给定的概率分布生成直方图(用于对服务器进行功能测试)?

时间:2020-03-05 18:50:38  来源:igfitidea点击:

我正在尝试使用实际的请求频率分布来自动化服务器的功能测试。 (各种负载测试,某种模拟)

我选择了Weibull分布,因为它"符合"我所观察到的分布(迅速上升,迅速下降但不是立即下降)

我使用此分布生成在给定的开始日期和结束日期之间每天应发送的请求数

我已经用Python破解了一个算法,该算法可以完成某些工作,但是感觉很笨拙:

how_many_days = (end_date - start_date).days
freqs = defaultdict(int)
for x in xrange(how_many_responses):
    freqs[int(how_many_days * weibullvariate(0.5, 2))] += 1
timeline = []
day = start_date
for i,freq in sorted(freqs.iteritems()):
    timeline.append((day, freq))
    day += timedelta(days=1)
return timeline

有什么更好的方法可以做到这一点?

解决方案

回答

我们为什么不尝试使用Grinder 3来对服务器进行负载测试,它附带了所有这些功能以及更多预构建的功能,并且支持python作为脚本语言

回答

为何不使用请求数作为固定值,而是为什么不使用缩放因子呢?目前,我们正在将请求视为数量有限,并随机分配这些请求的有效期。将每日请求视为独立请求似乎更为合理。

from datetime import *
from random import *

timeline = []
scaling = 10
start_date = date(2008, 5, 1)
end_date = date(2008, 6, 1)

num_days = (end_date - start_date).days + 1
days = [start_date + timedelta(i) for i in range(num_days)]
requests = [int(scaling * weibullvariate(0.5, 2)) for i in range(num_days)]
timeline = zip(days, requests)
timeline

回答

我改写了上面的代码,使其更短(但现在可能太混淆了?)

timeline = (start_date + timedelta(days=days) for days in count(0))
how_many_days = (end_date - start_date).days
pick_a_day = lambda _:int(how_many_days * weibullvariate(0.5, 2))
days = sorted(imap(pick_a_day, xrange(how_many_responses)))
histogram = zip(timeline, (len(list(responses)) for day, responses in groupby(days)))
print '\n'.join((d.strftime('%Y-%m-%d ') + "*" * c) for d,c in histogram)

回答

最后四行的工作时间稍长,但可能更具可读性:

samples = [0 for i in xrange(how_many_days + 1)]
for s in xrange(how_many_responses):
    samples[min(int(how_many_days * weibullvariate(0.5, 2)), how_many_days)] += 1
histogram = zip(timeline, samples)
print '\n'.join((d.strftime('%Y-%m-%d ') + "*" * c) for d,c in histogram)

这总是将样本放置在日期范围内,但是在时间轴的末尾,我们会从[0,1]范围内的所有样本中获得相应的冲击。

回答

这是快速的并且可能不那么准确,但是如果我们自己计算PDF,那么至少可以更轻松地在单个时间轴上放置几个较小/较大的PDF。 dev是高斯噪声中的std偏差,它控制粗糙度。请注意,这不是生成所需内容的"正确"方法,但这很容易。

import math
from datetime import datetime, timedelta, date
from random import gauss

how_many_responses = 1000
start_date = date(2008, 5, 1)
end_date = date(2008, 6, 1)
num_days = (end_date - start_date).days + 1
timeline = [start_date + timedelta(i) for i in xrange(num_days)]

def weibull(x, k, l):
    return (k / l) * (x / l)**(k-1) * math.e**(-(x/l)**k)

dev = 0.1
samples = [i * 1.25/(num_days-1) for i in range(num_days)]
probs = [weibull(i, 2, 0.5) for i in samples]
noise = [gauss(0, dev) for i in samples]
simdata = [max(0., e + n) for (e, n) in zip(probs, noise)]
events = [int(p * (how_many_responses / sum(probs))) for p in simdata]

histogram = zip(timeline, events)

print '\n'.join((d.strftime('%Y-%m-%d ') + "*" * c) for d,c in histogram)

回答

另一个解决方案是使用Rpy,它可以将R的所有功能(包括许多用于分发的工具)轻松地放入Python中。