连接到https页面时wget速度较慢

时间:2020-03-06 14:22:12  来源:igfitidea点击:

我正在使用wget连接到这样的安全站点:

wget -nc -i inputFile

其中inputeFile由如下网址组成:

https://clientWebsite.com/TheirPageName.asp?orderValue = 1.00&merchantID = 36&programmeID = 92&ref = foo&Ofaz = 0

此页面返回一个小的gif文件。由于某种原因,这大约需要2.5分钟。当我将相同的URL粘贴到浏览器中时,我会在几秒钟内得到响应。

有谁知道这可能是什么原因?

顺便说一句,wget的版本是" GNU Wget 1.9 + cvs-stable(已修改Red Hat)"

解决方案

  • 尝试伪造UserAgent
-U "Mozilla/5.0 (X11; U; Linux i686 (x86_64); en-GB; rv:1.9.0.1) Gecko/2008070206 Firefox/3.0.1"
  • 禁用证书检查(缓慢)
--no-check-certificate
  • 通过启用详细信息来调试正在发生的事情
-v
  • 消除了对DNS查找的需求:在HOSTS文件中硬编码其IP地址
/etc/hosts 
123.122.121.120  foo.bar.com

客户端站点上的证书是否有效?我们可能要指定--no-certificate-check,如果它是自签名证书。

wget的HTTPS(SSL / TLS)选项

我们是否尝试过使用strace / dtrace / truss(取决于平台)来分析请求?

造成此问题的原因很多。 wget使用的是什么版本的openssl,那里可能有问题。这是在什么操作系统上运行(完整的信息在那里很有用)。

由于网站上实施的wget传递了代理ID来减少蜘蛛的影响,因此可能会导致某种形式的下载速度降低。

wget是否执行完整的证书验证?我们是否尝试过使用--no-check-certificate?

我知道这已经一岁了,但是这个确切的问题困扰了我们好几天。
原来这是我们的DNS服务器,但是我通过在盒子上禁用IP6来解决它。

我们可以在更改系统之前对其进行测试,方法是在命令末尾添加" --inet4-only"(不带引号)。