如何在HTTP服务器上的目录和所有子目录中下载所有文件？

谢谢！

解决方案

通过使用诸如wget之类的命令行工具，而不是重新发明轮子。

如果在服务器上启用了目录浏览，则可以爬网目录列表，即使用HttpWebRequest获取列表页面，解析响应以找到文件链接，下载每个文件(也使用HttpWebRequest)，导航到每个子文件夹，冲洗并重复。

如果未启用目录浏览，那么我们将无法真正下载所有子目录中的所有文件，因为我们不知道它们存在。

但是，我们仍然可以使用HttpWebRequest来爬网暴露的网页并下载感兴趣的任何链接文件。