文件复制解决方案
时间:2020-03-05 18:59:38 来源:igfitidea点击:
考虑Windows托管的构建过程,该过程将定期将文件拖放到磁盘以复制到同一数据中心中的其他多个Windows Server。其他机器将运行IIS,并将这些文件提供给大众。
总语料库大小将是数百万个文件,其中100个GB的数据。它必须处理目标服务器上的潜在争用,例如潜在链接。通过WAN,冷启动干净的服务器
到目前为止我考虑过的解决方案:
- 排队的系统和守护程序会定期唤醒并复制或者作为服务运行。
- SAN-昂贵,复杂,更昂贵
- ROBOCOPY,定时工作-简单但有效。许多内部/不确定状态,例如在复制中出现错误的地方
- 现成的代表。软件-比SAN便宜,但仍然昂贵
- UNC共享文件夹,没有副本。更高的延迟,更低的成本-仍然需要集群解决方案。
- DFS复制。
其他人还使用了什么?
解决方案
回答
我已经使用rsync脚本成功完成了这种工作,在我们的案例中是1000台机器。我相信有一个用于Windows的rsync服务器,但是除了Linux以外,我还没有在其他任何服务器上使用过它。
回答
我们在组织中使用ROBOCOPY传递文件。它运行非常无缝,我觉得值得推荐。
此外,我们并没有做任何太疯狂的事情。如果我们也精通perl,我相信我们可以编写一个满足我们需要的快速脚本。
回答
尽管我们没有要管理的数百万千兆字节的数据,但我们还是在一夜之间在我们的主要公司及其国外机构之间发送和收集了大量文件。我们已经使用allwaysync已有一段时间了。它允许文件夹/ ftp同步。它具有一个不错的界面,允许对文件夹和文件进行分析和比较,并且当然可以进行计划。
回答
UNC共享文件夹且没有复制有很多缺点,特别是如果IIS将UNC路径用作站点的主目录时。在压力下,我们将遇到http://support.microsoft.com/default.aspx/kb/810886,因为与共享文件夹的服务器同时进行的会话数众多。此外,由于IIS要扫描/索引/缓存(取决于IIS版本和ASP设置)UNC文件夹,因此IIS站点启动速度会很慢。
我见过使用DFS进行的测试非常有前途,没有上述限制。