动态robots.txt
时间：2020-03-05 18:47:40 来源:igfitidea点击:
假设我有一个网站，用于托管社区生成的内容，这些内容针对非常特定的一组用户。现在，为了建立一个更好的社区，我有一个主题外的区域，社区成员可以在该区域张贴或者谈论他们想要的任何内容，而与站点的主题无关。
现在，我希望大多数内容都可以被Google索引。值得注意的例外是主题外的内容。每个线程都有其自己的页面，但是所有线程都列在同一文件夹中，因此我不能仅仅从某个位置的文件夹中排除搜索引擎。它必须是每页。传统的robots.txt文件会变得很大，那么我还能怎么做呢？
解决方案
回答
如果使用Apache，则可以使用mod-rewrite将robots.txt别名为可以动态生成必要内容的脚本。
编辑：如果使用IIS，则可以使用ISAPIrewrite进行相同的操作。
回答
这将适用于所有运行良好的搜索引擎，只需将其添加到<head>中即可：
<meta name="robots" content="noindex, nofollow" />
回答
与@James Marshall在ASP.NET中的建议类似，我们可以使用HttpHandler将对robots.txt的调用重定向到生成内容的脚本。
