如何获得特定站点在Google索引中的页面数历史记录?
时间:2020-03-06 14:24:00 来源:igfitidea点击:
Google在搜索" site:example.com"时会告诉我们当前在Google索引中的example.com页数。是否有可能找出这个数字是如何随着时间变化的?
解决方案
HubSpot为我们做到这一点。它花钱,但是他们做很多有用的事情。
如果我们不介意等待,则可以通过cron每天解析site:example.com结果,然后等待数据建立。
我本来建议使用Google网站站长工具,但似乎没有此信息。太刺激了
无论如何,要遵循UltimateBrent的答案,此正则表达式将从Google搜索中提取值:
\d+(?=</b> from <b>domain\.net</b>)
显然,将domain \ .net更改为域是什么。
我将Python脚本设置为cron作业,以解析Google结果页中的结果并将其保存。我将其设置为每天在一组站点中运行一次。我编写了另一个脚本,以根据数据生成CSV电子表格。我可以在电子表格程序中打开它,并快速制作图表以可视化趋势。
我有用于监视PageRank的类似脚本。
从我开始检查之日起,这仍然只会提供我的数据。我不知道一种获取历史价值的方法。
我们可以使用domaintools.com
拉胡尔
http://Valdot.com