Googlebot 访问与抓取: 引申伪静态权重优化

　　我在12月7日对些网站加入了禁止 Googlebot 访问的 “robots.txt” 文件。

　　可以看到，效果是非常明显：Googlebot 12月7日当天来访问时抓取 URL 受到了限制（详见下图）。同时在搜索引擎结果中的相关内容也被清空。

　　但是发现一个现像，Googlebot 对网站中的物理页面和调用数据库文件是区别对待的（伪静态内容未被清空）。其反应时间也不尽相同。