robots.txt |
发表时间:2009-8-22 18:57:47 天气状况: 心情指数: 浏览次数: |
什么是robots.txt文件？ robots.txt文件就是与搜索引擎达成一定协议的文件内容。它可以告诉搜索引擎哪些需要收录哪些不需要收录。robots.txt文件内容一般不要乱写否则会出现问题导致自己的网站不被搜索引擎收录，它具有以下特点：
1、robots.txt文件必须放在网站根目录下。如：http://www.jsseo.net/robots.txt
2、robots.txt文件包含两个函数代码形式：User-agent和 Disallow。
Disallow:代表不收录，具体格式形式为Disallow：/blog,这代表http://www.jsseo.net/blog下所有文件都不被搜索引擎收录。
3、不要对robots.txt文件名拼写错误，否则搜索引擎不认识。
4、robots.txt是以文本文件为扩展名，切忌不要随意更改。
其实它的作用很大，当搜索机器人（搜索蜘蛛）访问站点时，会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。
转载请标注：南京网站推广 作者：人间消逝@企业网站推广
本文JSSEO版权所有，转载必须加入本网转载信息与链接，否则转载必究。 |
|
|
|
