robots文件的规则及注意事项

　　robots文件的规则及注意事项

　　

　　今天跟大家分享的是网站robots协议，robots文件对于一个网站来说非常重要，它是网站与搜索引擎蜘蛛之间的一个协议。有的人会问为什么要写robots呢？举个小例子，你上班或者外出之前是否要锁你们家的门，你睡觉前是否要拉窗帘，这和网站要写robots文件一样，锁门是为了不让别人私自进你家，拉窗帘是防止别人偷窥你，网站也是一样，我们把不想让蜘蛛抓取的文件或图片等写入robots中，这样蜘蛛就不会抓取了。

　　

　　robots文件

　　

　　蜘蛛通过链接来到我们网站上抓取的第一个文件就是robots文件。下面是robots文件的语言规则：

　　

　　User-agent                                   定义抓取的搜索引擎

　　

　　Disallow                                        禁止抓取的内容具体写法如下

　　

　　Disallow: /                                     禁止全站

　　

　　Disallow: /wp-admin                   禁止抓取wp-admin文件夹中的所有文件

　　

　　Disallow: /wp-admin/car.php    禁止抓取wp-admin文件夹下的car.php文件

　　

　　Disallow: /wp-admin allow: /wp-admin/car.php 禁止抓取wp-admin文件夹中除了car.php文件的所有东西

　　

　　Disallow: /*.jpg$                          禁止抓取以jpg结尾的所有图片

　　

　　Disallow: /*?*                               禁止抓取动态路径

　　

　　robots文件注意点：1、不要轻易屏蔽全站（除非不想参与排名）

　　

　　2、Disallow首字母要大写

　　

　　3、Disallow: /  /前有个空格千万别忘

上一篇: 网站优化文章标题怎么设置？

下一篇: 怎么调整网站提升关键词排名？