400-685-0732

WJMonitor舆情之声

企业大数据智能舆情监测管理解决方案

全网监测海量数据按需发布监测预警

实时把握舆情动态精准追溯信息源头

盘一盘,关于robots文件的那些事

盘一盘,关于robots文件的那些事

arthur 暂无评论
SEO知识

说到robots文件,SEOer都知道它是用来干什么的。没错,就是你想的那样~
robots.txt是用来告诉搜索引擎网站上哪些内容可以被访问、哪些不能被访问。当搜索引擎访问一个网站的时候,它首先会检查网站是否存在robots.txt,如果有则会根据文件命令访问有权限的文件。概括下来主要有四点:
1、保护网站安全
2、节省流量
3、禁止搜索引擎收录部分页面
4、引导蜘蛛爬网站地图
相信以上就是大部分的人对于robots文件的了解了。不用怀疑,因为我之前也是这样的。直到前两天给到大神看了看我写的一条禁止规则,大神说,你写的这个好像有些不太对劲。我心想,我是参照这个网站现有的格式来的呀,怎么会不对呢?于是乎,就去找了一些关于robots文件的书写规范,内容如下,供有这方面需求的seoer享用:
一、robots.txt的写法与步骤
1、定义搜索引擎
用User-agent:来定义搜索引擎,其中*表示所有,Baiduspider表示百度蜘蛛,Googlebot表示谷歌蜘蛛。
也就是说User-agent:*表示定义所有蜘蛛,User-agent:Baiduspider表示定义百度蜘蛛。
2、禁止与允许访问
Disallow: /表示禁止访问,Allow: /表示允许访问。
在写robots.txt时需特别注意的是,/前面有一个英文状态下的空格(必须是英文状态下的空格)。
3、禁止搜索引擎访问网站中文件夹
1)禁止搜索引擎访问网站中的某几个文件夹,以a、b、c为例,写法分别如下:
Disallow: /a/
Disallow: /b/
Disallow: /c/
2)禁止搜索引擎访问文件夹中的某一类文件,以a文件夹中的js文件为例,写法如下:
Disallow: /a/*.js
4、只允许某个搜索引擎访问,以Baiduspider为例,写法如下:
User-agent: Baiduspider
Disallow:
5、禁止访问网站中的动态页面
User-agent: *
Disallow: /*?*
6、只允许搜索引擎访问某类文件,以”.htm”为后缀的URL为例,写法如下:
User-agent: *
Allow: /*.htm$
Disallow: /
7、禁止某个搜索引擎抓取网站上的所有图片,以Baiduspider为例,写法如下:
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
二、robots.txt文件存放位置
robots.txt文件存放在网站根目录下,并且文件名所有字母都必须小写。
三、注意事项
1、在写robots.txt文件时语法一定要用对,User-agent、Disallow、Allow、Sitemap这些词都必须是第一个字母大写,后面的字母小写,而且在:后面必须带一个英文字符下的空格。
2、网站上线之前切记写robots.txt文件禁止蜘蛛访问网站,如果不会写就先了解清楚写法之后再写,以免给网站收录带来不必要的麻烦。
3、robots.txt文件生效时间不定,站长自身无法控制。但是,站长可以在百度统计中查看网站robots.txt文件是否生效。
文军二维码

推荐阅读

WJMonitor试用

站内搜索