robots文件在SEO中的作用

robots文件在SEO中的作用

leo 暂无评论
SEO技术

什么是robots文件?就是在网站的域名后面加入“/robots.txt”,即可打开该网站的robots文件。文件里显示的内容是要告诉搜索引擎哪些网页希望被抓取,哪些不希望被抓取。因为网站中有一些无关紧要的网页,如“给我留言”或“联系方式”等网页,他们并不参与SEO排名,只是为了给用户看,此时可以利用robots文件把他们屏蔽,即告诉搜索引擎不要抓取该页面。

蜘蛛抓取网页的精力是有限的,即它每次来抓取网站,不会把网站所有文章、所有页面一次性全部抓取,尤其是当网站的内容越来越多时,它每次只能抓取一部分。那么怎样让他在有限的时间和精力下每次抓取更多希望被抓去的内容,从而提高效率呢?

这个时候我们就应该利用robots文件。小型网站没有该文件无所谓,但对于中大型网站来说,robots文件尤为重要,因为这些网站数据库非常庞大,蜘蛛来时,要像对待好朋友一样给它看最重要的东西,因为这个朋友精力有限,每次来都不能把所有的东西看一遍,所以就需要robots文件屏蔽一些无关紧要的东西。由于种种原因,某些文件不想被搜索引擎抓取,如处于隐私保护的内容,也可以用robots文件把搜索引擎屏蔽。

当然,有些人会问,如果robots文件没用好或出错了,会影响整个网站的收录,那为什么还有这个文件呢?这句话中的“出错了”是指将不该屏蔽的网址屏蔽了,导致蜘蛛不能抓取这些页面,这样搜索引擎就不会收录他们,那何谈排名呢?所以robots问价的格式一定要正确。下面我们一起来了解robots文件的用法:

1.“user-agent:*disallow:/”表示“禁止所有搜索引擎访问网站的任何部分”,这相当于该网站在搜索引擎里没有记录,也就谈不上排名。

2.“user-agent:*disallow:”表示“允许所有的robots访问”,即允许蜘蛛任意抓取并收录该网站。这里需要注意,前两条语法之间只相差一个“/”。

3.“user-agent:badbot disallow:/”表示“禁止某个搜索引擎的访问”。

4.“user-agent:baiduspider disallow:user-agent:*disallow:/”表示“允许某个搜索引擎的访问”。这里面的“baiduspider”是百度蜘蛛的名称,这条语法即是允许百度抓取该网站,而不允许其他搜索引擎抓取。

最后我们来看看使用robots文件应该注意什么?首先,在不确定文件格式怎么写之前,可以先新建一个文本文档,注意robots文件名必须是robots.txt,其后缀是txt并且是小写的,不可以随便更改,否则搜索引擎识别不了。然后打开该文件,可以直接复制粘贴别人的格式。

Robots文件格式是一条命令一行,下一条命令必须换行。还有,“disallow: ”后面必须有一个空格,这是规范写法。
文军二维码

今日说说

    问:做什么事情会让你成就感爆棚?

    答:做让你感觉心理畏惧的事情,做完之后你会发现,去TMD,不过如此。

站内搜索