https站点抓取耗时

https站点抓取耗时

viker 暂无评论
SEO技术

最近,搞一个新站收录的时候,原先一直抓取频次很低的一个https站点,今天例行检查该站发现抓取频次突然升高了很多,由原先的一天七八次突然上升至四五十次。但是再仔细一看,抓取时间也太长了,请看下图:

 

 

 

 

 

 

 

 

 

 

 

 

这是一个https站点,平均值接近2s,但是实际访问的时候页面打开速度均为<1s;然后我又查看了另外一个https站点,如下图:

 

 

 

 

 

 

 

 

 

 

 

那么http站点是怎样的呢?

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

由上面的信息我们可以看到http站点的蜘蛛访问速度基本都在1s左右,不会说接近2s,但是从我分析2个https站点长时间的一个数据来看,基本都在2s甚至更长。

why?

分析原因,答案还是重定向。特别是https站点,无论是用户还是蜘蛛都需要经过301跳转才能访问到最终页面,这样就会给平均时间加倍,那么平均时间长会有哪些影响呢?

1 在蜘蛛访问时间分配固定的情况下,平均耗时长大大降低蜘蛛爬行效率。

2 蜘蛛爬行1个页面耗时,蜘蛛对于页面的信任值降低,不利于收录。

那么有什么解决方案呢?

针对https站点,https协议相对于http协议安全性更高,对于站长来说,安全性比起SEO,肯定是安全性占据第一位。那么,如何在https站点保证安全性又能解决蜘蛛平均访问耗时长的问题?对于真实用户,可以保持访问协议不变,采用全站https,而针对爬行的蜘蛛,可以采用全站http,这样安全性得到了保障,同时,蜘蛛访问效率也提高了。

 

 

 

 

 

 

 

 

 

 

 

 
文军二维码

今日说说

    问:做什么事情会让你成就感爆棚?

    答:做让你感觉心理畏惧的事情,做完之后你会发现,去TMD,不过如此。

站内搜索