前段时间网站发现被无聊的人攻击了,注入了一些垃圾内容,删除挂马内容以后,发现登入日志里面的匿名登录有来自很多异地的ip,于是就果断在服务器将不是本地的ip全部屏蔽掉,观察了一段时间发现出现索引量和抓取异常数据都出现了问题,索引量下降并且抓取数据显示12%的抓取失败。
用云观测和百度抓取诊断工具都没有发现什么异常,但是从网站异常开始的时间段来看,正好是我在服务器后台封禁ip操作的那个点,所以我判断可能是屏蔽的ip段里面一不小心把百度蜘蛛ip也给屏蔽了,导致部分百度蜘蛛无法正常抓取网站内容,进而导致索引量下降。那么,我们该如何鉴别真实的百度蜘蛛ip段?
除了使用专业的工具来检测外,我们用更简单的方法就是使用电脑自带的DOS命令来查看,如上图,我们就以我封禁的这两个IP段220.181.108.34和191.43.21.1举例:
(1)开始—运行—输入cmd ,在dos界面输入命令nslookup +ip(你要查询的ip地址)
(2)如果是真实的百度蜘蛛ip段,代码中会有出现类似:名称:baiduspider
(3)如果不是真实的百度蜘蛛ip段,则不会出现baiduspider而出现其它或者超时之类
说到抓取异常对网站的些影响,我想应该很多人都比较熟悉,对于大量内容无法正常抓取的网站,搜索引擎会认为网站存在用户体验上的缺陷,并降低对网站的评价,在抓取、索引、权重上都会受到一定程度的负面影响,最终影响到网站从百度获取的流量。虽然因为网站被恶意ip以及垃圾评论侵扰的时候,大部分站长都会采用ip屏蔽的方法来解决,但是为了避免百度蜘蛛的ip被屏蔽,我们还是要正确辨别处理。
很少在屏蔽IP的。
看来还是不要一刀切好啊
我最近是被别人手动抓取
中木马,把百度蜘蛛引苞米地里去了。
哈哈,总有那么一群人喜欢那么干
挺好的,祝你快乐
这个好,实用