SEO域名知识丨百度真假蜘蛛IP如何识别?判断百度蜘蛛的鉴别方法

很多SEO从业者特别是刚接触这个行业的经常会问一个问题,百度蜘蛛是什么?我们可以理解为百度蜘蛛是用来抓取网站链接的IP。经常听说百度蜘蛛来的太频繁,服务器会被抓爆。如果不能识别百度蜘蛛,怎么知道百度蜘蛛抓到爆炸了?也有百度蜘蛛不来的情况。还有很多站点想获取百度蜘蛛的IP段,把IP加入白名单,但是无法识别百度IP。

怎样才能识别出正确的百度蜘蛛?加油,正确识别百度蜘蛛只需要做两件事。

一、查UA。如果UA都不正确,可以直接判断不是百度搜索到的蜘蛛。目前已经向公众公布的UA是:

移动UA:Mozilla/5.0(Linux;u;安卓4 . 2 . 2;zh-cn;)AppleWebKit/534.46 (KHTML,likeGecko)版本/5.1手机Safari/10600.6.3(兼容;baiduspider/2.0;+http://www . Baidu . com/search/spider . html)

PC UA:Mozilla/5.0(兼容;baiduspider/2.0;+http://www . Baidu . com/search/spider . html)

添加渲染UA:

手机UA:UA:Mozilla/5.0(iPhone;CPU iPhone OS 9 _ 1 like MAC OS X)apple WebKit/601 . 1 . 46(KHTML,like Gecko)版本/9.0 Mobile/13B143 Safari/601.1(兼容;baiduspider-render/2.0;+http://www . Baidu . com/search/spider . html)

PC UA:Mozilla/5.0(兼容;baiduspider-render/2.0;+http://www . Baidu . com/search/spider . html)

第二,反向检查IP

站长可以通过DNS查IP来判断一个蜘蛛是否来自百度搜索引擎。根据linux/Windows/os等不同平台上验证方法的不同,验证方法如下:

正确识别百度蜘蛛

(1)在linux平台下,可以使用host ip命令对ip进行解码,判断是否来自Baiduspider。Baiduspider的主机名以.baidu.com或.baidu.jp的格式命名,如果不是.baidu.com或 .baidu.jp,就是冒名顶替。

(2)在windows平台或IBM OS/2平台下,可以使用nslookup ip命令解析ip来判断是否来自Baiduspider。打开命令处理器,输入nslookupxxx.xxx.xxx (ip地址)解析ip,从而确定是否被Baiduspider抓取。Baiduspider的主机名以.baidu.com或者.baidu.jp的格式命名,如果不是.baidu.com或者 .baidu.jp就是冒名顶替。

(3)在mac os平台下,可以使用dig命令反推ip,判断是否来自Baiduspider。打开命令处理器,输入dig xxx.xxx.xxx.xxx(ip地址)解析ip,确定是否被Baiduspider抓取。Baiduspider的主机名以.baidu.com或者.baidu.jp的格式命名,如果不是.baidu.com或者 .baidu.jp就是冒名顶替。

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容