判断识别百度蜘蛛真假的方法

对于很多刚入行的人来说,对网站的一系列工作比较陌生,在分析网站日志的时候,对于百度蜘蛛这方面还不甚了解,不知道百度蜘蛛到底是真是假。今天,就为大家分享下自身的实操过程。

如何判断识别百度蜘蛛真假?

1、我是经常会用光年日志分析工具分析网站日志的,可以很清楚的看到一些抓取页面的状态码以及蜘蛛ip段。

2、按win+r键(也可以点击开始,搜索中输入“cmd”命令符,点击cmd.exe),输入cmd回车。

3、这时,就可以查百度蜘蛛ip进行分析,来判断这个蜘蛛是否来自百度搜索引擎。

4、window系统,可以使用nslookup ip命令反解ip来判断是否来自Baiduspider的抓取。若名称是以*.baidu.com 或*.baidu.jp 的格式命名就是真的,反之就是假的。如下图中查询的就是真的。

判断识别百度蜘蛛真假的方法

5、linux系统,可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。查询判断如上所示。

6、mac os系统,可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。查询判断如上所示。

好了,关于如何判断识别百度蜘蛛真假这个问题想必大家现在已经很清楚了。建议大家在发现有假百度蜘蛛频繁进行抓取的时候封禁他的ip。

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享
评论 抢沙发

请登录后发表评论