MJ12bot是什么爬虫?能不能屏蔽?

对于MJ12bot爬虫蜘蛛要看抓取次数是否很多,如果抓取次数很多,而且网站访问速度有所降低的话,就屏蔽掉,另外这种还有可能是其他采集软件伪装的搜索引擎制作,通过nslookup反查一下IP地址,如果是采集软件伪装的蜘蛛,立马封掉。

MJ12bot是什么爬虫?能不能屏蔽

MJ12bot 是英国的一家老牌的搜索引擎营销网站 Majestic 的爬虫,他有专门的中文站,对外链查询等很多 SEO 数据查询提供数据支撑,做过外链的都知道,获取外链资源是一项基本能力,这个网站可以查询网站的外链资源数,不过很多公司看到日志里有这个 MJ12bot 蜘蛛,中文是选择直接屏蔽掉(MJ12bot 是 Majestic-12 分布式搜索引擎的爬虫)

官方网址:https://zh.majestic.com/

官方给了一个修改 robots 的方法,就是在 robots.txt 文件中加入:

User-agent:MJ12bot
Disallow:/

对于MJ12bot 爬虫蜘蛛要看抓取次数是否很多,如果抓取次数很多,而且网站访问速度有所降低的话,就屏蔽掉,另外这种还有可能是其他采集软件伪装的搜索引擎制作,通过 nslookup 反查一下 IP 地址,如果是采集软件伪装的蜘蛛,立马封掉。

版权声明 1 本站名称:许天的小木屋
2 本站永久地址:https://www.ahap.cn
3 本文名称:MJ12bot是什么爬虫?能不能屏蔽?
4 本文永久链接:https://www.ahap.cn/2174.html
5 转载原文链接:https://www.wuyuymw.com/995.html
6 本篇文章由Ծ ̮ Ծ投稿,转载请注明出处:https://www.ahap.cn/2174.html
7 本资源来源于互联网,安全性未知,使用前请自行甄别
8 本资源来源于互联网,如有侵权请及时联系我们,我们将在72小时内删除侵权内容!

发表评论

登录后才能评论

400-000-0000

在线咨询:在线咨询

发送邮件:xutian@ahap.cn

工作时间:周一至周五,9:30-15:20,节假日休息