MJ12bot是什么爬虫?能不能屏蔽?

释放双眼,带上耳机,听听看~!

对于MJ12bot爬虫蜘蛛要看抓取次数是否很多,如果抓取次数很多,而且网站访问速度有所降低的话,就屏蔽掉,另外这种还有可能是其他采集软件伪装的搜索引擎制作,通过nslookup反查一下IP地址,如果是采集软件伪装的蜘蛛,立马封掉。

MJ12bot是什么爬虫?能不能屏蔽

MJ12bot 是英国的一家老牌的搜索引擎营销网站 Majestic 的爬虫,他有专门的中文站,对外链查询等很多 SEO 数据查询提供数据支撑,做过外链的都知道,获取外链资源是一项基本能力,这个网站可以查询网站的外链资源数,不过很多公司看到日志里有这个 MJ12bot 蜘蛛,中文是选择直接屏蔽掉(MJ12bot 是 Majestic-12 分布式搜索引擎的爬虫)

官方网址:点击前往

官方给了一个修改 robots 的方法,就是在 robots.txt 文件中加入:

User-agent:MJ12bot
Disallow:/

对于MJ12bot 爬虫蜘蛛要看抓取次数是否很多,如果抓取次数很多,而且网站访问速度有所降低的话,就屏蔽掉,另外这种还有可能是其他采集软件伪装的搜索引擎制作,通过 nslookup 反查一下 IP 地址,如果是采集软件伪装的蜘蛛,立马封掉。

给TA买糖
共{{data.count}}人
人已赞赏
默认

网站关键词排名应该如何SEO优化?

2021-4-5 17:32:10

WordPress主题默认

Hunter wordpress个人博客主题

2021-4-10 12:32:41

声明:本站上的部份代码及教程来源于互联网,仅供网友学习交流,若您喜欢本文可附上原文链接随意转载。无意侵害您的权益,请发送邮件至 xutian@ahap.cn 或点击右侧 私信:许天娱乐 反馈,我们将尽快处理。
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
购物车
优惠劵
有新私信 私信列表
搜索