防止对手用工具扒皮你的独立站加强版
2023-03-12 22:21:28
66
我们这次再分享一个威力加强版，以这个网站为例，我们饿用builtwith看到他屏蔽了一些常用的爬网站流量的工具，比如：semrush, ahrefs, majestic, 
熟悉独立站的同学都知道我们经常用三驾马车——similarweb, semrush, ahrefs去把隔壁老王扒得内（和谐）裤都不剩。所以当我们网站流量起来，也要学会防止老王反爬我们，还是很有必要的，那具体怎么做呢？只要把下面的代码，分别加到你网站的 robots.txt一般你的SEO负责人，IT或者网管都会知道怎么做。详情参考官方文档,我在这里面已经列在下面了：
熟悉独立站的同学都知道我们经常用三驾马车——similarweb, semrush, ahrefs去把隔壁老王扒得内（和谐）裤都不剩。所以当我们网站流量起来，也要学会防止老王反爬我们，还是很有必要的，那具体怎么做呢？只要把下面的代码，分别加到你网站的 robots.txt一般你的SEO负责人，IT或者网管都会知道怎么做。详情参考官方文档,我在这里面已经列在下面了：Semrush用以下代码
官方说明：https://www.semrush.com/bot/ser-agent: SemrushBotDisallow: /Ahrefs用以下代码
官方说明：https://ahrefs.com/robotUser-agent: AhrefsBot
Disallow: /
Majestic用以下代码
官方说明：https://www.mj12bot.com/index.htmlUser-agent: MJ12bot
Disallow: /
Similar比较牛逼，我暂时没找到很好的办法弄他，知道的老铁可以告诉我，但当我们的网站大到足矣入Simiarweb法眼的且数据还准确的时候，我们又有何惧哉？上面几个加了，那基本上就可以防止至少大半老王去爬你的网站了，当然这个更多防君子不防小人了，至少增加他们研究我们的难度。大家有任何问题，欢迎随时跟我继续交流啊！谢谢大家
我们建了一个亚马逊卖家交流群，里面不乏很多大卖家。
现在扫码回复“ 加群 ”，拉你进群。
0 赞
最新
热门文章
*30分钟更新一次
1681370192
1681370192
1724834806
1724834806
1724144057
1724144057
1676464232
1676464232
1643010146
1643010146
