各位老鐵大家好，上次我們分享了一個小技巧，《如何防止對手用builtwith輕松扒我們網站》。我們這次再分享一個威力加強版，以這個網站為例，我們餓用builtwith看到他屏蔽了一些常用的爬網站流量的工具，比如：semrush, ahrefs, majestic,? 
熟悉獨立站的同學都知道我們經常用三駕馬車——similarweb, semrush, ahrefs去把隔壁老王扒得內（和諧）褲都不剩。所以當我們網站流量起來，也要學會防止老王反爬我們，還是很有必要的，那具體怎么做呢？只要把下面的代碼，分別加到你網站的?robots.txt一般你的SEO負責人，IT或者網管都會知道怎么做。詳情參考官方文檔,我在這里面已經列在下面了：
Semrush用以下代碼
官方說明：https://www.semrush.com/bot/ser-agent: SemrushBotDisallow: /
Ahrefs用以下代碼
官方說明：https://ahrefs.com/robot
User-agent: AhrefsBot
Disallow: /
Majestic用以下代碼
官方說明：https://www.mj12bot.com/index.html
User-agent: MJ12bot
Disallow: /
BuiltWith
http://builtwith.com/removals
Similar比較牛逼，我暫時沒找到很好的辦法弄他，知道的老鐵可以告訴我，但當我們的網站大到足矣入Simiarweb法眼的且數據還準確的時候，我們又有何懼哉？上面幾個加了，那基本上就可以防止至少大半老王去爬你的網站了，當然這個更多防君子不防小人了，至少增加他們研究我們的難度。大家有任何問題，歡迎隨時跟我繼續交流啊！謝謝大家！
作者：Alan 來源：Alan
本文為作者獨立觀點，不代表出海筆記立場，如若轉載請聯系原作者。
