discuz關(guān)于禁止SemrushBot等爬蟲的問題

chunge327

這兩天發(fā)現(xiàn)SemrushBot這個(gè)爬蟲爬的很頻繁  一分鐘能爬十來次
robot.txt中是這樣填寫的嗎

1. User-agent: MJ12bot
   
2. Disallow: /
   
3. User-agent: SemrushBot
   
4. Disallow: /

復(fù)制代碼

直接在robot尾部加的嗎？還是有什么其它的方法可以屏蔽掉這些垃圾爬蟲

我知道答案 回答被采納將會(huì)獲得1 貢獻(xiàn) + 1 金幣 已有1人回答

babyfacer

你可以網(wǎng)上找一下這些蜘蛛的IP，連IP也屏蔽了【慎重，別搞錯(cuò)了】