男的舔女的下面视频在线播放-少妇愉情理仑片高潮日本-久久久久久国产一区二区三区-麻豆精品一区二区综合-国产精品超碰在线观看-网红极品女神精品视频在线-国产亚洲综合777-高清性视频一区二区播放-中文字幕第一页亚洲天堂

Discuz! 官方交流社區(qū)

標(biāo)題: discuz關(guān)于禁止SemrushBot等爬蟲的問題 [打印本頁]

作者: chunge327 時(shí)間: 2022-11-27 17:29
標(biāo)題: discuz關(guān)于禁止SemrushBot等爬蟲的問題
這兩天發(fā)現(xiàn)SemrushBot這個(gè)爬蟲爬的很頻繁一分鐘能爬十來次
robot.txt中是這樣填寫的嗎

User-agent: MJ12bot
Disallow: /
User-agent: SemrushBot
Disallow: /

復(fù)制代碼

直接在robot尾部加的嗎？還是有什么其它的方法可以屏蔽掉這些垃圾爬蟲

作者: babyfacer 時(shí)間: 2022-11-27 20:27
你可以網(wǎng)上找一下這些蜘蛛的IP，連IP也屏蔽了【慎重，別搞錯(cuò)了】

歡迎光臨 Discuz! 官方交流社區(qū) (http://m.sdtechgong.com.cn/)