如何屏蔽國外垃圾蜘蛛爬蟲服務器經(jīng)常爬死機卡得很

klg548

如何屏蔽國外垃圾蜘蛛爬蟲服務器經(jīng)常爬死機卡得很，帶寬10M就一個論壇程序，
重啟服務器后登陸網(wǎng)站快得很，過2小時后登陸網(wǎng)站就卡，查看日志分別就是這三爬蟲不停爬取網(wǎng)站。
WebMeUp   Semrush  Other

措施1偽靜態(tài)

if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|Other|Semrush|WebMeUp|SM-G900P))
{
return 403;
}
措施2  robots.txt

User-agent: WebMeUp
Disallow: /

User-agent: Other
Disallow: /

User-agent: Semrush
Disallow: /



措施3服務器防火墻屏蔽IP

登錄/注冊后可看大圖

措施4  購買安全防御方面插件輔助

登錄/注冊后可看大圖

還是防不住這些爬蟲。WebMeUp   Semrush  Other 馬牛馬牛啊  真邪門?望高手指點一下方法。謝謝

1 貢獻

最佳答案

如果確定是 垃圾蜘蛛的話, 直接用

if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|Other|Semrush|WebMeUp|SM-G900P))
{
return 403;
}

這樣的規(guī)則應該就可以了的, 如果屏蔽之后 還沒大幅度好轉 就是還有 其他垃圾蜘蛛 或者是 垃圾ip再大量訪問


具體的 要 分析web日志 才行;


當然, 如果沒有海外用戶,  可以直接屏蔽所有的海外ip,  你截圖的那個 ip地區(qū)訪問限制 插件是可以通過 關鍵字 屏蔽  海外的 地區(qū)或國家的;




最節(jié)省資源的方法是:  分析web日志, 找出惡意訪問的ip , 然后使用  防火墻攔截

• 天外飄仙
• 發(fā)表于2025-8-13 17:41:25
• 詳細答案 >

天外飄仙

如果確定是 垃圾蜘蛛的話, 直接用

if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|Other|Semrush|WebMeUp|SM-G900P))
{
return 403;
}

這樣的規(guī)則應該就可以了的, 如果屏蔽之后 還沒大幅度好轉 就是還有 其他垃圾蜘蛛 或者是 垃圾ip再大量訪問


具體的 要 分析web日志 才行;


當然, 如果沒有海外用戶,  可以直接屏蔽所有的海外ip,  你截圖的那個 ip地區(qū)訪問限制 插件是可以通過 關鍵字 屏蔽  海外的 地區(qū)或國家的;




最節(jié)省資源的方法是:  分析web日志, 找出惡意訪問的ip , 然后使用  防火墻攔截

文強

如果你用的是 Apache ，偽靜態(tài)規(guī)則這樣寫可以阻止蜘蛛訪問

1. RewriteCond %{HTTP_USER_AGENT} SemrushBot [NC]
   
2. RewriteRule .* - [F,L]

復制代碼

湖中沉

從根源上，最好是服務器nginx層面攔截，php層面再攔截，實際上已經(jīng)消耗了大量資源了