男的舔女的下面视频在线播放-少妇愉情理仑片高潮日本-久久久久久国产一区二区三区-麻豆精品一区二区综合-国产精品超碰在线观看-网红极品女神精品视频在线-国产亚洲综合777-高清性视频一区二区播放-中文字幕第一页亚洲天堂

Discuz! 官方交流社區(qū)

標(biāo)題: 如何屏蔽國(guó)外垃圾蜘蛛爬蟲(chóng)服務(wù)器經(jīng)常爬死機(jī)卡得很 [打印本頁(yè)]

作者: klg548 時(shí)間: 2025-8-13 00:28
標(biāo)題: 如何屏蔽國(guó)外垃圾蜘蛛爬蟲(chóng)服務(wù)器經(jīng)常爬死機(jī)卡得很
如何屏蔽國(guó)外垃圾蜘蛛爬蟲(chóng)服務(wù)器經(jīng)常爬死機(jī)卡得很，帶寬10M就一個(gè)論壇程序，
重啟服務(wù)器后登陸網(wǎng)站快得很，過(guò)2小時(shí)后登陸網(wǎng)站就卡，查看日志分別就是這三爬蟲(chóng)不停爬取網(wǎng)站。
WebMeUp Semrush  Other

措施1偽靜態(tài)

if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|Other|Semrush|WebMeUp|SM-G900P))
{
return 403;
}
措施2  robots.txt

User-agent: WebMeUp
Disallow: /

User-agent: Other
Disallow: /

User-agent: Semrush
Disallow: /

措施3服務(wù)器防火墻屏蔽IP

(, 下載次數(shù): 55)

措施4  購(gòu)買(mǎi)安全防御方面插件輔助
(, 下載次數(shù): 50)

還是防不住這些爬蟲(chóng)。WebMeUp Semrush  Other 馬牛馬牛啊  真邪門(mén)?望高手指點(diǎn)一下方法。謝謝

作者: 天外飄仙 時(shí)間: 2025-8-13 17:41
如果確定是垃圾蜘蛛的話, 直接用

if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|Other|Semrush|WebMeUp|SM-G900P))
{
return 403;
}

這樣的規(guī)則應(yīng)該就可以了的, 如果屏蔽之后還沒(méi)大幅度好轉(zhuǎn) 就是還有其他垃圾蜘蛛或者是垃圾ip再大量訪問(wèn)

具體的要分析web日志才行;

當(dāng)然, 如果沒(méi)有海外用戶, 可以直接屏蔽所有的海外ip, 你截圖的那個(gè) ip地區(qū)訪問(wèn)限制插件是可以通過(guò) 關(guān)鍵字屏蔽海外的地區(qū)或國(guó)家的;

最節(jié)省資源的方法是: 分析web日志, 找出惡意訪問(wèn)的ip , 然后使用防火墻攔截

作者: 文強(qiáng) 時(shí)間: 2025-8-13 20:22
如果你用的是 Apache ，偽靜態(tài)規(guī)則這樣寫(xiě)可以阻止蜘蛛訪問(wèn)

RewriteCond %{HTTP_USER_AGENT} SemrushBot [NC]
RewriteRule .* - [F,L]

復(fù)制代碼

作者: 湖中沉 時(shí)間: 2025-8-13 21:33
從根源上，最好是服務(wù)器nginx層面攔截，php層面再攔截，實(shí)際上已經(jīng)消耗了大量資源了

歡迎光臨 Discuz! 官方交流社區(qū) (http://m.sdtechgong.com.cn/)