男的舔女的下面视频在线播放-少妇愉情理仑片高潮日本-久久久久久国产一区二区三区-麻豆精品一区二区综合-国产精品超碰在线观看-网红极品女神精品视频在线-国产亚洲综合777-高清性视频一区二区播放-中文字幕第一页亚洲天堂

Discuz! 官方交流社區(qū)

標(biāo)題: 如何屏蔽谷歌爬蟲搜索，及其它搜索爬蟲？ [打印本頁]

作者: klg548 時間: 2023-5-31 14:36
標(biāo)題: 如何屏蔽谷歌爬蟲搜索，及其它搜索爬蟲？
如何屏蔽谷歌爬蟲搜索，及其它搜索爬蟲？有沒有什么插件可以控制的，爬蟲太平凡爬去給服務(wù)器好大壓力？

作者: 人工智能實(shí)驗室 時間: 2023-5-31 14:59
可以利用.htaccess設(shè)置搜索引擎屏蔽，例如：

SetEnvIfNoCase User-Agent "pyspider|Applebot|Apache-HttpClient|CCBot|Abonti|aggregator|AhrefsBot|YisouSpider|BLEXBot|DotBot|YandexBot|trendictionbot|MagiBot|Exabot|ScooperBot|YandexImages|SemrushBot|MJ12bot|startmebot|ltx71|DuckDuckGo|IndeedBot|SEOkicks|GrapeshotCrawler|crawler4j|Pinterestbot|StormCrawler|StormCrawler|paracrawl|StormCrawler|GrapeshotCrawler" bad_bot
Deny from env=bad_bot

復(fù)制代碼

不同的搜索引擎蜘蛛用豎線|分隔

作者: 人工智能實(shí)驗室 時間: 2023-5-31 15:01
上面的是常見的一些垃圾蜘蛛，可以拿來即用，谷歌對應(yīng)的代碼為 Googlebot 可以自己添加進(jìn)去！

作者: 手機(jī)之狼 時間: 2023-5-31 17:16

人工智能實(shí)驗室發(fā)表于 2023-5-31 15:01
上面的是常見的一些垃圾蜘蛛，可以拿來即用，谷歌對應(yīng)的代碼為 Googlebot 可以自己添加進(jìn)去！ ...

請問AspiegelBot代碼是什么？讓AspiegelBot騷擾的受不了。

作者: 文強(qiáng) 時間: 2023-5-31 18:14

手機(jī)之狼發(fā)表于 2023-5-31 17:16
請問AspiegelBot代碼是什么？讓AspiegelBot騷擾的受不了。

(, 下載次數(shù): 40)

作者: qwexiamen 時間: 2023-6-2 10:50
robots.txt放根目錄你可以去搜下寫法比較簡單 User-agent: Googlebot Disallow: /

歡迎光臨 Discuz! 官方交流社區(qū) (http://m.sdtechgong.com.cn/)