男的舔女的下面视频在线播放-少妇愉情理仑片高潮日本-久久久久久国产一区二区三区-麻豆精品一区二区综合-国产精品超碰在线观看-网红极品女神精品视频在线-国产亚洲综合777-高清性视频一区二区播放-中文字幕第一页亚洲天堂

Discuz! 官方交流社區(qū)

標(biāo)題: robots.txt 的問題 [打印本頁]

作者: wish 時(shí)間: 2026-1-20 11:23
標(biāo)題: robots.txt 的問題
請(qǐng)教先進(jìn)Discuz! X3.5 的內(nèi)建robots.txt 問題，內(nèi)建有下列4行︰;Allow: /data/attachment/;Allow: /data/avatar/;Allow: /data/cache/;Allow: /uc_server/data/avatar/;上面第1行是請(qǐng)網(wǎng)路蜘蛛去/data/attachment/ 目 ...

作者: duckweed 時(shí)間: 2026-1-20 14:32
# 允許附件目錄（用戶上傳的內(nèi)容可能有價(jià)值） Allow: /data/attachment/ # 禁止訪問快取和頭像目錄 Disallow: /data/avatar/ Disallow: /data/cache/ Disallow: /uc_server/data/avatar/ # 其他建議的禁止目錄 Disallow: /data/backup/ Disallow: /data/log/ Disallow: /data/tmp/ Disallow: /install/ Disallow: /config/ Disallow: /uc_server/data/cache/ Disallow: /uc_server/data/logs/

作者: duckweed 時(shí)間: 2026-1-20 14:40

# 允許附件目錄（用戶上傳的內(nèi)容可能有價(jià)值）
Allow: /data/attachment/
# 禁止訪問快取和頭像目錄
Disallow: /data/avatar/
Disallow: /data/cache/
Disallow: /uc_server/data/avatar/
# 其他建議的禁止目錄
Disallow: /data/backup/
Disallow: /data/log/
Disallow: /data/tmp/
Disallow: /install/
Disallow: /config/
Disallow: /uc_server/data/cache/
Disallow: /uc_server/data/logs/

復(fù)制代碼

附件目錄：用戶上傳的圖片/文件可能有價(jià)值，可以保留
頭像目錄：個(gè)人頭像對(duì) SEO 無價(jià)值，且可能涉及隱私
快取目錄：臨時(shí)文件，無索引價(jià)值，浪費(fèi)爬蟲配額
系統(tǒng)目錄：保護(hù)敏感信息和後臺(tái)路徑

建議
使用 XML 網(wǎng)站地圖：明確告訴爬蟲哪些是重要頁面
檢查實(shí)際被索引的頁面：在 Google Search Console 查看
考慮用戶隱私：特別是頭像等個(gè)人信息

作者: 湖中沉 時(shí)間: 2026-1-20 15:14
這都是標(biāo)準(zhǔn)規(guī)范，并不是DZ獨(dú)有的，搜索一下基本就知道了

作者: wish 時(shí)間: 2026-1-20 15:23

duckweed 發(fā)表于 2026-1-20 14:40
附件目錄：用戶上傳的圖片/文件可能有價(jià)值，可以保留
頭像目錄：個(gè)人頭像對(duì) SEO 無價(jià)值，且可能涉及隱私 ...

感謝回覆，針對(duì)請(qǐng)網(wǎng)路蜘蛛去/data/attachment/ 目錄抓取，但是這個(gè)目錄下面還有很多目錄，Allow: /data/attachment/ 是只同意網(wǎng)路蜘蛛抓取/data/attachment/這個(gè)目錄而已，或是連同該目錄下所有的目錄一併抓取？

作者: duckweed 時(shí)間: 2026-1-20 15:32

wish 發(fā)表于 2026-1-20 15:23
感謝回覆，針對(duì)請(qǐng)網(wǎng)路蜘蛛去/data/attachment/ 目錄抓取，但是這個(gè)目錄下面還有很多目錄，Allow: /data/a ...

Allow: /data/attachment/ 這條規(guī)則：
允許抓取 /data/attachment/ 目錄本身
同時(shí)允許抓取該目錄下所有的子目錄
包括任意層級(jí)的子目錄和所有文件

作者: 湖中沉 時(shí)間: 2026-1-20 15:34

wish 發(fā)表于 2026-1-20 15:23
感謝回覆，針對(duì)請(qǐng)網(wǎng)路蜘蛛去/data/attachment/ 目錄抓取，但是這個(gè)目錄下面還有很多目錄，Allow: /data/a ...

除非有進(jìn)一步的禁止命令，否則就是覆蓋子級(jí)的

作者: duckweed 時(shí)間: 2026-1-20 15:36

wish 發(fā)表于 2026-1-20 15:23
感謝回覆，針對(duì)請(qǐng)網(wǎng)路蜘蛛去/data/attachment/ 目錄抓取，但是這個(gè)目錄下面還有很多目錄，Allow: /data/a ...

Allow: /data/attachment/
誤解：只允許目錄本身
錯(cuò)誤理解：只允許訪問 http://example.com/data/attachment/（目錄列表頁）
實(shí)際情況：目錄下的所有內(nèi)容都允許

限制訪問深度：
明確禁止子目錄
Allow: /data/attachment/
Disallow: /data/attachment/*/
# 這表示允許文件，但禁止子目錄

作者: duckweed 時(shí)間: 2026-1-20 15:38
事實(shí)上，作為一名 spider，是不會(huì)看和遵守這個(gè)協(xié)議的。採集的深度是看需求的程度，當(dāng)然我也明白你這個(gè)協(xié)議是以後法律的依據(jù)

作者: cockli 時(shí)間: 2026-1-20 15:39
好的知曉

作者: wish 時(shí)間: 2026-1-20 16:54

湖中沉發(fā)表于 2026-1-20 15:14
這都是標(biāo)準(zhǔn)規(guī)范，并不是DZ獨(dú)有的，搜索一下基本就知道了

謝謝回覆，我有嘗試先搜尋答案，不過我搜尋到的都只寫同意收錄xx，不同意收錄xx，我是想知道是否包含該目錄下的子目錄。

作者: wish 時(shí)間: 2026-1-20 16:55

duckweed 發(fā)表于 2026-1-20 15:32
Allow: /data/attachment/ 這條規(guī)則：
允許抓取 /data/attachment/ 目錄本身
同時(shí)允許抓取該目錄下所有的 ...

感謝你的解答，我了解了。

作者: wish 時(shí)間: 2026-1-20 16:55

湖中沉發(fā)表于 2026-1-20 15:34
除非有進(jìn)一步的禁止命令，否則就是覆蓋子級(jí)的

受教了:handshake

作者: wish 時(shí)間: 2026-1-20 17:04
再請(qǐng)教，static 這個(gè)目錄，robots.txt 裡面既沒有Allow，也沒有Disallow，那網(wǎng)路蜘蛛會(huì)如何處置？謝謝

作者: 湖中沉 時(shí)間: 2026-1-20 17:16

wish 發(fā)表于 2026-1-20 17:04
再請(qǐng)教，static 這個(gè)目錄，robots.txt 裡面既沒有Allow，也沒有Disallow，那網(wǎng)路蜘蛛會(huì)如何處置？謝謝 ...

沒禁止一般默認(rèn)為可訪問。但這個(gè)里面都是靜態(tài)資源，訪問與否只在于頁面效果，不影響收錄

作者: wish 時(shí)間: 2026-1-20 18:46

湖中沉發(fā)表于 2026-1-20 17:16
沒禁止一般默認(rèn)為可訪問。但這個(gè)里面都是靜態(tài)資源，訪問與否只在于頁面效果，不影響收錄 ...

感謝你解惑，我了解了。

作者: lanxiaoxiao 時(shí)間: 2026-1-23 17:25
比如a/b/
那么就是b目錄下的所有，都可以抓取。。

作者: lanxiaoxiao 時(shí)間: 2026-1-23 17:26
而不僅僅是只能抓取b。
比如a/b/c和a/b/d，這2個(gè)都是可以抓取到的。

歡迎光臨 Discuz! 官方交流社區(qū) (http://m.sdtechgong.com.cn/)