男的舔女的下面视频在线播放-少妇愉情理仑片高潮日本-久久久久久国产一区二区三区-麻豆精品一区二区综合-国产精品超碰在线观看-网红极品女神精品视频在线-国产亚洲综合777-高清性视频一区二区播放-中文字幕第一页亚洲天堂

Discuz! 官方交流社區(qū)

標(biāo)題: robots.txt 的問題 [打印本頁]

作者: wish    時(shí)間: 2026-1-20 11:23
標(biāo)題: robots.txt 的問題
請(qǐng)教先進(jìn)Discuz! X3.5 的內(nèi)建robots.txt 問題,內(nèi)建有下列4行︰;Allow: /data/attachment/;Allow: /data/avatar/;Allow: /data/cache/;Allow: /uc_server/data/avatar/;上面第1行是請(qǐng)網(wǎng)路蜘蛛去/data/attachment/ 目 ...
作者: duckweed    時(shí)間: 2026-1-20 14:32
# 允許附件目錄(用戶上傳的內(nèi)容可能有價(jià)值) Allow: /data/attachment/  # 禁止訪問快取和頭像目錄 Disallow: /data/avatar/ Disallow: /data/cache/ Disallow: /uc_server/data/avatar/  # 其他建議的禁止目錄 Disallow: /data/backup/ Disallow: /data/log/ Disallow: /data/tmp/ Disallow: /install/ Disallow: /config/ Disallow: /uc_server/data/cache/ Disallow: /uc_server/data/logs/
作者: duckweed    時(shí)間: 2026-1-20 14:40


  1. # 允許附件目錄(用戶上傳的內(nèi)容可能有價(jià)值)
  2. Allow: /data/attachment/

  3. # 禁止訪問快取和頭像目錄
  4. Disallow: /data/avatar/
  5. Disallow: /data/cache/
  6. Disallow: /uc_server/data/avatar/

  7. # 其他建議的禁止目錄
  8. Disallow: /data/backup/
  9. Disallow: /data/log/
  10. Disallow: /data/tmp/
  11. Disallow: /install/
  12. Disallow: /config/
  13. Disallow: /uc_server/data/cache/
  14. Disallow: /uc_server/data/logs/
復(fù)制代碼

附件目錄:用戶上傳的圖片/文件可能有價(jià)值,可以保留
頭像目錄:個(gè)人頭像對(duì) SEO 無價(jià)值,且可能涉及隱私
快取目錄:臨時(shí)文件,無索引價(jià)值,浪費(fèi)爬蟲配額
系統(tǒng)目錄:保護(hù)敏感信息和後臺(tái)路徑

建議
使用 XML 網(wǎng)站地圖:明確告訴爬蟲哪些是重要頁面
檢查實(shí)際被索引的頁面:在 Google Search Console 查看
考慮用戶隱私:特別是頭像等個(gè)人信息
作者: 湖中沉    時(shí)間: 2026-1-20 15:14
這都是標(biāo)準(zhǔn)規(guī)范,并不是DZ獨(dú)有的,搜索一下基本就知道了
作者: wish    時(shí)間: 2026-1-20 15:23
duckweed 發(fā)表于 2026-1-20 14:40
附件目錄:用戶上傳的圖片/文件可能有價(jià)值,可以保留
頭像目錄:個(gè)人頭像對(duì) SEO 無價(jià)值,且可能涉及隱私 ...

感謝回覆,針對(duì)請(qǐng)網(wǎng)路蜘蛛去/data/attachment/ 目錄抓取,但是這個(gè)目錄下面還有很多目錄,Allow: /data/attachment/ 是只同意網(wǎng)路蜘蛛抓取/data/attachment/這個(gè)目錄而已,或是連同該目錄下所有的目錄一併抓取?
作者: duckweed    時(shí)間: 2026-1-20 15:32
wish 發(fā)表于 2026-1-20 15:23
感謝回覆,針對(duì)請(qǐng)網(wǎng)路蜘蛛去/data/attachment/ 目錄抓取,但是這個(gè)目錄下面還有很多目錄,Allow: /data/a ...

Allow: /data/attachment/ 這條規(guī)則:
允許抓取 /data/attachment/ 目錄本身
同時(shí)允許抓取該目錄下所有的子目錄
包括任意層級(jí)的子目錄和所有文件

作者: 湖中沉    時(shí)間: 2026-1-20 15:34
wish 發(fā)表于 2026-1-20 15:23
感謝回覆,針對(duì)請(qǐng)網(wǎng)路蜘蛛去/data/attachment/ 目錄抓取,但是這個(gè)目錄下面還有很多目錄,Allow: /data/a ...

除非有進(jìn)一步的禁止命令,否則就是覆蓋子級(jí)的
作者: duckweed    時(shí)間: 2026-1-20 15:36
wish 發(fā)表于 2026-1-20 15:23
感謝回覆,針對(duì)請(qǐng)網(wǎng)路蜘蛛去/data/attachment/ 目錄抓取,但是這個(gè)目錄下面還有很多目錄,Allow: /data/a ...

Allow: /data/attachment/
誤解:只允許目錄本身
錯(cuò)誤理解:只允許訪問 http://example.com/data/attachment/(目錄列表頁)
實(shí)際情況:目錄下的所有內(nèi)容都允許

限制訪問深度:
明確禁止子目錄
Allow: /data/attachment/
Disallow: /data/attachment/*/
# 這表示允許文件,但禁止子目錄

作者: duckweed    時(shí)間: 2026-1-20 15:38
事實(shí)上,作為一名 spider,是不會(huì)看和遵守這個(gè)協(xié)議的。採集的深度是看需求的程度,當(dāng)然我也明白你這個(gè)協(xié)議是以後法律的依據(jù)
作者: cockli    時(shí)間: 2026-1-20 15:39
好的 知曉
作者: wish    時(shí)間: 2026-1-20 16:54
湖中沉 發(fā)表于 2026-1-20 15:14
這都是標(biāo)準(zhǔn)規(guī)范,并不是DZ獨(dú)有的,搜索一下基本就知道了

謝謝回覆,我有嘗試先搜尋答案,不過我搜尋到的都只寫同意收錄xx,不同意收錄xx,我是想知道是否包含該目錄下的子目錄。
作者: wish    時(shí)間: 2026-1-20 16:55
duckweed 發(fā)表于 2026-1-20 15:32
Allow: /data/attachment/ 這條規(guī)則:
允許抓取 /data/attachment/ 目錄本身
同時(shí)允許抓取該目錄下所有的 ...

感謝你的解答,我了解了。
作者: wish    時(shí)間: 2026-1-20 16:55
湖中沉 發(fā)表于 2026-1-20 15:34
除非有進(jìn)一步的禁止命令,否則就是覆蓋子級(jí)的

受教了:handshake
作者: wish    時(shí)間: 2026-1-20 17:04
再請(qǐng)教,static 這個(gè)目錄,robots.txt 裡面既沒有Allow,也沒有Disallow,那網(wǎng)路蜘蛛會(huì)如何處置?謝謝
作者: 湖中沉    時(shí)間: 2026-1-20 17:16
wish 發(fā)表于 2026-1-20 17:04
再請(qǐng)教,static 這個(gè)目錄,robots.txt 裡面既沒有Allow,也沒有Disallow,那網(wǎng)路蜘蛛會(huì)如何處置?謝謝 ...

沒禁止一般默認(rèn)為可訪問。但這個(gè)里面都是靜態(tài)資源,訪問與否只在于頁面效果,不影響收錄
作者: wish    時(shí)間: 2026-1-20 18:46
湖中沉 發(fā)表于 2026-1-20 17:16
沒禁止一般默認(rèn)為可訪問。但這個(gè)里面都是靜態(tài)資源,訪問與否只在于頁面效果,不影響收錄 ...

感謝你解惑,我了解了。
作者: lanxiaoxiao    時(shí)間: 2026-1-23 17:25
比如a/b/
那么就是b目錄下的所有,都可以抓取。。
作者: lanxiaoxiao    時(shí)間: 2026-1-23 17:26
而不僅僅是只能抓取b。
比如a/b/c和a/b/d,這2個(gè)都是可以抓取到的。




歡迎光臨 Discuz! 官方交流社區(qū) (http://m.sdtechgong.com.cn/) Powered by Discuz! X5.0