robots.txt 的問題

wish

湖中沉 發(fā)表于 2026-1-20 15:14
這都是標(biāo)準(zhǔn)規(guī)范，并不是DZ獨有的，搜索一下基本就知道了

謝謝回覆，我有嘗試先搜尋答案，不過我搜尋到的都只寫同意收錄xx，不同意收錄xx，我是想知道是否包含該目錄下的子目錄。

wish

duckweed 發(fā)表于 2026-1-20 15:32
Allow: /data/attachment/ 這條規(guī)則：
允許抓取 /data/attachment/ 目錄本身
同時允許抓取該目錄下所有的 ...

感謝你的解答，我了解了。

wish

湖中沉 發(fā)表于 2026-1-20 15:34
除非有進(jìn)一步的禁止命令，否則就是覆蓋子級的

受教了:handshake

wish

再請教，static 這個目錄，robots.txt 裡面既沒有Allow，也沒有Disallow，那網(wǎng)路蜘蛛會如何處置？謝謝

湖中沉

wish 發(fā)表于 2026-1-20 17:04
再請教，static 這個目錄，robots.txt 裡面既沒有Allow，也沒有Disallow，那網(wǎng)路蜘蛛會如何處置？謝謝 ...

沒禁止一般默認(rèn)為可訪問。但這個里面都是靜態(tài)資源，訪問與否只在于頁面效果，不影響收錄

wish

湖中沉 發(fā)表于 2026-1-20 17:16
沒禁止一般默認(rèn)為可訪問。但這個里面都是靜態(tài)資源，訪問與否只在于頁面效果，不影響收錄 ...

感謝你解惑，我了解了。

lanxiaoxiao

比如a/b/
那么就是b目錄下的所有，都可以抓取。。

lanxiaoxiao

而不僅僅是只能抓取b。
比如a/b/c和a/b/d，這2個都是可以抓取到的。