搜索不遵守規(guī)則怎么辦

ysx24

弄了一個(gè)備份站點(diǎn)不對(duì)外開(kāi)放，放損友們的游戲截圖游戲宏備份等，游戲友們內(nèi)部使用（當(dāng)然沒(méi)有學(xué)習(xí)日語(yǔ)的視頻，都是一群不正經(jīng)的正經(jīng)人）
并且在論壇根目錄下的
robots.txt  規(guī)則只有兩行

1. #
   
2. # robots.txt for Discuz! X3
   
3. #
   
4. 
   
5. User-agent: *
   
6. Disallow:/
   

復(fù)制代碼

禁止所有搜索引擎抓取，可谷歌蜘蛛還是時(shí)常來(lái)，是規(guī)則有問(wèn)題么？

初錦

登錄/注冊(cè)后可看大圖

如果你是想要我這種效果，那很容易。如果想要蜘蛛不來(lái)，很難，人家憑什么不來(lái)？就因?yàn)槟阋患埧瘴木筒粊?lái)？人家不做生意了嗎？谷歌號(hào)稱全球最大流氓，你指望人家不來(lái)？

ysx24

谷歌做為全球性大公司，不遵守robots君子協(xié)定，這倒有些意外
對(duì)了  你的robots能分享下么

老周部落

1. User-Agent: *
   
2. Disallow: /

復(fù)制代碼

好像您的版本少了空格

另外 robots.txt 也不會(huì)完全避免采集，他還是會(huì)定期爬一下 robots.txt 的。
另外有的軟件防火墻會(huì)干掉 robots.txt 訪問(wèn)，如果干掉的話也不能終止爬取。

ysx24

老周部落 發(fā)表于 2021-12-30 21:18
好像您的版本少了空格

另外 robots.txt 也不會(huì)完全避免采集，他還是會(huì)定期爬一下 robots.txt 的。

改真是，少了個(gè)空格