男的舔女的下面视频在线播放-少妇愉情理仑片高潮日本-久久久久久国产一区二区三区-麻豆精品一区二区综合-国产精品超碰在线观看-网红极品女神精品视频在线-国产亚洲综合777-高清性视频一区二区播放-中文字幕第一页亚洲天堂

Discuz! 官方交流社區(qū)

標題: 搜索不遵守規(guī)則怎么辦 [打印本頁]

作者: ysx24 時間: 2021-12-30 11:51
標題: 搜索不遵守規(guī)則怎么辦
弄了一個備份站點不對外開放，放損友們的游戲截圖游戲宏備份等，游戲友們內(nèi)部使用（當然沒有學(xué)習(xí)日語的視頻，都是一群不正經(jīng)的正經(jīng)人）
并且在論壇根目錄下的
robots.txt 規(guī)則只有兩行

#
# robots.txt for Discuz! X3
#
User-agent: *
Disallow:/

復(fù)制代碼

禁止所有搜索引擎抓取，可谷歌蜘蛛還是時常來，是規(guī)則有問題么？

作者: 初錦 時間: 2021-12-30 14:09
(, 下載次數(shù): 18)

如果你是想要我這種效果，那很容易。如果想要蜘蛛不來，很難，人家憑什么不來？就因為你一紙空文就不來？人家不做生意了嗎？谷歌號稱全球最大流氓，你指望人家不來？

作者: ysx24 時間: 2021-12-30 14:54
谷歌做為全球性大公司，不遵守robots君子協(xié)定，這倒有些意外
對了你的robots能分享下么

作者: 老周部落 時間: 2021-12-30 21:18

User-Agent: *
Disallow: /

復(fù)制代碼

好像您的版本少了空格

另外 robots.txt 也不會完全避免采集，他還是會定期爬一下 robots.txt 的。
另外有的軟件防火墻會干掉 robots.txt 訪問，如果干掉的話也不能終止爬取。

作者: ysx24 時間: 2021-12-31 05:02

老周部落發(fā)表于 2021-12-30 21:18
好像您的版本少了空格

另外 robots.txt 也不會完全避免采集，他還是會定期爬一下 robots.txt 的。

改真是，少了個空格

歡迎光臨 Discuz! 官方交流社區(qū) (http://m.sdtechgong.com.cn/)