男的舔女的下面视频在线播放-少妇愉情理仑片高潮日本-久久久久久国产一区二区三区-麻豆精品一区二区综合-国产精品超碰在线观看-网红极品女神精品视频在线-国产亚洲综合777-高清性视频一区二区播放-中文字幕第一页亚洲天堂

Discuz! 官方交流社區(qū)

標(biāo)題: 關(guān)于爬蟲問(wèn)題，大佬有教的嗎？ [打印本頁(yè)]

作者: PandaKiller 時(shí)間: 2020-11-3 11:44
標(biāo)題: 關(guān)于爬蟲問(wèn)題，大佬有教的嗎？

百度經(jīng)常抓
xxxx.cn/?1

而不是抓這種。。。
xxxx.cn/space-uid-1.html
xxxx.cn/space-username-“用戶名”.html

怎么辦哦。。這樣無(wú)所謂？還是？？
我沒(méi)有屏蔽加這個(gè) Disallow: /space-*
新站。。

作者: allthebest 時(shí)間: 2020-11-4 04:16
地球人都知道，論壇要增加注冊(cè)用戶靠帖子，只有傻瓜才認(rèn)為個(gè)人主頁(yè)、個(gè)人空間收錄最重要。

歡迎光臨 Discuz! 官方交流社區(qū) (http://m.sdtechgong.com.cn/)