求助 百度蜘蛛大量爬我的網(wǎng)站。一個將近10g流量都是蜘蛛

牧羊人

求助 百度蜘蛛大量爬我的網(wǎng)站。一天時(shí)間將近10g流量都是蜘蛛爬的。  我都不知道為什么中國蜘蛛老是來爬  以前一天還有幾十 個帖子。 爬打不開 一個新帖子也沒有了。
原來用的虛擬主機(jī)， 換成服務(wù)器的話  cpu2     硬盤50     寬帶  3m  夠不夠？   
沒有用過 服務(wù)器  不知道呀   
知道的 朋友路過看看   謝謝  謝謝

牧羊人

在線急等

牧羊人

不用等大家回復(fù)了。  我找到問題根源了。  在百度站長平臺上， 以前是一天蜘蛛抓取幾百次。  最最近一月不知道怎么抽風(fēng)了，一天平均將近20萬次，現(xiàn)在已經(jīng)設(shè)置最高不超過1300次了。  應(yīng)該可以了。   

jnpar

抓的頻率那么高嗎？是好事啊

牧羊人

jnpar 發(fā)表于 2019-9-8 23:05
抓的頻率那么高嗎？是好事啊

事情倒是挺好，就是服務(wù)器受不了。  樂極生悲 大概就是如此  現(xiàn)在好了

牧羊人

ill01 發(fā)表于 2019-9-10 18:39
抓我 100G 都可以

能量量你的服務(wù)器配置嗎？