1:蜘蛛本身就是模擬用戶行為進(jìn)行爬行讀取,網(wǎng)站打開速度慢,影響實(shí)際用戶體驗(yàn)的同時(shí),肯定也同時(shí)會(huì)影響到模擬用戶體驗(yàn)的蜘蛛。當(dāng)一個(gè)網(wǎng)站打開速度慢的時(shí)候,蜘蛛會(huì)對(duì)這個(gè)網(wǎng)站的評(píng)分降低,進(jìn)而影響到讀取、收錄等一系列行為。
2:蜘蛛抓取頁(yè)面數(shù)量=停留總時(shí)間/單個(gè)頁(yè)面停留時(shí)間先不管打開速度慢蜘蛛會(huì)不會(huì)提前撤退的問(wèn)題,假若蜘蛛在網(wǎng)站的總停留時(shí)間固定,如果頁(yè)面打開時(shí)間變慢,則總停留時(shí)間除以單個(gè)頁(yè)面的停留時(shí)間即蜘蛛抓取的頁(yè)面數(shù)量就會(huì)變少,抓取的量變少,相應(yīng)的被收錄的量肯定也會(huì)變少。
3:網(wǎng)站打開時(shí)間變慢之后,蜘蛛會(huì)對(duì)這個(gè)網(wǎng)站有抵觸意識(shí),慢慢的就會(huì)來(lái)的次數(shù)變少甚至不再來(lái)爬取。當(dāng)一個(gè)網(wǎng)站沒(méi)有蜘蛛爬取的時(shí)候,收錄量變少也是理所當(dāng)然的事情了。