為什么被robots屏蔽的網(wǎng)站還會被百度收錄?

2014-09-23 瀏覽:150

有兩種情況:第一種是對已經(jīng)收錄了的網(wǎng)頁使用robots屏蔽,老網(wǎng)頁按照robots規(guī)則的刪除時間會很長,可能會造成百度沒有遵循robots規(guī)則的感覺;第二種是如果被屏蔽的網(wǎng)頁獲得了大量的外鏈,那么這個網(wǎng)頁的內(nèi)容不會被百度索引,但是這個網(wǎng)頁的URL可能會被百度收錄,多見于域名首頁。比如淘寶網(wǎng),淘寶商城的大量賣家商城二級域名。如果連URL都不想被百度收錄,那么針對百度spider返回404就可以了。

上一條: 如何使我的網(wǎng)頁不被百度收錄?robots的生效時間?
下一條: 為什么站內(nèi)沒有鏈接的私密性網(wǎng)頁,或需要訪問權(quán)限的網(wǎng)頁,也會被百度收錄?

新聞資訊

相關(guān)資訊