百度支持nofollow、noarchive兩種種meta標(biāo)簽。
要防止所有搜索引擎顯示您網(wǎng)站的快照,請(qǐng)將此元標(biāo)記置入網(wǎng)頁的<HEAD> 部分:
<meta name="robots" content="noarchive">
如果您不想搜索引擎追蹤此網(wǎng)頁上的鏈接,且不傳遞鏈接的權(quán)重,請(qǐng)將此元標(biāo)記置入:
<meta name="robots" content="nofollow">
Baiduspider對(duì)站點(diǎn)的抓取方式和普通用戶訪問一樣,只要普通用戶能訪問到的內(nèi)容,我們就能抓取到。不管是用什么技術(shù),只要能保證用戶能流暢的訪問網(wǎng)站,對(duì)搜索引擎就沒有影響。
我們建議盡量選擇有實(shí)力的服務(wù)商和成熟的技術(shù),不成熟的技術(shù)容易導(dǎo)致訪問不穩(wěn)定,這就有可能影響搜索引擎的抓取了。
百度對(duì)海外站點(diǎn)沒有歧視。但Baiduspider服務(wù)器在國(guó)內(nèi),國(guó)內(nèi)普通用戶訪問受限的內(nèi)容,Baiduspider一樣會(huì)搞不定,只要國(guó)內(nèi)能正常訪問,我們就會(huì)一視同仁。
如果是內(nèi)容發(fā)生根本性變化,則理論上會(huì)被視為一個(gè)全新網(wǎng)站,舊有超鏈?zhǔn)А?/p>
搜索引擎策略會(huì)對(duì)已收錄的站點(diǎn)站點(diǎn)綜合表現(xiàn)進(jìn)行自動(dòng)評(píng)價(jià),對(duì)符合一定標(biāo)準(zhǔn)的站點(diǎn),會(huì)自動(dòng)提取網(wǎng)站中的favicon作為展現(xiàn)logo。同時(shí),這個(gè)機(jī)制是自動(dòng)運(yùn)行,定期更新的,沒有人工干預(yù)的接口。
百度從未提供過網(wǎng)站權(quán)重信息數(shù)據(jù)以及對(duì)外查詢服務(wù)。第三方站長(zhǎng)工具的數(shù)據(jù)并非百度官方數(shù)據(jù),不代表真實(shí)的網(wǎng)站情況,百度對(duì)使用此類數(shù)據(jù)而造成的困擾不負(fù)任何責(zé)任。請(qǐng)網(wǎng)站管理員不要將這些“百度權(quán)重”數(shù)值當(dāng)成真實(shí)數(shù)值來參考使用。
中文互聯(lián)網(wǎng)上,Baiduspider ip的hostname以 *.baidu.com的格式命名,非 *.baidu.com即為冒充,建議您使用DNS反查方式來確定抓取來源的ip是否屬于百度。
例如,在linux平臺(tái)下,您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.
在windows平臺(tái)下,可以用nslookup命令反解ip來判斷是否來自Baiduspider的抓取。
點(diǎn)擊“開始”-“運(yùn)行”-“cmd”-“輸入nslookup IP地址”-“回車”
C:\Documents and Settings\wangtao>nslookup 123.125.66.120
Name: baiduspider-123-125-66-120.crawl.baidu.com
Address: 123.125.66.120