国产精品毛多多水多|亚洲精品中文字幕久久|一本大道加勒比久久综合|国产一区二区在线观看麻豆|男人女人做爽爽18禁网站|无码AV在线不卡在线观看|婷婷色国产精品视频一区二区|国模一区二区三区私拍视频大胆

歡迎光臨佛山易拓信息科技!

首頁 > 推廣
良好收錄 面向搜索引擎的網(wǎng)站建設(shè)-合理返回碼
百度爬蟲在進(jìn)行抓取和處理時(shí),是根據(jù)http協(xié)議規(guī)范來設(shè)置相應(yīng)的邏輯的,所以請站長們也盡量參考http協(xié)議中關(guān)于返回碼的含義的定義進(jìn)行設(shè)置。 Baiduspider 對(duì)常用的http返回碼的處理邏輯是這樣的: 404 返回碼的含義是 “Not Found”,百度會(huì)認(rèn)為網(wǎng)頁已經(jīng)失效,那么通常會(huì)從搜索結(jié)果中刪除,并且短期內(nèi) spider 再次發(fā)現(xiàn)這條 URL 也不會(huì)抓取。 503 返回碼的含義是 “Service Unavailable”,百度會(huì)認(rèn)為該網(wǎng)頁臨時(shí)不可訪問,通常網(wǎng)站臨時(shí)關(guān)閉,帶寬有限等會(huì)產(chǎn)生這種情況。對(duì)于網(wǎng)頁返回503,百度 spider 不會(huì)把這條 URL 直接刪除,短期內(nèi)會(huì)再訪問。屆時(shí)如果網(wǎng)頁已恢復(fù),則正常抓?。蝗绻^續(xù)返回503,短期內(nèi)還會(huì)反復(fù)訪問幾次。但是如果網(wǎng)頁長期返回503,那么這個(gè) URL 仍會(huì)被...
2016-12-15

百度爬蟲在進(jìn)行抓取和處理時(shí),是根據(jù)http協(xié)議規(guī)范來設(shè)置相應(yīng)的邏輯的,所以請站長們也盡量參考http協(xié)議中關(guān)于返回碼的含義的定義進(jìn)行設(shè)置。

Baiduspider 對(duì)常用的http返回碼的處理邏輯是這樣的:

404 返回碼的含義是 “Not Found”,百度會(huì)認(rèn)為網(wǎng)頁已經(jīng)失效,那么通常會(huì)從搜索結(jié)果中刪除,并且短期內(nèi) spider 再次發(fā)現(xiàn)這條 URL 也不會(huì)抓取。

503 返回碼的含義是 “Service Unavailable”,百度會(huì)認(rèn)為該網(wǎng)頁臨時(shí)不可訪問,通常網(wǎng)站臨時(shí)關(guān)閉,帶寬有限等會(huì)產(chǎn)生這種情況。對(duì)于網(wǎng)頁返回503,百度 spider 不會(huì)把這條 URL 直接刪除,短期內(nèi)會(huì)再訪問。屆時(shí)如果網(wǎng)頁已恢復(fù),則正常抓取;如果繼續(xù)返回503,短期內(nèi)還會(huì)反復(fù)訪問幾次。但是如果網(wǎng)頁長期返回503,那么這個(gè) URL 仍會(huì)被百度認(rèn)為是失效鏈接,從搜索結(jié)果中刪除。

403 返回碼的含義是 “Forbidden”,百度會(huì)認(rèn)為網(wǎng)頁當(dāng)前禁止訪問。對(duì)于這種情況,如果是新發(fā)現(xiàn)的URL,百度 spider 暫不抓取,短期內(nèi)會(huì)再次檢查;如果是百度已經(jīng)收錄的URL,當(dāng)前也不會(huì)直接刪除,短期內(nèi)同樣會(huì)再訪問。屆時(shí)如果網(wǎng)頁允許訪問,則正常抓??;如果仍不允許訪問,短期內(nèi)還會(huì)反復(fù)訪問幾次。但是如果網(wǎng)頁長期返回403,百度也會(huì)認(rèn)為是失效鏈接,從搜索結(jié)果中刪除。

301 返回碼的含義是 “Moved Permanently”,百度會(huì)認(rèn)為網(wǎng)頁當(dāng)前跳轉(zhuǎn)至新URL。當(dāng)遇到站點(diǎn)遷移、域名更換和站點(diǎn)改版的情況時(shí),推薦使用301返回碼,盡量減少改版帶來的流量損失。雖然百度spider 現(xiàn)在對(duì)301跳轉(zhuǎn)的響應(yīng)周期較長,但是我們還是推薦大家這么做。

<<上一遍文章 下一遍文章>>