百度蜘蛛是什么意思？百度蜘蛛(Baiduspider)是百度搜索引擎的一個自動程序，它的作用是訪問互聯(lián)網(wǎng)上的網(wǎng)頁，建立索引數(shù)據(jù)庫，使用戶能在百度搜索引擎中搜索到您網(wǎng)站上的網(wǎng)頁。那么如何正確識別百度蜘蛛？

　　一、查看UA信息

　　如果UA信息不對，可以直接判斷該蜘蛛為非百度搜索的蜘蛛。目前UA分為移動、PC、和小程序三個應(yīng)用場景，分別如下：

　　【移動UA】

　　1、Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

　　2、Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

　　【PC UA】

　　1、Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

　　2、Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

　　【小程序UA】

　　Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

　　二、雙向DNS解析認(rèn)證

　　第一步：DNS反查IP

　　開發(fā)者可以對日志中訪問服務(wù)器的IP地址進(jìn)行反向DNS查找，判斷某只spider是否來自百度搜索引擎，Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名，非*.baidu.com或*.baidu.jp即為冒充。

　　在Linux/Windows/OS三種平臺下，驗(yàn)證方法分別如下：

　　1) 在Linux平臺下，可以使用host IP命令反解IP來判斷該抓取是否來自Baiduspider。

　　2) 在Windows平臺或者IBM OS/2平臺下，可以使用nslookup IP命令反解IP：打開命令處理器，輸入nslookup xxx.xxx.xxx.xxx（IP地址）就能解析IP，判斷該抓取是否來自Baiduspider。

　　3) 在macOS平臺下，可以使用dig命令反解IP：打開命令處理器輸入dig -x xxx.xxx.xxx.xxx（IP地址）就能解析IP，判斷該抓取是否來自Baiduspider。

　　第二步：對域名運(yùn)行正向DNS查找

　　對第一步中通過命令檢索到的域名運(yùn)行正向DNS查找，驗(yàn)證該域名與日志中訪問服務(wù)器的原始IP地址是否一致，IP地址一致可確認(rèn)spider來自百度搜索引擎，IP地址不一致即為冒充。

　　【示例】

　　host 111.206.198.69

　　69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.

　　hostbaiduspider-111-206-198-69.crawl.baidu.com

　　baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69

　　三、網(wǎng)站部分資源不希望被百度蜘蛛訪問該怎么做？

　　百度蜘蛛遵守互聯(lián)網(wǎng)robots協(xié)議。站長可以更新robots.txt文件，文件中明確不希望百度蜘蛛訪問資源或目錄等，并及時通過搜索資源平臺-【Robots】工具，提交robots文件。

　　需要注意，robots文件更新和提交后，搜索引擎需要逐漸完成更新，所以百度蜘蛛不是立即停止抓取網(wǎng)頁，請耐心等待。

　　1、網(wǎng)站封禁百度蜘蛛，可能會帶來哪些影響？

　　網(wǎng)站資源優(yōu)質(zhì)，也沒有其他違規(guī)問題，但是存在以下情況，可以先自查是否存在封禁百度蜘蛛的問題，及時解除封禁（解除封禁參考QA7），等待恢復(fù)。

　?。?）沒有查詢到百度蜘蛛任何抓取記錄。

　?。?）在百度搜索中沒有得到收錄和展現(xiàn)。

　?。?）網(wǎng)站/目錄存在流量異常下降的情況。

　?。?）在搜索結(jié)果中的摘要展現(xiàn)為“存在robots封禁”字樣。

　　2、如何解除封禁百度蜘蛛？

　　常見的封禁行為包括robots封禁、封禁百度UA、封禁百度IP這三種，可以逐一排查解決。

　　自查robots封禁

　　查看robots.txt文件，是否存在封禁記錄。（一般robots.txt文件放置在網(wǎng)站根目錄下。）

　　自查是否封禁百度UA

　　robots文件無異常的情況下，進(jìn)一步排查是否存在封禁百度UA情況。

　　第一種方法：執(zhí)行 curl –head –user-agent ‘Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)’ –request GET ‘xxxxxxx’

　　注意：正常返回碼是200，其他情況為異常。

　　第二種方法：變更瀏覽器UA驗(yàn)證。

　　自查是否存在IP封禁

　　以上驗(yàn)證均無異常，最后進(jìn)一步排查是否存在IP級別的封禁。

　　常見的IP封禁，源自網(wǎng)站的防火墻系統(tǒng)配置，需要查看防火墻配置系統(tǒng)后臺，檢查是否存在百度蜘蛛的IP級別封禁措施。

北京愛品特SEO網(wǎng)站優(yōu)化提供專業(yè)的網(wǎng)站SEO診斷服務(wù)、SEO顧問服務(wù)、SEO外包服務(wù)，咨詢電話或微信：13811777897 袁先生 可免費(fèi)獲取SEO網(wǎng)站診斷報(bào)告。

北京網(wǎng)站優(yōu)化公司 >> SEO資訊 >> SEO技術(shù)技巧 >> 全面解析百度蜘蛛識別、封禁等相關(guān)問題    本站部分內(nèi)容來源于互聯(lián)網(wǎng)，如有版權(quán)糾紛或者違規(guī)問題，請聯(lián)系我們刪除，謝謝！