鹿木鄉(xiāng)如何提高spider抓取網(wǎng)站?提高spider抓取策略(1)

閱讀 37108  ·  發(fā)布日期 2020-08-24 17:25  ·  溫州優(yōu)光網(wǎng)絡科技有限公司|建站|APP小程序制作|做網(wǎng)站SEO推廣優(yōu)化
【摘要】 SEO網(wǎng)站優(yōu)化SEOER,每天都要時刻關注百度蜘蛛有沒有來抓取網(wǎng)站,抓取了網(wǎng)站哪些內(nèi)容,沒有抓取網(wǎng)站哪些內(nèi)容,再沒有抓取的頁面上觀察調整網(wǎng)站的問題。想要提高爬蟲抓取頻率可以從幾個方面著手,簡單介紹提高spider抓取網(wǎng)站的策略。?提高spider抓取策略有哪些?一、抓取友好性:抓取壓力調配降低對網(wǎng)站的訪問壓力帶寬造成訪... 【溫州小程序開發(fā),溫州微信公眾號,平陽做網(wǎng)站,平陽網(wǎng)站建設公司,平陽小程序商城制作,昆陽萬全做網(wǎng)站,鰲江水頭小程序,蕭江騰蛟微信公眾號,山門順溪南雁海西南麂鳳臥麻步懷溪網(wǎng)絡網(wǎng)店服務,政采云網(wǎng)店管理服務】...
SEO網(wǎng)站優(yōu)化SEOER,每天都要時刻關注百度蜘蛛有沒有來抓取網(wǎng)站,抓取了網(wǎng)站哪些內(nèi)容,沒有抓取網(wǎng)站哪些內(nèi)容,再沒有抓取的頁面上觀察調整網(wǎng)站的問題。
想要提高爬蟲抓取頻率可以從幾個方面著手,簡單介紹提高spider抓取網(wǎng)站的策略。
?提高spider抓取策略有哪些?一、抓取友好性:
抓取壓力調配降低對網(wǎng)站的訪問壓力帶寬造成訪問壓力大,會直接影響網(wǎng)站的正常用戶訪問,為了不影響網(wǎng)站的正常用戶訪問,又能讓spider抓取有價值性的頁面。
1、IP壓力控制如果一個域名下存在多個IP,或者是多個域名下對應同一個IP,需要根據(jù)IP和域名多種條件進行壓力調配控制。
也可以在站長平臺中使用壓力反饋工具,人工調配對網(wǎng)站的抓取壓力,這樣spider會優(yōu)先根據(jù)站長的要求進行抓取壓力控制。
2、站點的抓取速度如果在同一個站點,抓取速度控制有兩類:
第一類,一段時間內(nèi)的抓取頻率;第二類,一段時間內(nèi)的抓取流量。
同一個站點在不同的時間內(nèi)抓取的速度是不同的,根據(jù)站點的類型來設置。
?二、常用抓取返回碼示意1、404:
“NOT FOUND”,表示該網(wǎng)頁已經(jīng)失效,通常在庫中刪除,spider如果發(fā)現(xiàn)這條URL是不會抓取的。
2、503:
“Service Unavailable”,表示該網(wǎng)頁暫時不能訪問。
網(wǎng)頁返回503狀態(tài)碼,百度spider不會直接刪除這條URL,再訪問多次的情況下,網(wǎng)頁如果恢復正常,就能正常抓取。
如果繼續(xù)返回503,才會認為是失效鏈接,從庫中刪除。
3、403:
“Forbidden”, 表示該網(wǎng)頁目前禁止訪問。
如果生成的是新的URL,spider是暫時不會抓取,也是會再訪問多次;如果是被收錄的URL,不會直接刪除,短期內(nèi)同樣反復訪問幾次。
如果網(wǎng)頁正常訪問,則正常抓??;如果仍然禁止訪問,那么這條URL也會被認為是失效鏈接,從庫中刪除。
4、301:
“Moved Permanently”, 表示該網(wǎng)頁重定向到新的URL。
如果站點需要更換域名、站點改版的情況下,需要設置301重定向,也可以在站長平臺上網(wǎng)站改版工具提交,有效減少網(wǎng)站的流量損失。
閱讀本文的人還可以閱讀:
網(wǎng)站換域名或網(wǎng)頁內(nèi)容改版對網(wǎng)站有什么影響?網(wǎng)站換域名注意事項如何提高spider抓取網(wǎng)站?提高spider抓取策略(2) [溫州網(wǎng)站建設公司-SEO技巧]