久久久精品一级毛片外国,国产精品久久久久久亚洲影视,精品三级国产一区二区三区四区,色九久久,欧美怡红院视频一区二区三区,欧美成人看片一区二区三区尤物,三级黄色网站久久免费,国产91热爆TS人妖系列,国产欧美亚洲国产一区二区三区,国产激情久久久久久熟女老人av

站長(zhǎng)基礎(chǔ)交流之降權(quán)蜘蛛-百度蜘蛛IP段詳解

   2017-12-13 00:07:21 互聯(lián)網(wǎng)微發(fā)信息網(wǎng)82
 大家進(jìn)行網(wǎng)站日志分析的時(shí)候,常見到很多不同IP段的百度蜘蛛,為了方便大家更好的進(jìn)行日志分析,下面列舉了百度不同IP段常見蜘蛛的一些詳情情況,及所謂的降權(quán)蜘蛛,沙盒蜘蛛,高權(quán)重蜘蛛等等

下面的百度蜘蛛IP造訪,準(zhǔn)備抓取你東西,抓取網(wǎng)頁的百度蜘蛛。
60.172.229.61
61.129.45.72
61.135.162.*


百度競(jìng)價(jià)蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185



(百度聯(lián)盟爬蟲),說白了就是百度統(tǒng)計(jì)。
61.135.186.*



站長(zhǎng)工具模仿的百度蜘蛛。
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42


114站長(zhǎng)工具箱(這個(gè)是你的網(wǎng)站不穩(wěn)定時(shí)常來的)
119.147.114.213
121.10.141.*


百度圖片爬蟲
123.15.**.**



這個(gè)蜘蛛經(jīng)常來,別的來的少,表示網(wǎng)站可能要進(jìn)入沙盒了,或被者降權(quán)。
123.125.68.*


抓取內(nèi)頁收錄的,權(quán)重較低,爬過此段的內(nèi)頁文章暫時(shí)被收錄但不放出來(意思也就是說待定),因不是原創(chuàng)或采集文章。(百度網(wǎng)頁爬蟲(百度圖片爬蟲)
123.125.71.*


搜外站長(zhǎng)工具蜘蛛。
124.248.34.52


也屬于百度蜘蛛IP 主要造成成分,是新上線站較多,還有使用過站長(zhǎng)工具,或SEO綜合檢測(cè)造成的,沒有多大用。
125.90.88.*


百度蜘蛛
159.226.50.*
180.76.5.*
180.76.5.87
220.181.158.107



偽裝百度蜘蛛IP
180.149.130.* 


這個(gè)ip段出現(xiàn)在新站及站點(diǎn)有不正常現(xiàn)象后。
183.91.40.144
203.208.60.*


這個(gè)ip段不間斷巡邏各站,就是路過一下。
210.72.225.*
 


每天這個(gè)IP 段只增不減很有可能進(jìn)沙盒或K站
218.30.118.102
220.181.68.*
123.125.68.*
220.181.68.* 


主要是抓取首頁占80%,內(nèi)頁占30%,這此爬過的文章或首頁,絕對(duì)24小時(shí)內(nèi)放出來和隔夜快照的!一般成功抓取返回代碼都是 200 0 0返回304 0 0代表網(wǎng)站沒更新,蜘蛛來過,如果是 200 0 64別擔(dān)心這不是K站,可能是網(wǎng)站是動(dòng)態(tài)的,所以返回就是這個(gè)代碼。
220.181.108.*


代表百度蜘蛛IP來訪準(zhǔn)備抓取你東西
220.181.7.*
123.125.66.*



這個(gè)ip段作為度過新站考察期
121.14.89.*



這個(gè)ip段出現(xiàn)在新站或站點(diǎn)有不正常現(xiàn)象后
203.208..60.*



這個(gè)ip段不間斷巡邏各站
210.72.225.*


這個(gè)是百度抓取首頁的專用IP如是220.181.108段的ip來的話基本來說網(wǎng)站會(huì)天天隔夜快照,絕對(duì)錯(cuò)不了的
220.181.108.95



98%抓取首頁可能還會(huì)抓取其他「不是指內(nèi)頁)屬于權(quán)重IP段此段爬過的文章或首頁基本24小時(shí)放出來.
220.181.108.92


抓取內(nèi)頁收錄的 權(quán)重較低 爬過此段的內(nèi)頁文章不會(huì)很快放出來,因不是原創(chuàng)或采集文章
123.125.71.106


屬于綜合的。主要抓取首頁和內(nèi)頁或者其它頁面。屬于權(quán)重IP段, 抓過的文章或首頁基本24小時(shí)放出來
220.181.108.91


重點(diǎn)抓取更新文章的內(nèi)頁達(dá)到90%,8%的抓取首頁,2%其他權(quán)重ip段,抓過的文章或首頁基本24小時(shí)放出來
220.181.108.75


專用抓取首頁ip 權(quán)重段,一般返回代碼304 0 0代表未更新
220.181.108.86


抓取內(nèi)頁收錄的,權(quán)重較低,爬過此段的內(nèi)頁文章不會(huì)很快放出來,因不是原創(chuàng)
123.125.71.95
123.125.71.97


專用抓取首頁ip 權(quán)重段,一般返回代碼304 0 0代表未更新
220.181.108.89
220.181.108.94
220.181.108.97
220.181.108.80
220.181.108.77


抓取內(nèi)頁收錄的, 權(quán)重較低,爬過此段的內(nèi)頁文章不會(huì)很快放出來,因不是原創(chuàng)
123.181.108.77


專用抓取首頁ip 權(quán)重段,一般返回代碼304 0 0代表未更新
220.181.108.83
 
免責(zé)聲明:以上所展示的信息由網(wǎng)友自行發(fā)布,內(nèi)容的真實(shí)性、準(zhǔn)確性和合法性由發(fā)布者負(fù)責(zé)。 三龍匯之窗網(wǎng)對(duì)此不承擔(dān)任何保證責(zé)任, 三龍匯之窗網(wǎng)僅提供信息存儲(chǔ)空間服務(wù)。任何單位或個(gè)人如對(duì)以上內(nèi)容有權(quán)利主張(包括但不限于侵犯著作權(quán)、商業(yè)信譽(yù)等),請(qǐng)與我們聯(lián)系并出示相關(guān)證據(jù),我們將按國(guó)家相關(guān)法規(guī)即時(shí)移除。

本文地址:http://www.09yyb.com/news/slh5685.html

 
更多>同類資訊
資訊圖文
今日熱榜
投資財(cái)經(jīng)
營(yíng)銷職場(chǎng)
商家產(chǎn)業(yè)
?
網(wǎng)站首頁  |  網(wǎng)站地圖  |  RSS訂閱  |  SiteMap
免責(zé)聲明:本站所有信息均來自互聯(lián)網(wǎng)搜集,產(chǎn)品相關(guān)信息的真實(shí)性準(zhǔn)確性均由發(fā)布單位及個(gè)人負(fù)責(zé),請(qǐng)大家仔細(xì)辨認(rèn)!并不代表本站觀點(diǎn),三龍匯之窗網(wǎng)對(duì)此不承擔(dān)任何相關(guān)法律責(zé)任!如有信息侵犯了您的權(quán)益,請(qǐng)告知,本站將立刻刪除。
友情提示:買產(chǎn)品需謹(jǐn)慎 網(wǎng)站處理與建議郵箱:slhzc@qq.com