網(wǎng)站改版帶來(lái)的404抓取錯(cuò)誤解決實(shí)踐_建站經(jīng)驗(yàn)教程
推薦:請(qǐng)相信:原創(chuàng)文章只是暫時(shí)調(diào)整算法的優(yōu)勢(shì)現(xiàn)在百度說(shuō)明了原創(chuàng)文章的重要性,卻讓不少人花費(fèi)了心思。那么,對(duì)于原創(chuàng)文章來(lái)說(shuō),其真正的價(jià)值是什么呢?百度說(shuō)喜歡原創(chuàng),但是我們就跟著去寫(xiě),真的有意義嗎?真的能有排
網(wǎng)站建設(shè)中一項(xiàng)重要的工作就是改版,每次改版肯定是往好的方面進(jìn)行,因?yàn)槊總(gè)階段的定位不同,我們要網(wǎng)站所表現(xiàn)的企業(yè)形象也不同,而且一個(gè)好看大氣的網(wǎng)站絕對(duì)能夠在潛在客戶(hù)心里提升我們公司的地位。但是多數(shù)的改版對(duì)于我們網(wǎng)站的SEO都會(huì)造成一定的影響,這里就需要我們對(duì)網(wǎng)站的情況掌握的非常熟悉之后,然后進(jìn)行有效地控制,減少改版造成的404頁(yè)面過(guò)多情況。
最近有一個(gè)新網(wǎng)站上線,因?yàn)槭且荒甓嗟挠蛎熬W(wǎng)站和新站內(nèi)容完全不同,網(wǎng)站結(jié)構(gòu)也做了很大的調(diào)整,所以帶來(lái)了很多的404錯(cuò)誤抓取頁(yè)面,當(dāng)時(shí)并沒(méi)有特別注意這個(gè)問(wèn)題,后來(lái)持續(xù)更新了2個(gè)星期左右,發(fā)現(xiàn)快照都沒(méi)有更新,發(fā)了一些簡(jiǎn)單的外鏈也沒(méi)有作用,這個(gè)問(wèn)題就引起了我的注意。下面具體的跟大家分析下自己的一些思路:
1、利用日志分析工具找到404錯(cuò)誤抓取頁(yè)面
日志分析工具利用最常用的光年日志分析工具就可以了,首先利用FTP下載好最近幾天的網(wǎng)站LOG日志,當(dāng)然,想更多的分析,那么多下載一段時(shí)間的LOG日志也可以,利用日志分析工具新建任務(wù)分析各個(gè)階段的百度蜘蛛抓取情況,這里主要考慮百度抓取情況,因?yàn)榻⑦@個(gè)分析工作的前提是快照停滯,收錄為1。
這里建議大家分為三個(gè)時(shí)間段來(lái)分析:
A、分析最近一天的LOG日志,可以是今天的,但是最好是昨天的,因?yàn)樽蛱斓臅?huì)比較全,今天的你即使是晚上來(lái)分析也會(huì)有一部分時(shí)間沒(méi)有統(tǒng)計(jì)到。
B、分析改版之后的LOG日志,因?yàn)檫@涉及到百度蜘蛛對(duì)于網(wǎng)站改版的一些判斷,例如我們可以分析百度蜘蛛什么時(shí)候開(kāi)始判斷網(wǎng)站已經(jīng)改版,或者什么時(shí)候已經(jīng)放棄對(duì)于舊站URL的抓取等等。
C、改版前后抓取量的對(duì)比,分析改版對(duì)于百度蜘蛛的抓取量影響多大。
至于日志分析工作后面的分析工作都是一鍵式的,具體的分析思路有了之后,我們對(duì)照著進(jìn)行分析,就會(huì)找到很多平時(shí)我們沒(méi)有注意到的問(wèn)題,例如下面出來(lái)改版造成的404頁(yè)面,還有不少的頁(yè)面也是404錯(cuò)誤,我并沒(méi)有意識(shí)到,例如下面的wp-login.php頁(yè)面就是一個(gè)最典型的例子:

404錯(cuò)誤抓取頁(yè)面
2、利用百度站長(zhǎng)工具中的死鏈提交工具進(jìn)行死鏈提交
百度站長(zhǎng)平臺(tái)LEE團(tuán)隊(duì)說(shuō):404狀態(tài)碼代表‘Not Found’,spider更新時(shí)會(huì)認(rèn)為該頁(yè)面已失效,此時(shí)呢將在索引庫(kù)中刪除,短期內(nèi)spider再次發(fā)現(xiàn)該url不再會(huì)抓取。當(dāng)然,百度的說(shuō)法只能作參考,因?yàn)榉治鼍W(wǎng)站日志發(fā)現(xiàn),2個(gè)多星期百度蜘蛛還是來(lái)抓取這些錯(cuò)誤頁(yè)面,當(dāng)然,百度對(duì)于404錯(cuò)誤頁(yè)面的指導(dǎo)性操作,還是非常有針對(duì)性的。

百度站長(zhǎng)平臺(tái)對(duì)404頁(yè)面的看法
特別是死鏈提交工具中提交死鏈sitemap,這一條大家可以根據(jù)自身的情況進(jìn)行死鏈提交,我這邊提交后暫時(shí)還沒(méi)有大的效果,因?yàn)榇蠹叶贾腊俣鹊男Ч宫F(xiàn)周期一般都比較長(zhǎng)。
3、利用robots.txt和nofollow標(biāo)簽引導(dǎo)蜘蛛抓取
404錯(cuò)誤頁(yè)面一個(gè)最大的壞處就是給蜘蛛帶來(lái)一些錯(cuò)誤的抓取,浪費(fèi)了蜘蛛抓取資源,舉個(gè)例子,首先我們要達(dá)成這樣的一個(gè)共識(shí):任何一個(gè)網(wǎng)站的蜘蛛抓取訪問(wèn)資源都是有限的,小網(wǎng)站自然要少很多,而大網(wǎng)站就要多很多,要想蜘蛛抓取率更高,抓取的更合理,那么一些錯(cuò)誤的鏈接造成的404錯(cuò)誤量就要盡可能的減少。
所以我這里針對(duì)網(wǎng)站的這些資源的浪費(fèi)進(jìn)行了適當(dāng)?shù)囊龑?dǎo),讓蜘蛛抓取我想讓他抓的一些頁(yè)面,對(duì)于/wuchenshi/、/gaoxiao/等類(lèi)似的欄目頁(yè)面都進(jìn)行robots限制抓取,對(duì)于網(wǎng)站中一些不參與排名的鏈接實(shí)行nofollow,引導(dǎo)蜘蛛抓取重要頁(yè)面。下面看看蜘蛛6.3號(hào)抓取的情況,首先目錄抓取中已經(jīng)沒(méi)有了網(wǎng)站中不存在的目錄:

蜘蛛對(duì)目錄的抓取情況
對(duì)于蜘蛛訪問(wèn)的404頁(yè)面,就只剩下一個(gè)圖片的404錯(cuò)誤抓�。�

改進(jìn)后404錯(cuò)誤抓取
目前還沒(méi)有看到快照更新和收錄增加,當(dāng)然,理論上這種操作應(yīng)該會(huì)幫助網(wǎng)站更快的獲得搜索引擎的認(rèn)可,后面如果有恢復(fù),會(huì)在文章中為大家做一個(gè)補(bǔ)充。
本文由虛雨網(wǎng)絡(luò)(http://www.xuziyu.com) SEO虛子雨發(fā)表,歡迎大家轉(zhuǎn)載,轉(zhuǎn)載時(shí)請(qǐng)注明出處,謝謝合作!
分享:網(wǎng)站被K后又復(fù)活的一些感悟網(wǎng)站的核心關(guān)鍵詞是廣州商標(biāo)注冊(cè),在本站中,我們稱(chēng)其為廣州商標(biāo)注冊(cè)網(wǎng)。網(wǎng)站在去年初開(kāi)始優(yōu)化,活在這個(gè)硝煙四起的SEO時(shí)代,前后經(jīng)歷了6.28事件,綠蘿等算法的影響,甚至
- 雙十二電商促銷(xiāo)思路淺析
- Matt Cutts:不要把注意力放在PR上
- 百度要革自己的命?移動(dòng)搜索或取消PC網(wǎng)頁(yè)收錄
- Google adsense帳戶(hù)被封到解封全過(guò)程
- 菜鳥(niǎo)如何通過(guò)競(jìng)價(jià)賺取第一桶金?
- 不接電話會(huì)讓你的備案號(hào)注銷(xiāo)
- 盧松松:搜搜已停止收錄網(wǎng)頁(yè)
- 你懂得:百度文庫(kù)也玩?zhèn)人+V認(rèn)證了
- 頭腦風(fēng)暴:為什么搜索引擎不在乎我們?
- 搜狗聯(lián)盟:360 X 300的廣告位變現(xiàn)能力強(qiáng)
- 盧松松:做這樣的資源站,長(zhǎng)不了
- 盧松松:一個(gè)小學(xué)教師建站的不惑與困惑
建站經(jīng)驗(yàn)教程Rss訂閱網(wǎng)站運(yùn)營(yíng)教程搜索
建站經(jīng)驗(yàn)教程推薦
- 《創(chuàng)業(yè)路上》這篇文章獻(xiàn)給準(zhǔn)備與正在創(chuàng)業(yè)中的朋友們!
- 作為一個(gè)站長(zhǎng)如何應(yīng)對(duì)各種困擾?
- 走出互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)的誤區(qū)
- 解析怎樣做一個(gè)合格的站長(zhǎng)
- Wordpress與其他程序效率評(píng)測(cè)
- 如何運(yùn)營(yíng)好電影主題的微信公眾號(hào)
- 海底撈戰(zhàn)略技術(shù)篇:專(zhuān)人網(wǎng)站維護(hù)不是夢(mèng)
- 如何將企業(yè)網(wǎng)站做到更完美
- 下載模板需注意的幾個(gè)問(wèn)題
- 細(xì)讀HiShop5.0促銷(xiāo)功能 做好網(wǎng)絡(luò)營(yíng)銷(xiāo)
猜你也喜歡看這些
- 一個(gè)站長(zhǎng)談選擇網(wǎng)絡(luò)的一路辛酸
- 解讀業(yè)余站進(jìn)行商業(yè)化運(yùn)營(yíng)的方法
- 一個(gè)網(wǎng)頁(yè)設(shè)計(jì)人的自白(2):興趣幫你找到更多好老師
- 網(wǎng)站更新真的簡(jiǎn)單嗎?
- 朱軍華:為何要提出網(wǎng)絡(luò)渠道推廣營(yíng)銷(xiāo)的模式
- 怎樣利用SNS網(wǎng)站的熱火朝天推廣網(wǎng)站
- 建設(shè)個(gè)人網(wǎng)站一定要知道網(wǎng)站用戶(hù)的信息
- 揭秘網(wǎng)絡(luò)營(yíng)銷(xiāo)的重要環(huán)節(jié)
- CSS3占位符偽元素淺析
- SEOWHY創(chuàng)始人夫唯的人生經(jīng)歷
- 相關(guān)鏈接:
- 教程說(shuō)明:
建站經(jīng)驗(yàn)教程-網(wǎng)站改版帶來(lái)的404抓取錯(cuò)誤解決實(shí)踐
。