HTTP404或notfound錯(cuò)誤信息是HTTP的標(biāo)準(zhǔn)響應(yīng)信息(HTTP狀態(tài)碼)之一，也就是說，當(dāng)客戶端瀏覽網(wǎng)頁時(shí)，服務(wù)器無法正常提供信息，或者服務(wù)器無故無法響應(yīng)。
1.許多網(wǎng)站不可避免地存在死鏈接，但死鏈接的概率很高，這將影響搜索引擎對(duì)網(wǎng)站的評(píng)級(jí)。
2.搜索引擎每天抓取每個(gè)網(wǎng)站的頻率。如果網(wǎng)站上有很多死鏈接，會(huì)浪費(fèi)抓取配額，影響正常頁面的抓取。
3.死鏈太多也是網(wǎng)站用戶的糟糕表現(xiàn)。
百度站長(zhǎng)工具有抓取異常，那么這個(gè)工具是如何產(chǎn)生異常數(shù)據(jù)的呢？
編輯錯(cuò)誤或程序員粗心地使頁面產(chǎn)生不存在的頁面。
由于服務(wù)器、空間或程序問題，網(wǎng)站暫時(shí)無法訪問，導(dǎo)致大量服務(wù)器錯(cuò)誤頁面返回500個(gè)代碼。
當(dāng)單個(gè)爬蟲程序提取頁面網(wǎng)址時(shí)，它們只提取網(wǎng)址的一部分或正常網(wǎng)址后的文本或字符。
站點(diǎn)修改時(shí)，未經(jīng)301跳轉(zhuǎn)到相應(yīng)頁面直接刪除舊頁面，或301跳轉(zhuǎn)后部分舊頁面無法訪問。
網(wǎng)站管理員刪除黑色、廣告、過期和浸水的頁面，導(dǎo)致許多死鏈接。
網(wǎng)頁異常中的許多錯(cuò)誤頁面是由程序員的疏忽或程序問題引起的。它們應(yīng)該是普通頁面，因?yàn)樗鼈儾荒鼙辉L問，因?yàn)樗鼈兪清e(cuò)誤的。請(qǐng)盡快修復(fù)這樣的頁面。
404錯(cuò)誤頁面阻礙和改進(jìn)網(wǎng)站優(yōu)化。
但一定有很多錯(cuò)誤的網(wǎng)頁不應(yīng)該存在，因此我們需要找到一個(gè)方法來獲頁面URL的方法，主要有以下三種：
(1)百度站長(zhǎng)工具-抓取異常-找不到頁面-復(fù)制數(shù)據(jù)[修復(fù):這里不需要提交死鏈，百度站長(zhǎng)工具會(huì)自動(dòng)提交死鏈]；
(2)刪除網(wǎng)頁時(shí)，管理員手動(dòng)或自動(dòng)保存被刪除網(wǎng)頁的URL；
(3)使用相關(guān)爬蟲軟件爬蟲整個(gè)網(wǎng)站，獲取死鏈，如Xenu。
然后將上述處理過的數(shù)據(jù)粘貼到網(wǎng)站根目錄下的文檔中，并將文檔地址提交給百度站長(zhǎng)工具-網(wǎng)頁抓取-死鏈接提交-添加新數(shù)據(jù)-填寫死鏈接文件地址。
如果大量錯(cuò)誤的網(wǎng)址有一些規(guī)則，規(guī)則可以寫在機(jī)器人文件中，以防止爬行器獲得此類鏈接，但前提是正常頁面應(yīng)該妥善處理，以避免規(guī)則損壞正常頁面。
向robots文件添加規(guī)則后，必須到百度站長(zhǎng)的robots工具進(jìn)行驗(yàn)證，將指定的錯(cuò)誤頁面放入，檢查截取是否成功，然后將正常頁面放入，檢查是否被錯(cuò)誤截取。
有關(guān)注意事項(xiàng)：
1.在百度站長(zhǎng)工具中提交死鏈接之前，請(qǐng)確保提交的死鏈接數(shù)據(jù)中沒有活鏈接。一旦有活動(dòng)鏈，就會(huì)顯示提交失敗，無法刪除。
2.由于很多網(wǎng)站程序的問題，很多不能打開的頁面返回碼都不是404，這是一個(gè)很大的問題。比如不能打開的頁面返回碼是301、200、500。如果是200，不同的網(wǎng)站會(huì)出現(xiàn)在網(wǎng)站上，得到同樣的內(nèi)容。比如在我的一個(gè)網(wǎng)站上，社區(qū)帖子被刪除后，返回代碼其實(shí)是500。后來發(fā)現(xiàn)了，馬上處理。試著找出所有錯(cuò)誤的URL格式，把HTTP狀態(tài)代碼設(shè)置為404。
3.找到所有錯(cuò)誤的頁面后，一定要找到這些頁面的URL的相同特征，區(qū)分它們和普通頁面的特征。將相應(yīng)的規(guī)則寫入機(jī)器人文件，禁止spider獲取。即使你已經(jīng)在網(wǎng)站管理員工具中提交了死鏈，建議機(jī)器人攔截并抓取它們。
4.機(jī)器人只能解決蜘蛛不再抓取這類頁面的問題，但不能解決刪除包含頁面快照的問題。如果你的網(wǎng)站是黑色的，黑色的頁面被刪除，除了機(jī)器人禁止的黑色頁面，這些頁面也應(yīng)該提交給死鏈。
推薦文章
- 對(duì)SEO優(yōu)化快速排名的原理進(jìn)行分析，提高操作流程2023-04
- 通過網(wǎng)頁快照數(shù)據(jù)分析可以獲得大量有利于SEO信息提升的信息。2023-04
- 【集中網(wǎng)站首頁方法】盤點(diǎn)幾種常見的中小企業(yè)集中網(wǎng)站權(quán)重方法。2023-04
- 利用網(wǎng)站欄目SEO布局關(guān)鍵字，處理關(guān)鍵字排名無法提高難題2023-04
- 處理網(wǎng)站流量異常下降時(shí)的措施?2023-04
- 包含關(guān)系在解讀指數(shù)、收錄、檢索之間錯(cuò)綜復(fù)雜。2023-02
- SEO優(yōu)化網(wǎng)站的價(jià)值在于控制和擴(kuò)展關(guān)鍵詞。2023-02
- 對(duì)企業(yè)網(wǎng)站SEO內(nèi)容優(yōu)化營銷推廣的探索作用有哪些?2023-02
- 循規(guī)蹈矩做好白帽SEO升級(jí)工作，遠(yuǎn)離黑帽SEO優(yōu)化的危害2023-02
- 如何提高網(wǎng)站標(biāo)題和描述的URL?使用靜態(tài)URL結(jié)構(gòu)更有利于蜘蛛抓取2023-02
- 為了真正獲得長(zhǎng)期的排名和流量，公司必須選擇白帽戰(zhàn)略2023-02
- 為什么網(wǎng)站優(yōu)化需要SEO思維?正確的SEO思維可以捕捉到精確的用戶群體2023-02
- 從SEO結(jié)果指導(dǎo)到優(yōu)化策略的全過程，對(duì)網(wǎng)站流量的分析應(yīng)該是2023-02
- 對(duì)搜索引擎優(yōu)化的各種網(wǎng)站服務(wù)器問題進(jìn)行分析2023-02
- 總結(jié)了SEO提升人員的日常工作流程和提高優(yōu)化技術(shù)的方法2023-02
- 在SEO升級(jí)中，搜索引擎優(yōu)化不僅僅是升級(jí)，更注重每一個(gè)細(xì)節(jié)。2023-02
- 網(wǎng)站微調(diào)影響關(guān)鍵詞排名怎么辦?網(wǎng)站微調(diào)仍保持網(wǎng)站排名的方法2023-02
- 如果你想做好SEO優(yōu)化，你離不開網(wǎng)站SEO檢測(cè)工具的幫助2023-02