在這些年的搜索引擎優(yōu)化診斷中，我發(fā)現(xiàn)不少于20%的網(wǎng)站有嚴重的爬行問題，但奇怪的是，大多數(shù)人從來沒有注意到它。那些徹底研究并分享這個問題的人沒有發(fā)現(xiàn)它。在今天的文章中，我們將研究這個問題。
有什么問題嗎？
連接超時，或抓取超時。如果這個問題出現(xiàn)在你的網(wǎng)站上，到目前為止還沒有得到妥善處理，請轉(zhuǎn)載這篇文章。
許多人說，這不就是幾十次暫停嗎？有什么大不了的？如果你這樣認為，你真的應該得到這個壞網(wǎng)站。一個普通的網(wǎng)站是什么樣的？讓我們舉個例子：
這是一個權(quán)重為4的站點。即使它被爬行超過100，000次，也不會有一次爬行錯誤！如果您每天的爬行錯誤超過10次(每十天半月或連續(xù)幾天出現(xiàn)一次錯誤)，您應該認真處理這個問題，因為現(xiàn)有的問題已經(jīng)長期限制了網(wǎng)站的發(fā)展上限，甚至這個問題導致網(wǎng)站權(quán)限的降低也不足為奇。
為什么會出錯？
有些人說，不要擔心，這是一個BUG，因為我沒有在網(wǎng)站日志中發(fā)現(xiàn)這個問題。之前，在百度站長的VIP群中，有人這樣解釋過。但是我想說的是：百度不能抓取網(wǎng)站。你能在你的網(wǎng)站日志中計算這樣的錯誤嗎？因此，上述解釋是完全不合理的。
那么，為什么會有這樣的錯誤呢？
一、域名系統(tǒng)問題，無論是蜘蛛還是用戶訪問網(wǎng)站，域名系統(tǒng)首先需要正確解決，但解決的辦法是解決。你能確定域名系統(tǒng)真的很穩(wěn)定嗎？許多站點錯誤是由不穩(wěn)定的域名系統(tǒng)引起的。尤其是那些做域名注冊和“域名搶注”的平臺，這些平臺更容易出現(xiàn)不穩(wěn)定的域名解析，尤其是在域名搶注的高峰期。對于特定品牌，這將不會被命名。如果你的域名在這些平臺上，何桂江強烈建議你把它轉(zhuǎn)讓出去。
b，這一頁太大了。一些網(wǎng)站已經(jīng)達到45678萬億頁，甚至很少有網(wǎng)站看到10MB大小的頁面。這種頁面更容易出現(xiàn)鏈接超時。通常，不建議網(wǎng)站的頁面大小超過3MB，建議網(wǎng)站服務器啟用GZIP壓縮。
帶寬不足，這是非常常見的情況。由于帶寬不足，許多站點都有鏈接超時。我們知道1M的峰值下載帶寬是128KB。如果網(wǎng)站被1M訪問，頁面大小為256KB。如果兩個人同時打開頁面，將需要4秒鐘來完成下載。如果