|
如何才能提高蜘蛛的爬行頻率或者說次數(shù)呢？為什么別人的網(wǎng)站利于蜘蛛爬行抓取而自己網(wǎng)站不行呢？今天拓野網(wǎng)絡(luò)就簡述一下什么樣的網(wǎng)站利于搜索引擎蜘蛛爬行抓��！怎么樣做的站點(diǎn)才是有利網(wǎng)站優(yōu)化的站點(diǎn)的呢？
百度站長平臺lee發(fā)布了一篇名為“建立符合搜索抓取習(xí)慣的網(wǎng)站”的文章，本人就結(jié)合這篇文章（文章地址：（http://zhanzhang.baidu.com/wiki/213）說一下個人的理解。
①網(wǎng)站結(jié)構(gòu)要層次分明。盡可能短的距離到達(dá)最終內(nèi)容頁或者產(chǎn)品頁！常用結(jié)構(gòu)：樹形結(jié)構(gòu)。扁平式結(jié)構(gòu)更好，直接從首頁就可以到達(dá)各個內(nèi)容頁（適合于內(nèi)容少的）。
②url要具有唯一性。比如說 maolvge.cn與www.maolvge.cn與www.maolvge.cn/index.asp 是三個一樣的頁面，但是路徑不同，所以我們要確定一個主域名。也就是說我們程序要保證這篇文章就一個路徑，而不是好幾個不同的路徑指向同一篇文章。
③路徑中的參數(shù)盡量少。正常的企業(yè)站 你會發(fā)現(xiàn)含有2個參數(shù)的收錄明顯不如含有一個參數(shù)的。
④建議有404頁面、robots文件，這樣可以避免蜘蛛爬行一些沒必要收錄的路徑，從而減少了對網(wǎng)站有效內(nèi)容的爬行頻率。
⑤百度應(yīng)該能分辨一些拼音，所以說有效的拼音目錄也有利于百度對內(nèi)容的一個識別。
⑥入口多了，爬行次數(shù)也應(yīng)該會多。這應(yīng)該就是外鏈的其中一個作用，增加蜘蛛進(jìn)入網(wǎng)站的入口。
⑦網(wǎng)站地圖這個是促使蜘蛛遍歷網(wǎng)站內(nèi)容的一個好方法。對于大型網(wǎng)站可以加一個tag標(biāo)簽頁。
以上的七條，是我看了“建立符合搜索抓取習(xí)慣的網(wǎng)站”的文章以后自己的一個簡單理解。希望對您有所幫助。 |
2020端午節(jié)放假通知
