6.網(wǎng)站內(nèi)鏈建設(shè)

蜘蛛的爬行是跟著鏈接走的，所以內(nèi)鏈的合理優(yōu)化可以要蜘蛛抓取到更多的頁面，促進網(wǎng)站的收錄。內(nèi)鏈建設(shè)過程中要給用戶合理推薦，除了在文章中增加錨文本之外，可以設(shè)置相關(guān)推薦，熱門文章，更多喜歡之類的欄目，這是很多網(wǎng)站都在利用的，可以讓蜘蛛抓取更大范圍的頁面。

7.建設(shè)網(wǎng)站地圖

搜索引擎蜘蛛非常喜歡網(wǎng)站地圖，網(wǎng)站地圖是一個網(wǎng)站所有鏈接的容器。很多網(wǎng)站的鏈接層次比較深，蜘蛛很難抓取到，網(wǎng)站地圖可以方便搜索引擎蜘蛛抓取網(wǎng)站頁面，通過抓取網(wǎng)站頁面，清晰了解網(wǎng)站的架構(gòu)，所以建設(shè)一個網(wǎng)站地圖不僅提高抓取率還能獲得蜘蛛好感。

8.檢查死鏈，設(shè)置404頁面

搜索引擎蜘蛛是通過鏈接來爬行搜索，如果太多鏈接無法到達，不但收錄頁面數(shù)量會減少，而且你的網(wǎng)站在搜索引擎中的權(quán)重會大大降低。蜘蛛在遇見死鏈就像進了死胡同，又得折返重新來過，大大降低蜘蛛在網(wǎng)站的抓取效率，所以一定要定期排查網(wǎng)站的死鏈，向搜索引擎提交，同時要做好網(wǎng)站的404頁面，告訴搜索引擎錯誤頁面。

9.檢查robots文件

很多網(wǎng)站有意無意的直接在robots文件屏蔽了百度或網(wǎng)站部分頁面，卻整天在找原因為什么蜘蛛不來抓取我的頁面，這能怪百度嗎?你都不讓別人進門了，百度是怎么收錄你的網(wǎng)頁?所以有必要時常去檢查一下網(wǎng)站robots文件是否正常。

10.監(jiān)測蜘蛛的爬行

利用網(wǎng)站日志監(jiān)測蜘蛛正在抓取哪些頁面、抓取過哪些頁面，還可以利用站長工具對蜘蛛的爬行速度進行查看，合理分配資源，以達到更高的抓取速度和勾引更多的蜘蛛。網(wǎng)站要獲得更多的收錄就需要做好搜索引擎蜘蛛的抓取優(yōu)化工作，網(wǎng)站優(yōu)化不是一朝一夕的事情，耐心做好基礎(chǔ)工作才是網(wǎng)站優(yōu)化的根本。