于互聯網上的網站非常多，所以各大搜索引擎公司都要存入海量的數據，已經擁有強大的帶寬。為了節約成本搜索引擎根據網站的權重高低提出來兩種不同的策略一種被稱之為廣度優先，另一種被稱之為深度優先。這也是對各大站長的一種激勵措施。廣度優先：一般來說比較多在用在新站上面。蜘蛛根據網站的層次目錄結構，爬行，先訪問第一層目錄的頁面，爬行完畢之后在爬行第二層的頁面依此類推。但是這樣爬行來說很多時候蜘蛛只在第一層目錄或者前幾層目錄爬完就走了。這樣被收錄的頁面和網站本身的頁面比例來說不是很大。是以站長要解決這個問題一般來說要從兩個方面入手，一個是增加網站權重，爭取蜘蛛在廣度爬行的時候也進行深度爬行。
另外是，減少目錄層次，一般來說現在的開源程序和網站程序的架構也都比較好，我們建立一級欄目和二級欄目就足夠。整體的目錄層次不要超過三層。這樣利于蜘蛛的收錄和爬行。如果網站權重不夠，而發布的內容又再較深的目錄層次，應該讓其在首頁顯示，蜘蛛來的時候可以第一時間爬行。現在各大搜索引擎根據網站的權重大小一般都回采用廣度爬行和深度爬行同時進行。深度優先：根據網站的目錄層次，蜘蛛到達一個目錄繼續往這個目錄深層爬行，一直爬行到最低，沒有連接了。然后根據原來的連接返回，開始爬行第二個目錄。是以站長目錄設置要簡單明了，千萬不要讓蜘蛛迷路。
另外是，減少目錄層次，一般來說現在的開源程序和網站程序的架構也都比較好，我們建立一級欄目和二級欄目就足夠。整體的目錄層次不要超過三層。這樣利于蜘蛛的收錄和爬行。如果網站權重不夠，而發布的內容又再較深的目錄層次，應該讓其在首頁顯示，蜘蛛來的時候可以第一時間爬行。現在各大搜索引擎根據網站的權重大小一般都回采用廣度爬行和深度爬行同時進行。深度優先：根據網站的目錄層次，蜘蛛到達一個目錄繼續往這個目錄深層爬行，一直爬行到最低，沒有連接了。然后根據原來的連接返回，開始爬行第二個目錄。是以站長目錄設置要簡單明了，千萬不要讓蜘蛛迷路。
