咱們都知道蛛蛛它究竟還僅僅個程序罷了，他做的作業(yè)不會經(jīng)過網(wǎng)站的前臺來剖析一個網(wǎng)站內(nèi)容，而是經(jīng)過網(wǎng)站的代碼來進行抓取信息的。而在網(wǎng)站的源代碼里咱們會看到很多html、js等一些程序的句子。而蛛蛛他只會對里邊的文章感興趣，也即是說他只獲取頁面里的一些文字。有些兄弟也許就會提到了，那咱們還寫什么代碼?代碼不是起不到效果了嗎?

　　本來不是這么的，在網(wǎng)站的標簽優(yōu)化中咱們都知道比方H標簽、nofollow標簽、alt標簽等。這些標簽仍是能在蛛蛛抓取咱們網(wǎng)站信息的時分起到著重與修飾效果。比方遇到圖像的時分，但蛛蛛并不能辨認圖像里的信息，那么咱們就會思考去設(shè)置一下 alt標簽來協(xié)助查找引擎來辨認圖像里的信息;為了讓網(wǎng)站的一些權(quán)重不渙散，咱們在必要當?shù)亟o連接加上了nofollow。

　　既然查找引擎蛛蛛是對網(wǎng)站文字格外感興趣，那關(guān)于中文SEO優(yōu)化來說。是不是會有個概念性的東西在這里邊，那即是“分詞”

　　最簡略的一個比方，比方咱們中文里邊的“網(wǎng)站優(yōu)化”這四個詞，在baidu查找引擎數(shù)據(jù)詞庫里，本來是把網(wǎng)站與優(yōu)化兩個不一樣的詞分開來寄存的。當用戶來查找網(wǎng)站優(yōu)化這個詞的時分，查找引擎的進程也即是把網(wǎng)站這個詞庫里的頁面信息與優(yōu)化詞庫里的信息做一個交集來檢索與排行。這點后邊還會有提到。

　　在查找引擎把蛛蛛抓取來的信息進行歸檔之前，還有個程度是必不可少的，他有必要得做內(nèi)容的重復審閱。一重意思：查找引擎有必要把同一個網(wǎng)站里的數(shù)據(jù)進行刪選。第二重：關(guān)于不一樣的網(wǎng)站而言，由于網(wǎng)絡上的內(nèi)容那是不計其數(shù)的。這里邊就會呈現(xiàn)兩個不一樣的網(wǎng)站，但內(nèi)容一樣的狀況。即是咱們常說的網(wǎng)站內(nèi)容轉(zhuǎn)發(fā)的疑問，查找引擎也會思考到重復的信息進行刪選。

　　有了上幾步的重重審閱，接下來的即是得做個有用的數(shù)據(jù)收拾。