各人都知道搜刮引擎抓取網(wǎng)站，并接納快照排名有三個(gè)步調(diào)，這篇文章的焦點(diǎn)是“索引”這內(nèi)里的“去重”關(guān)鍵，去重也便是去失重復(fù)的內(nèi)容事情。網(wǎng)頁去重的緊張性有多大?各人可以去搜刮下有許多光顯的案例。我先敘述下我所相識到的信息。
　　去重所處的位置：SE抓網(wǎng)頁-闡發(fā)-去重-建索引
　　爬蟲遵照的協(xié)議集: socket編程, http協(xié)議闡發(fā)
　　網(wǎng)頁剖析: 詞法剖析,編譯原理,html協(xié)議
　　去重: url消重,文本關(guān)鍵詞提取,頻度闡發(fā) (這個(gè)最難)
　　去重算法我5、6月份時(shí)間也曾搜刮了一段時(shí)間，無功而返。運(yùn)營bbs的童靴應(yīng)對“去重”加以器重!各人都曉得論壇的垃圾內(nèi)容容易太多了，注水嚴(yán)峻導(dǎo)致大量的和網(wǎng)站主題不干系的內(nèi)容出現(xiàn)，誤導(dǎo)SE以為你的站內(nèi)容和你的meta里信息不切合，終極導(dǎo)致排名降落。