CASES 案例
我們的作品，他們的故事
Our work, their stories
Our work, their stories
龍兵剖析搜索引擎結(jié)構(gòu)
我們知道要想做好網(wǎng)站并且推廣出去，就要對(duì)搜索引擎有一定的認(rèn)識(shí)，下面成都網(wǎng)站建設(shè)龍兵科技為您一一解析。
一、搜索引擎大致結(jié)構(gòu)：用戶查詢、cache模塊、排序（內(nèi)容和鏈接）、索引庫、蜘蛛去重、互聯(lián)網(wǎng)
二、搜索引擎的爬行策略：
①寬度優(yōu)先：它發(fā)現(xiàn)新連接會(huì)放在最后的待抓取ulr
②非完全的pagerank：判斷鏈接重要性，去排序
③OCIP策略：改進(jìn)的pagerank，抓取的10個(gè)URL的權(quán)重，就像花錢，相互鏈接，從鏈接導(dǎo)入判斷，看哪個(gè)重要，OCIP不需要計(jì)算過程，速度
④大站優(yōu)化策略：以域?yàn)椋╳ww.xbjianzhan.com）單位，蜘蛛堅(jiān)持待抓取url庫中的網(wǎng)頁，進(jìn)行歸類。那一個(gè)域需要下載的頁面較多，就優(yōu)先下載那個(gè)域
三、蜘蛛爬行過程
①下載種子頁面
②分析出里面的鏈接
③將分析出來的鏈接放入待抓取的數(shù)據(jù)庫中
④依次下載待抓取的URL，并分析里面的鏈接并放入已爬行庫中。
四、如果你網(wǎng)站頁面不更新，或者排名不好可參考，頁面更新策略
①歷史參考策略：主要根據(jù)網(wǎng)頁的歷史變化作為參考已經(jīng)，來知道爬蟲對(duì)網(wǎng)站的更新時(shí)間。廣告變化、網(wǎng)站頭部、網(wǎng)站尾部、網(wǎng)站樣式、顏色等變化，對(duì)于蜘蛛來說，不屬于更新
②用戶體驗(yàn)策略：主要根據(jù)用戶體驗(yàn)作為參考的依據(jù)，來指導(dǎo)爬蟲對(duì)網(wǎng)站的更新時(shí)間。用戶前30名網(wǎng)站較多，判斷一個(gè)網(wǎng)頁是否需要更新，取決于網(wǎng)頁的變化所帶來的搜索質(zhì)量的變化，影響越大，更新越快
③類聚抽樣策略：把抓取到的網(wǎng)頁根據(jù)屬性，放到不同的類中，然后根據(jù)類別的屬性，進(jìn)行頁面的更新頻率和時(shí)間。 在不同的環(huán)境下，搜索引擎可能直接省略掉這個(gè)步驟，直接會(huì)以網(wǎng)站為類聚單位，對(duì)網(wǎng)站的內(nèi)頁進(jìn)行抽樣，計(jì)算更新頻率，作為參考周期
五、蜘蛛的類型
對(duì)等式分布爬蟲、主從分布式爬蟲
一、搜索引擎大致結(jié)構(gòu)：用戶查詢、cache模塊、排序（內(nèi)容和鏈接）、索引庫、蜘蛛去重、互聯(lián)網(wǎng)
二、搜索引擎的爬行策略：
①寬度優(yōu)先：它發(fā)現(xiàn)新連接會(huì)放在最后的待抓取ulr
②非完全的pagerank：判斷鏈接重要性，去排序
③OCIP策略：改進(jìn)的pagerank，抓取的10個(gè)URL的權(quán)重，就像花錢，相互鏈接，從鏈接導(dǎo)入判斷，看哪個(gè)重要，OCIP不需要計(jì)算過程，速度
④大站優(yōu)化策略：以域?yàn)椋╳ww.xbjianzhan.com）單位，蜘蛛堅(jiān)持待抓取url庫中的網(wǎng)頁，進(jìn)行歸類。那一個(gè)域需要下載的頁面較多，就優(yōu)先下載那個(gè)域
三、蜘蛛爬行過程
①下載種子頁面
②分析出里面的鏈接
③將分析出來的鏈接放入待抓取的數(shù)據(jù)庫中
④依次下載待抓取的URL，并分析里面的鏈接并放入已爬行庫中。
①歷史參考策略：主要根據(jù)網(wǎng)頁的歷史變化作為參考已經(jīng)，來知道爬蟲對(duì)網(wǎng)站的更新時(shí)間。廣告變化、網(wǎng)站頭部、網(wǎng)站尾部、網(wǎng)站樣式、顏色等變化，對(duì)于蜘蛛來說，不屬于更新
②用戶體驗(yàn)策略：主要根據(jù)用戶體驗(yàn)作為參考的依據(jù)，來指導(dǎo)爬蟲對(duì)網(wǎng)站的更新時(shí)間。用戶前30名網(wǎng)站較多，判斷一個(gè)網(wǎng)頁是否需要更新，取決于網(wǎng)頁的變化所帶來的搜索質(zhì)量的變化，影響越大，更新越快
③類聚抽樣策略：把抓取到的網(wǎng)頁根據(jù)屬性，放到不同的類中，然后根據(jù)類別的屬性，進(jìn)行頁面的更新頻率和時(shí)間。 在不同的環(huán)境下，搜索引擎可能直接省略掉這個(gè)步驟，直接會(huì)以網(wǎng)站為類聚單位，對(duì)網(wǎng)站的內(nèi)頁進(jìn)行抽樣，計(jì)算更新頻率，作為參考周期
五、蜘蛛的類型
對(duì)等式分布爬蟲、主從分布式爬蟲
上一篇:上一篇：成都旅游網(wǎng)站建設(shè)策略
下一篇:下一篇：交友a(bǔ)pp開發(fā)商業(yè)計(jì)劃書
最新資訊
