查看日志是seoer日常工作中的重要一環(huán),有些站長(zhǎng)顯然還沒(méi)習(xí)慣去分析繁瑣的日志,但無(wú)論如何,養(yǎng)成經(jīng)常查看日志的好習(xí)慣是必不可少的。在查看日志的時(shí)候,除了查看蜘蛛抓取次數(shù)、時(shí)間之外,還有一項(xiàng)很重要的內(nèi)容,就是狀態(tài)碼的查看。今天我們著重講述304和200狀態(tài)碼的應(yīng)用。
首先我們先來(lái)了解一下這兩種狀態(tài)碼分別意味著什么。當(dāng)搜索引擎蜘蛛程序?qū)W(wǎng)頁(yè)進(jìn)行抓取的時(shí)候,通常它首先需要對(duì)頁(yè)面進(jìn)行監(jiān)控和解析,監(jiān)控頁(yè)面是否發(fā)生了變化,也就是是否更新。那么蜘蛛是如何快速判斷頁(yè)面是否變化的呢?當(dāng)蜘蛛抓取監(jiān)控區(qū)域內(nèi)容的時(shí)候,它會(huì)與保存在搜索引擎服務(wù)期上最近一次抓取的內(nèi)容進(jìn)行比較,如果有差異就表明網(wǎng)頁(yè)發(fā)生了變化,就會(huì)進(jìn)行解析。
一般而言,同一個(gè)網(wǎng)站相對(duì)比較穩(wěn)定的模板,監(jiān)控區(qū)域也是固定的,比如內(nèi)容區(qū)域和列表區(qū)域。當(dāng)蜘蛛發(fā)現(xiàn)頁(yè)面沒(méi)有變化時(shí),通常會(huì)返回304狀態(tài)碼,如果發(fā)現(xiàn)有變化,則返回200狀態(tài)碼。了解了這一點(diǎn)之后,我們就很容易在日志里發(fā)現(xiàn)蜘蛛認(rèn)為我們的哪些頁(yè)面發(fā)生了變化。通過(guò)對(duì)比分析,這些頁(yè)面是否是新頁(yè)面,變更的部位,我們可以大致明白如何讓蜘蛛返回更多的200狀態(tài)碼,這意味著我們的網(wǎng)站首頁(yè)能夠獲取最新的網(wǎng)頁(yè)快照。
1、如何讓首頁(yè)保持更新
之前有看到牛人采用程序,使首頁(yè)每次刷新都會(huì)出現(xiàn)新的內(nèi)容,這一招非常迎合蜘蛛的口味,蜘蛛每次來(lái)的時(shí)候發(fā)現(xiàn)頁(yè)面都是新的,于是不停不停的抓取,快照想不新都難。不過(guò)一般來(lái)說(shuō),大多數(shù)網(wǎng)站顯然做不到這一點(diǎn)。有些網(wǎng)站首頁(yè)采用調(diào)用論壇或者博客的形式,來(lái)不斷使首頁(yè)保持最新。但不幸的是,由于一些人不是很了解這么做的目的,采用了JS或者iframe調(diào)用的形式,這么做的結(jié)果,不僅無(wú)法使蜘蛛認(rèn)為你的網(wǎng)頁(yè)發(fā)生更新,而且JS和iframe調(diào)用的內(nèi)容也非常不利于抓取;旧显谧鰺o(wú)用功。請(qǐng)記住,無(wú)論你使用什么程序,一定要確保瀏覽器執(zhí)行的時(shí)候是具體的內(nèi)容和鏈接。
明白了監(jiān)控區(qū)域這個(gè)概念之后,我們可以想象:在首頁(yè)上如果有很多欄目列表,那么倘若我們長(zhǎng)時(shí)間只更新一個(gè)欄目,這樣做的結(jié)果會(huì)讓蜘蛛認(rèn)為其他列表部分是不會(huì)變化的,也就是非監(jiān)控區(qū)域。這樣某天當(dāng)你不更新這個(gè)欄目,而更新其他欄目時(shí),就可能出現(xiàn)滯后的情況,以至于蜘蛛短期內(nèi)并不認(rèn)為你的網(wǎng)頁(yè)發(fā)生變化,直到完整的核對(duì)之后。這樣就可能造成快照停滯的情況。請(qǐng)仔細(xì)理解這段話。
基于這一點(diǎn),我們?cè)诟聝?nèi)容的時(shí)候,盡可能保持整個(gè)網(wǎng)頁(yè)各個(gè)區(qū)域都在均衡的變化,也就是在首頁(yè)上出現(xiàn)的每個(gè)欄目都適當(dāng)?shù)母聝?nèi)容,這樣的好處是只要有一點(diǎn)點(diǎn)更新,蜘蛛都能及時(shí)發(fā)現(xiàn),也就是說(shuō),我們要讓網(wǎng)頁(yè)上盡可能多的區(qū)域都成為蜘蛛的監(jiān)控區(qū)域。那么只要我們網(wǎng)頁(yè)有一點(diǎn)點(diǎn)的變化,都會(huì)讓蜘蛛最快的時(shí)間內(nèi)發(fā)現(xiàn)并進(jìn)行更新。這樣一般能解決快照最新的問(wèn)題。
2、欄目列表頁(yè)
事實(shí)上欄目列表頁(yè)的快照較慢,讓很多人無(wú)奈。倘若欄目列表頁(yè)僅僅是列表在逐漸的刷新,的確很難讓快照及時(shí)。針對(duì)它的思路是,盡可能擴(kuò)充區(qū)域,除了正常的內(nèi)容列表之外,右邊放置大量的最新內(nèi)容列表、熱門(mén)點(diǎn)擊列表、隨機(jī)內(nèi)容列表等等,有人認(rèn)為這些板塊一方面是為了盡可能讓瀏覽者點(diǎn)擊內(nèi)容,從而有利于用戶體驗(yàn),同時(shí)有利于增加內(nèi)鏈。事實(shí)上不僅僅如此,它還有利于擴(kuò)充蜘蛛的監(jiān)控區(qū)域,最大化保持頁(yè)面的更新,讓蜘蛛返回更多的200狀態(tài)碼。
3.內(nèi)容頁(yè)
內(nèi)容頁(yè)相對(duì)來(lái)說(shuō),監(jiān)控區(qū)域更加穩(wěn)定,就是內(nèi)容展示部分。基本上更新的內(nèi)容一下子就可以監(jiān)控出來(lái)。所以網(wǎng)站里內(nèi)容頁(yè)是最容易判斷是否更新的,而且有的頁(yè)面是新頁(yè)面,蜘蛛在索引庫(kù)中完全沒(méi)有記錄,這樣的頁(yè)面幾乎無(wú)須判斷都可以判定為新頁(yè)面,會(huì)返回200狀態(tài)碼。
了解了這些之后,你可以測(cè)試一下自己的網(wǎng)站監(jiān)控區(qū)域在哪里。比如以網(wǎng)站首頁(yè)作為實(shí)驗(yàn)對(duì)象,一點(diǎn)一點(diǎn)的改動(dòng),每個(gè)區(qū)域逐個(gè)更新,更新一塊之后,暫停,等待蜘蛛來(lái)訪,然后查看日志的狀態(tài)碼。這樣最終你可以發(fā)現(xiàn)自己網(wǎng)站的哪些部分是蜘蛛的監(jiān)控區(qū)域,從而更加有針對(duì)性的進(jìn)行內(nèi)容更新。事實(shí)上日志里還有更多的內(nèi)容可以研究,以后我們將逐個(gè)講解。關(guān)于304和200狀態(tài)碼的應(yīng)用暫時(shí)就講到這里,希望大家的日志里充滿了200。
上一條:
愛(ài)康團(tuán)獲第一筆風(fēng)險(xiǎn)投資 金額達(dá)200萬(wàn)美元下一條:
網(wǎng)絡(luò)大對(duì)罵事件 從騰訊360大戰(zhàn)看網(wǎng)絡(luò)營(yíng)銷(xiāo)推廣網(wǎng)站制作