谷歌官方《搜索引擎優(yōu)化指南》網(wǎng)絡(luò)蜘蛛篇_SEO優(yōu)化教程
推薦:怎樣做好網(wǎng)站優(yōu)化網(wǎng)站優(yōu)化是每個(gè)站長(zhǎng)畢經(jīng)之路,只有將網(wǎng)站設(shè)計(jì)得各加符合搜索引擎標(biāo)準(zhǔn),才會(huì)獲得更高的排名,這樣才會(huì)獲得更多的流量。 1、尋找關(guān)鍵字相關(guān)的域名,最好選一些簡(jiǎn)單好記又相關(guān)性的域名. 2、
有效使用robots.txt
一個(gè)robots.txt文件可以告訴搜索引擎你網(wǎng)站的哪些部分允許它去抓取。而這個(gè)文件不旦必須命名成”robots.txt”,還得放在你網(wǎng)站的根目錄上。
所有的遵循這一規(guī)則的搜索引擎爬蟲(chóng)(按照通配符*指示的那樣)不應(yīng)該進(jìn)入并抓取/images/或者任何以/search開(kāi)頭的url里的內(nèi)容。
你也許并不希望你網(wǎng)站的一些頁(yè)面被抓取到,因?yàn)槿绻鼈兂霈F(xiàn)在搜索結(jié)果里對(duì)用戶可能是沒(méi)多大意義的。如果你想阻止搜索引擎爬取你的網(wǎng)頁(yè),Google網(wǎng)站管理員工具有一個(gè)很好用的robots.txt生成器來(lái)幫助你創(chuàng)建這個(gè)文件。另外如果你希望子域名里的一些內(nèi)容不被爬取,你需要在子域名的目錄下再新建一個(gè)robots.txt文件。你也可以在我們的網(wǎng)站管理員幫助中心獲得更多關(guān)于robots.txt的信息。
這里也有其它更便捷的方式來(lái)阻止你的內(nèi)容出現(xiàn)在搜索結(jié)果里,比如說(shuō)在robots meta標(biāo)簽里添加”NOINDEX”,使用htaccess來(lái)為一些目錄加密或者使用Google網(wǎng)站管理員工具來(lái)移除某些已經(jīng)被索引的內(nèi)容。Google工程師 Matt Cutts一個(gè)幫助視頻里粗略地介紹了各種URL排除原理的注意事項(xiàng)。
robots.txt實(shí)踐經(jīng)驗(yàn)
為那些敏感的內(nèi)容使用更加安全的方案——通過(guò)robots.txt來(lái)阻止一些敏感或者機(jī)密的內(nèi)容。之所以這樣做的是因?yàn)槿绻切┠阍趓obots.txt里阻止的鏈接出現(xiàn)互聯(lián)網(wǎng)上(比如說(shuō)來(lái)源記錄),搜索引擎就很可能引用這些URLs(不過(guò)僅難是URL,不會(huì)含有標(biāo)題或者內(nèi)容片段)。還有一些不遵守機(jī)器人排除標(biāo)準(zhǔn)的流氓搜索引擎則會(huì)違背robots.txt上的指令。最后一些好奇的用戶就會(huì)去查看你robots.txt是聲明阻止的目錄或者子目錄,并猜測(cè)那些你不想被看到的內(nèi)容。所以對(duì)內(nèi)容加密或者通過(guò) .htaccess實(shí)現(xiàn)密碼保護(hù)會(huì)是更安全的選擇。當(dāng)然你需要避免:
1.允許看起來(lái)像搜索結(jié)果一樣的頁(yè)面被爬取。
2.允許大量的自動(dòng)生成的頁(yè)面被抓取,而里面大多都是相同或者差異甚微的內(nèi)容。“像這些100000張幾乎像復(fù)制的頁(yè)面被搜索引擎索引了有多大意義呢?”
3.允許代理服務(wù)器創(chuàng)建的URLs被爬取。
知識(shí)補(bǔ)充:Robots.txt
robots.txt(統(tǒng)一小寫(xiě))是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件,它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器(又稱網(wǎng)絡(luò)蜘蛛),此網(wǎng)站中的哪些內(nèi)容是不能被搜索引擎的漫游器獲取的,哪些是可以被(漫游器)獲取的。 因?yàn)橐恍┫到y(tǒng)中的URL是大小寫(xiě)敏感的,所以robots.txt的文件名應(yīng)統(tǒng)一為小寫(xiě)。robots.txt應(yīng)放置于網(wǎng)站的根目錄下。如果想單獨(dú)定義搜索引擎的漫游器訪問(wèn)子目錄時(shí)的行為,那么可以將自定的設(shè)置合并到根目錄下的robots.txt,或者使用robots元數(shù)據(jù)。
Robots.txt協(xié)議并不是一個(gè)規(guī)范,而只是約定俗成的,所以并不能保證網(wǎng)站的隱私。注意Robots.txt是用字符串比較來(lái)確定是否獲取URL,所以目錄末尾有和沒(méi)有斜杠“/”這兩種表示是不同的URL,也不能用"Disallow: *.gif"這樣的通配符。
這個(gè)協(xié)議也不是一個(gè)規(guī)范,而只是約定俗成的,通常搜索引擎會(huì)識(shí)別這個(gè)元數(shù)據(jù),不索引這個(gè)頁(yè)面,以及這個(gè)頁(yè)面的鏈出頁(yè)面。
分享:谷歌官方《搜索引擎優(yōu)化指南》網(wǎng)站推廣篇翻譯核心提示:當(dāng)人們發(fā)現(xiàn)你的網(wǎng)站并鏈接它時(shí),鏈向你網(wǎng)站的鏈接也會(huì)逐漸增加,Google會(huì)明白你很希望別人知道你網(wǎng)站上那些辛勤的勞動(dòng)成果。
- B2B網(wǎng)站SEO優(yōu)化實(shí)戰(zhàn)經(jīng)驗(yàn)分享
- 淺析如何提高SEO優(yōu)化團(tuán)隊(duì)效率
- 谷歌如何評(píng)價(jià)一篇博文是否是軟文
- 盧松松:Bing與Google搜索排名因素研究
- 盧松松:給谷歌的蜂鳥(niǎo)算法潑瓢冷水
- 提高移動(dòng)站在百度質(zhì)量度等級(jí)的詳細(xì)說(shuō)明
- 谷歌推出網(wǎng)站人工干預(yù)通知
- 優(yōu)化技巧:如何設(shè)置自定義503錯(cuò)誤頁(yè)面?
- 解讀SEO元素周期表
- 網(wǎng)站SEO最高境界之從 “人性化” 出發(fā)
- 社會(huì)化媒體營(yíng)銷(xiāo)是如何對(duì)企業(yè)產(chǎn)生相應(yīng)影響
- 小站長(zhǎng)們?cè)撊绾蚊鎸?duì)新一輪的百度算法調(diào)整
- 相關(guān)鏈接:
- 教程說(shuō)明:
SEO優(yōu)化教程-谷歌官方《搜索引擎優(yōu)化指南》網(wǎng)絡(luò)蜘蛛篇。