51.com的robots.txt有錯(cuò)嗎?_SEO優(yōu)化教程
推薦:SEO優(yōu)化之“不要輕易使用泛解析”半夜三更的忽然想起這個(gè)老想提出或者大家都知道的問(wèn)題!先續(xù)在這里,之后給予全面補(bǔ)充!什么是泛解析:嚴(yán)格來(lái)講,是這樣的:假如對(duì)abc.com解釋到0.0.0.0
什么是robots.txt文件?
搜索引擎通過(guò)一種程序robot(又稱spider),自動(dòng)訪問(wèn)互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信息。
您可以在您的網(wǎng)站中創(chuàng)建一個(gè)純文本文件robots.txt,在這個(gè)文件中聲明該網(wǎng)站中不想被robot訪問(wèn)的部分,這樣,該網(wǎng)站的部分或全部?jī)?nèi)容就可以不被搜索引擎收錄了,或者指定搜索引擎只收錄指定的內(nèi)容。
因?yàn)閯倢?xiě)了51是因?yàn)槎?jí)玉米泛濫和站點(diǎn)垃圾造成被封,去看見(jiàn)“眼鏡蛇”寫(xiě)的是因?yàn)?1的robots.txt的原因。
我仔細(xì)看了51的robots.txt而最后要駁反“眼鏡蛇”的判定和定論!
每個(gè)站點(diǎn)都必須要有robots.txt嗎?
不一定,看情況
那么robots.txt是針對(duì)任何搜索引擎嗎?
不一定,搜索引擎的概念是什么先搞明白!至少他有蜘蛛,并且遵循robots.txt語(yǔ)法。像百度,google,yahoo都遵循
官方的robots.txt
robots.txt放在哪里?
根目錄下,就是通過(guò) http://www.abc.com/robots.txt等瀏覽訪問(wèn)到的!
robots.txt怎么寫(xiě)?
請(qǐng)查詢:http://www.robotstxt.org/
因?yàn)檠坨R蛇說(shuō)百度殺了51是因?yàn)?1的robots.txt
“51.com搜索消失原因是公司想借機(jī)炒作?”
(聯(lián)系到五一國(guó)慶左右百度大規(guī)模檢查并封殺作弊網(wǎng)站,開(kāi)始讓業(yè)界以為51.com是百度懲罰的網(wǎng)站之一,
通過(guò)某朋友提示到51.com的robots.txt文件,讓大家明白了百度網(wǎng)站只收錄一頁(yè)的原因,
并不是搜索引擎人為所至,而是51.com自身原因。 )
郁悶一:五一成“國(guó)慶”了!
郁悶二:robots.txt寫(xiě)法遵循規(guī)則,搜索引擎也給予遵循!那么就是眼鏡蛇以上文章的判定錯(cuò)誤!不是51的robots.txt錯(cuò)誤!
分析反駁:
因?yàn)?1的主頁(yè)都在home下或者這個(gè)二級(jí)玉米下,那么就這個(gè)來(lái)說(shuō)!
1:http://www.51.com/robots.txt 18行
Disallow: /home/ (假設(shè)只針對(duì)百度,因?yàn)間oogle 沒(méi)把51怎么著,而之后分析則套用google的一些現(xiàn)象對(duì)比百度,除非他們不是一樣性質(zhì)的遵循robots.txt的搜索引擎!)
百度給出的定義:
"Disallow:/help/"則答應(yīng)robot訪問(wèn)/help.html,而不能訪問(wèn)/help/index.html
http://www.baidu.com/search/robots.html
那么就是說(shuō)在http://www.51.com/home/index.htm/index.html/index.shtml不能被收錄,因?yàn)閔ome目錄下無(wú)主頁(yè)!
http://www.51.com/home/index.htm 404錯(cuò)誤
http://www.51.com/home/index.html 404錯(cuò)誤
http://www.51.com/home/index.shtml 404錯(cuò)誤
http://www.51.com/home/index.php 404錯(cuò)誤
http://www.51.com/home/ 404錯(cuò)誤
分享:優(yōu)化思路:搜索引擎算法之復(fù)制網(wǎng)頁(yè)搜索引擎判定復(fù)制網(wǎng)頁(yè)一般都基于這么一個(gè)思想:為每個(gè)網(wǎng)頁(yè)計(jì)算出一組信息指紋(Fingerprint),若兩個(gè)網(wǎng)頁(yè)有一定數(shù)量相同的信息指紋,則認(rèn)為這兩個(gè)網(wǎng)頁(yè)的內(nèi)容
- B2B網(wǎng)站SEO優(yōu)化實(shí)戰(zhàn)經(jīng)驗(yàn)分享
- 淺析如何提高SEO優(yōu)化團(tuán)隊(duì)效率
- 谷歌如何評(píng)價(jià)一篇博文是否是軟文
- 盧松松:Bing與Google搜索排名因素研究
- 盧松松:給谷歌的蜂鳥(niǎo)算法潑瓢冷水
- 提高移動(dòng)站在百度質(zhì)量度等級(jí)的詳細(xì)說(shuō)明
- 谷歌推出網(wǎng)站人工干預(yù)通知
- 優(yōu)化技巧:如何設(shè)置自定義503錯(cuò)誤頁(yè)面?
- 解讀SEO元素周期表
- 網(wǎng)站SEO最高境界之從 “人性化” 出發(fā)
- 社會(huì)化媒體營(yíng)銷是如何對(duì)企業(yè)產(chǎn)生相應(yīng)影響
- 小站長(zhǎng)們?cè)撊绾蚊鎸?duì)新一輪的百度算法調(diào)整
- 相關(guān)鏈接:
- 教程說(shuō)明:
SEO優(yōu)化教程-51.com的robots.txt有錯(cuò)嗎?。