51.com的robots.txt有錯嗎？(2)_SEO優化教程

推薦：SEO優化之“不要輕易使用泛解析”
半夜三更的忽然想起這個老想提出或者大家都知道的問題！先續在這里，之后給予全面補充！什么是泛解析：嚴格來講，是這樣的：假如對abc.com解釋到0.0.0.0

確定HOME下無默認首頁文件，一般都是404頁，這樣多搜索引擎會很不友好的，那么當然仔細點的站點都會杜絕被搜索引擎視為死連接。
51的錯法就是"Disallow:/help/"則答應robot訪問/help.html，而不能訪問/help/index.html

判定：Disallow: /home/ 對于百度正確！

因為有：User-agent: * （針對所有搜索）

查看：site:51.com/home ，site:51.com/home/ ，site:www.51.com/home ， site:www.51.com/home/
在google都有收錄，而不是屏蔽了home下任何，而只是home下的默認首頁！

目前看不見百度的現象，根據User-agent: * （針對所有搜索）說明百度當時也是這樣！（80%一樣）

再查：site:home.51.com

第一結果為

51 博客網歡迎您home.51.com/ - 類似網頁

似乎home.51.com/下有首頁，似乎home目下也有首頁！

我們點過去則跳轉到http://www.51.com/，因為目前搜索引擎都可以識別和收錄url轉發而非跳轉！

隨便查下home.51.com/的站點訪問使用情況！

比如：第二結果

獻給我最愛的00

home.51.com/home.php?user=nicolelove - 5k - 補充材料 - 網頁快照 - 類似網頁

而你使用“http://nicolelove.51.com ”也訪問的是此“home.51.com/home.php?user=nicolelove”

也可以 ：http://www.51.com/home/Index.php?user=nicolelove （home下的任何其他文件可以收錄和訪問）

也可以：http://51.com/home/Index.php?user=nicolelove 訪問而到http://www.51.com/home/Index.php?user=nicolelove

也可以：http://www.51.com/home.php?user=aiyoweiyaaaa到http://home.51.com/home.php?user=aiyoweiyaaaa

嚴格按照URL說這個可以說是多URL或者路徑重疊，或者混亂，只是一些沒告訴那些站長，只告訴站長
“http://nicolelove.51.com ”就是你的主頁url

補充：

<*** LANGUAGE="Java***">
<!--
var t = addAccessRec();
if (isLoginF == 'y' && isLoginHide != 'y') {
if (isAddAccess == 'y' && t[0] == true) {
var URL = "addAccessCount.php?user=nicolelove&visituser=&time=1178309340";
addAccess(URL); // 增加訪客記錄
}
}
if (isAddCount == 'y' && t[1] == true) {
var URL = "addClickCount.php?user=nicolelove&time=1178309340";
addAccess(URL); // 增加點擊數
}
function addAccess(URL)
{
var oXMLHttp = new InitAjax();
oXMLHttp.open("GET",URL,true); //異步
oXMLHttp.setRequestHeader('charset','GBK');
oXMLHttp.Send(null);
}
LoadXMLHTTP("/home/addMyVisitors.php?who=nicolelove");
//-->
</***>

看下最后第三段代碼！

搜索引擎在更多時是不答應這樣的現象的。二級玉米和獨立玉米都可以認為不同域下的站點和網頁！

分享：優化思路：搜索引擎算法之復制網頁
搜索引擎判定復制網頁一般都基于這么一個思想：為每個網頁計算出一組信息指紋（Fingerprint），若兩個網頁有一定數量相同的信息指紋，則認為這兩個網頁的內容