歡迎光臨范耀祖的個人博客,關注生活,福利,以及網絡營銷心得!——博主有個特點:話不說滿,想怎么說怎么說!

為什么及如何建立一個Robots.txt文件?

SEO優化 fancy 10℃

為獲得在某一搜索引擎中的排名,您根據其排名規律,精心設計某一頁面,使其符合得很好,登記后也獲得理想的排名。由于各搜索引擎排名規則各異,您的某一頁面能獲得某一搜索引擎中的好的排名,但通常情況下,對于其他搜索引擎,排名就差得很遠。

范耀祖博客

為此,有人在站點中復制出內容相同的不同文件名的頁面,并對復制頁面的原標記進行修改,以期符合其他搜索引擎排名規則。

然而,許多搜索引擎一旦發現您站點中有異?!翱寺 表撁?,會給予懲罰,不收錄您的頁面。

Robots.txt就是為了解決這問題。

我們給出樣本:

User-agent: {SpiderNameHere}
Disallow: {FileNameHere}
譬如,如果您想告訴Excite搜索引擎的Spider(ArchitextSpider),不檢索您站點中三個特定頁面,您可這樣操作:

User-agent: ArchitextSpider
Disallow: /orderform.html
Disallow: /product1.html
Disallow: /product2.html
如果您不想讓Excite的Spider檢索在abc目錄下的def.htm文件:

User-agent: ArchitextSpider
Disallow: /abc/def.htm
不檢索整個mydirectory目錄:

User-agent: ArchitextSpider
Disallow: /mydirectory/
不讓所有Spider檢索:
User-agent: *
不檢索整個站點:

Disallow: /
我們給出其他實例:

User-agent: ArchitextSpider
Disallow: /abc/def.htm
User-agent: Infoseek
Disallow: /ghi/jkl.htm
User-agent: ArchitextSpider
User-agent: Infoseek
Disallow: /abc/def.htm
Disallow: /ghi/jkl.htm
如下列表為世界各大搜索引擎和其對應的User-Agent,供大家參考。

搜索引擎 User-Agent
AltaVista Scooter
Infoseek Infoseek
Hotbot Slurp
AOL Search Slurp
Excite ArchitextSpider
Google Googlebot
Goto Slurp
Lycos Lycos
MSN Slurp
Netscape Googlebot
NorthernLight Gulliver
WebCrawler ArchitextSpider
Iwon Slurp
Fast Fast
DirectHit Grabber
Yahoo Web Pages Googlebot
Looksmart Web Pages Slurp
小心Slurp,如果您不想讓其檢索一個頁面,這會使多個其他搜索引擎也不檢索該頁面。通常,用Slurp的搜索引擎規則差不多。

一般,根目錄下的頁面排名要高于次目錄下頁面的排名,這是因為,搜索引擎有時會認為次目錄下的URL可能沒有自己獨立域名或與他人共享主機。

如果多個遞交頁面內容豐富,相互不非常類似,或在原有頁面基礎上進行優化,您不必擔心會遭搜索引擎懲罰,不必建立robots.txt文件。

如果您使用一個非常有用的頁面但針對許多不同搜索引擎,您“克隆”出許多類似的頁面,那您就必須考慮robots.txt。

robots.txt也可用在某一目錄中。

轉載請注明:范耀祖 » 為什么及如何建立一個Robots.txt文件?

喜歡 (1)or分享 (0)
守车人投注 浙江十一选五任八 福州小姐上门服务价格 今天3d试机号多少 广西快乐10分开奖现场 捷报网足球即时比分网 天天红包赛红包怎么分 澳洲幸运10网 三级片母子乱伦 北京pk10有什么技巧 麻将技巧顺口溜 26选5号码 福州按摩上门 29选7开奖号码是多少 大羸家足球比分 哈哈湖南麻将安卓版 河北福彩排列七