关灯
香港云VPS只要28/月新源代香港VPS 站长建站必备文字广告30/月 Q 380559645购买VPS送VIP会员
文字广告30/月 Q 380559645移动流量免费领取文字广告30/月 Q 380559645文字广告30/月 Q 380559645



开启左侧

robots.txt文件怎么写才正确

[复制链接]
小黄牛 发表于 2020-11-24 16:46:34 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
 
1、用robots.txt屏蔽相似的页面或没内容的页面。

1606186251333.jpg

我们知道,搜索引擎收录网页后,会对网页进行“审核”,当网页的相似度很高时2个页面,搜索引擎会删除其中一个。

假如以下这两个链接,内容其实差不多,所以第一个链接应该屏蔽。http://www.xxx.com/bbs/redirect. ... o=lastpost#lastpost
第一个的链接非常多,屏蔽时,只要屏蔽/bbs/redirect.php? 就屏蔽了所有的。代码如:Disallow: /bbs/redirect.php?

类似这样的页面,没有内容,也应该屏蔽:http://www.xxx.com/index.php?sid ... nt&id=77&artlang=zh这样的链接也很多,屏蔽时,只要屏蔽/index.php?sid= 就屏蔽了所有的。

代码如:Disallow: /index.php?sid=

2、用robots.txt屏蔽多余的链接,当动态和静态共存时,一般去掉动态的。

网站中经常会存在多个链接指向同一个页面,这种情况普遍存在时,会让搜索引擎对网站的权威性产生怀疑。通过robots.txt把非主要的链接去掉。

1606186278943.png

假如以下两个链接指向同样的页面,去掉次要的第一个。

http://www.xxx.com/space.php?username=[/url]曾庆平seo

http://www.xxx.com/space-uid-15.html

代码如:Disallow: /space.php?username=

特别需要注意的是,首页一般有这么几个链接:www.xxxxxx.com  www.xxxxxxx.com/index.html 等,这个时候,不要屏蔽 index.html。因为如index.html index.php 等是默认首页,屏蔽可能导致蜘蛛爬取错乱。

咱们需要做的是,在给首页做站内外链接时,统一用不带index.html 的http://www.xxxxxx.com/ 即可。这是URL标准化的概念。

1606186309594.png

3、用robots.txt屏蔽死链接。

死链接就是原来存在,后来因为改版或更新等缘故删除了的链接和网页。比如,原来在某个目录(假设目录为/tempweb/)下的所有链接,因为改版现在都变为死链接了,可以用robots.txt屏蔽。

代码如:Disallow: /tempweb/

4、用robots.txt屏蔽可能存在的“被K”外部链接。

很多网站允许用户放自己的网站链接,但因为过多的“被K”外部链接可能连累自己。所以,很多把所有外部链接放入一个链接目录下,然后通过robots.txt统一屏蔽。
 
您需要登录后才可以回帖 登录 | 立即加入

本版积分规则


0关注

23粉丝

11688帖子

排行榜

关注我们:站长群/微信群

站长群

微信群

全国服务热线:

139-0727-9047

公司地址:湖北省襄阳市春园路科技孵化园109室

运营中心:湖北省武汉市华正街42号广电仕百达国际大厦25楼

邮编:610066 Email:380559645#qq.com

Copyright   ©2007-2018  源码论坛 商业源码网络支持:新源代云计算     |网站地图