PJBLOG 小心你的robots.txt

今天在用GOOGLE管理员工具的时候，提示我
分析 robots.txt
www.0535seo.com.cn robots.txt 网址 http://www.0535seo.com.cn/robots.txt
最新下载 20 小时前
状态 200 （成功） 帮助  

分析结果 值 结果
行 9 :  <sitemap_location>/sitemap.asp</sitemap_location> 语法有误

所以赶紧查看了一下自己的robots.txt
代码如下：
User-agent: *

Disallow: /404.asp
Disallow: /blog*.asp
Disallow: /register.asp
Disallow: /login.asp
Disallow: /search.asp

<sitemap_location>/sitemap.asp</sitemap_location>

然后删除了<sitemap_location>/sitemap.asp</sitemap_location>
觉得Disallow: /blog*.asp 是不是也有问题，与blog*相关的发现一个是数据库目录，另几个是重要文件，突然发现BlogLink.asp，是友情链接页面，不对啊，连这个都屏蔽？肯定是个BUG。如果有些人没有在首页或内容页放入友情链接，恰巧被安排到只在bloglink.asp页面显示，那这个链接还有什么意义？那忌不是是个友情链接陷阱？
删除马上删除，然后查看了下自己的友情链接，也发现了不少！提醒一下吧！

修改后代码：
User-agent: *

Disallow: /404.asp
Disallow: /register.asp
Disallow: /login.asp
Disallow: /search.asp