中科新闻网电话订票 火车票:robots.txt文件里面的参数、命令什么写？谢谢！！
来源：百度文库 编辑：中科新闻网 时间：2024/04/29 07:59:25
我现在有个网站不想让百度收录。我看了有关这方面的文章，知道要在robots.txt设置就可以了,但是不知道下面:
禁止某个搜索引擎的访问
User-agent: BadBot
Disallow: /
这个BadBot是要写www.BAIDU.COM????还是要什么写呢？？谢谢！！
我现在ROBOTS.TXT的内容下面是这样的
User-agent: *
Disallow: /syssite/shopadmin/
Disallow: /shopadmin/
Disallow: /syssite/install/
Disallow: /install/
想保留原来这里面的设置，具体要什么修改呢？？
谢谢！！！
禁止某个搜索引擎的访问
User-agent: BadBot
Disallow: /
这个BadBot是要写www.BAIDU.COM????还是要什么写呢？？谢谢！！
我现在ROBOTS.TXT的内容下面是这样的
User-agent: *
Disallow: /syssite/shopadmin/
Disallow: /shopadmin/
Disallow: /syssite/install/
Disallow: /install/
想保留原来这里面的设置，具体要什么修改呢？？
谢谢！！！
BadBot是你找的例子上所需要禁止的搜索引擎.
Disallow后面的路径是网站路径,所以你如果想屏蔽全站,和你现有的Disallow不会冲突,但是现有的也不会生效了,想想看,你都屏蔽全站了,还怕访问到具体的子目录吗~
请在User-agent:*下面加上这句就可以了.其他不用动:
Disallow: /
/代表网站根目录.
*代表所有的搜索引擎,如果LZ需要只屏蔽百度,请把*换成 Baiduspider
如果LZ需要对百度的屏蔽所有,而对其他只屏蔽有限,请按下面设置即可:
User-agent: Baiduspider
Disallow: /
User-agent: *
Disallow: /syssite/shopadmin/
Disallow: /shopadmin/
Disallow: /syssite/install/
Disallow: /install/
注意,2个User-agent需要把局部的放后面
enjoy it~
是写上该搜索引擎使用的抓取程序名，比如谷歌是googlebot，百度是baiduspider，网易是yodaospider，搜狗是sogou spider等等，这些在网上可以查到，然后按照
user-agent：后面跟上蜘蛛名
Disallow：后面跟上相对路径（/abc/def之类的）
就OK了，推荐分条写
http://www.baidu.com/search/robots.html
百度的这条解释写的很全面，也有实例，卤煮可以去看看