# #后面的内容为说明 # Robots.txt file from http://www.85vv.com # User-agent: * # Disallow: # 以上两句表达的意思是允许所有的搜索机器人访问www.85vv.com站点下的所有文件 # 以下是本站robots主体 User-agent: * Disallow:/tv/html Disallow:/pic/ Disallow:/Templates/ # 以上两句表达的意思是不允许搜索机器人访问www.85vv.com站点下pic目录下的所有文件 # User-agent: * # Disallow: / # 以上两句表达的意思是禁止所有搜索引擎访问网站的任何部分 # User-agent: BadBot # Disallow: / # 以上两句表达的意思是禁止某个搜索引擎的访问(上例中的BadBot) # User-agent: Crawler # Disallow: # User-agent: * # Disallow: / # 只允许某个搜索引擎的访问(上例中的Crawler)