robots协议范本

来源：魅力女性吧 1.68W

允许所有的robot访问 User-agent: *Disallow:或者也可以建一个空文件 "/" file。禁止爬虫访问所有目录 User-agent: *Disallow: /禁止爬虫访问某些目录