心理 robots协议范本 来源:魅力女性吧 1.68W 允许所有的robot访问 User-agent: *Disallow:或者也可以建一个空文件 "/" file。禁止爬虫访问所有目录 User-agent: *Disallow: /禁止爬虫访问某些目录 协议 范本 robots