robots協議範本

允許所有的robot訪問 User-agent: *Disallow:或者也可以建一個空文件 "/" file。禁止爬蟲訪問所有目錄 User-agent: *Disallow: /禁止爬蟲訪問某些目錄