谷歌网站管理员工具新增robots.txt生成器
http://www.chinaz.com/upimg/allimg/080328/1958190.jpg要想控制各搜索引擎的爬虫对你的网站的访问，你就得在网站的robots.txt文件里写明有关的规则。比如，你允许爬虫访问你的哪些目录，禁止爬虫访问哪些内容。Google自己也有爬虫即Googlebot，如果你有些目录不想让它访问但你又不熟悉robots.txt文件的编写，现在可以利用Google网站管理员工具新增的robots.txt文件生成器了。
进入控制台>工具>生成 robots.txt就可以看到有关选项：
http://www.chinaz.com/upimg/allimg/080328/1958191.gif
你可以允许或禁止某种Googlebot访问你的某些目录或文件，十分方便。你要做的只是填写目标目录或文件：
http://www.chinaz.com/upimg/allimg/080328/1958192.gif
生成新的robots.txt文件后，还可以使用工具里的"分析 robots.txt"来分析它。
页:
[1]
